10 warunków dobrego badania Radia metodą pasywną

Wyobraźmy sobie zdjęcie o wysokiej rozdzielczości, w kolorze, robione co jakiś czas i film słaby jakościowo, czarno-biały, gubiący klatki, ale pokazujący fabułę w sposób ciągły. W pierwszym przypadku mamy punktowy, ale bardzo precyzyjny pomiar, jak w badaniu Radio Track, a w drugim - badanie pasywne, w którym nie dopracowano szczegółów. Praca nad badaniem pasywnym powinna doprowadzić do tego, że film stanie się kolorowy, będzie miał wszystkie klatki i wyraźny obraz.

>>> Praca.Wirtualnemedia.pl - tysiące ogłoszeń o pracę

Nadawcy radiowi działający w ramach Komitetu Badań Radiowych od dawna zgłaszają konieczność podjęcia konkretnych wyzwań i realizację prac koniecznych do przygotowania takiego modelu badania jednoźródłowego, który będzie we właściwy sposób mierzyć słuchalność Radia jako medium o specyfice odrębnej od internetu i telewizji.

Gdzie stacje lokalne znajdą swoje wyniki?

Postęp technologiczny i rozwój technik pasywnych z jednej strony otwiera nowe możliwości badawcze, z drugiej jest źródłem nowych problemów i wyzwań,  które wymagają wnikliwego zbadania i oceny ich wpływu na rzetelność planowanych pomiarów. Dla Radia szczególnie istotne są błędy, które w sposób nieuprawniony prowadzą do systemowego zaniżania danych o konsumpcji tego medium. Aby ich uniknąć, należy dokładnie przeanalizować konkretne obszary planowanego badania.

10 warunków dobrego badania pasywnego

1.    Odpowiednia wielkość panelu i jego rozproszenie oraz zakres badanych stacji
2.    Ciągła rekrutacja do panelu i zarządzanie panelem z wykorzystaniem najnowocześniejszych narzędzi
3.    Zgodne z procedurami badania zachowanie panelistów
4.    Kontrolowanie właściwego sposobu noszenia mierników
5.    Uwzględnienie na etapie tworzenia badania różnic w konsumpcji mediów i wynikających z tego różnych warunków ich pomiaru
6.    Zneutralizowanie różnic pomiarowych między miernikami stacjonarnymi i przenośnymi
7.    Umożliwienie pomiaru słuchania przez słuchawki
8.    Stworzenie nowoczesnego centrum referencyjnego sygnału, umożliwiającego prawidłową identyfikację stacji
9.    Zastosowanie odpowiednich procedur przeliczających i zapewnienie ich jawności
10.    Takie zdefiniowanie wskaźników dla poszczególnych mediów, by mogły współistnieć i być porównywalne w ramach jednego badania

Przyjrzyjmy się im po kolei.

1. Wielkość panelu i jego rozproszenie oraz zakres badanych stacji
Specyfika rynku radiowego w Polsce wymaga, aby panel badania pasywnego był odpowiednio duży, by móc dostarczać wiarygodnych wyników na temat stacji ogólnopolskich, ponadregionalnych i lokalnych. Dla stacji ogólnopolskich wystarczy panel rzędu 4 tys. panelistów, dla stacji ponadregionalnych i sieciowych – 20 tys., dla lokalnych – 80 tys.  Obecnie działające lub planowane panele składają się z 2 lub 4 tys. osób. Mogą one zbadać zaledwie ogólnopolskie stacje i wybrane sieci radiowe. Nie są w stanie dostarczyć wiarygodnych wyników dla lokalnych stacji radiowych i mniejszych sieci. Oznacza to poważne ograniczenie liczby podmiotów korzystających w pełni z badania i mających wiarygodne wyniki. Będzie to jedynie kilka stacji radiowych.

2. Ciągła rekrutacja do panelu i zarządzanie panelem z wykorzystaniem najnowocześniejszych narzędzi
Rekrutacja respondentów do panelu pasywnego jest niezwykle trudna, ponieważ badanie jest inwazyjne i istotnie wkracza w prywatne życie panelistów. Uczestnictwo w badaniu wymaga od panelisty długofalowej deklaracji zaangażowania w projekt, nieustannej dyscypliny oraz akceptacji faktu, iż miernik „podsłuchuje” jego codzienne życie. Zgodnie z wynikami eksperymentów prowadzonych przez Telemetria Polska najskuteczniejszą metodą wynagradzania uczestnika panelu jest telefon. Jednakże telefon najczęściej jest bardzo „osobistym” urządzeniem, którego wybór (wybór modelu) stanowi kolejną barierę w chęci uczestniczenia w badaniu, a także używania telefonu jako podstawowego (najlepiej jedynego) aparatu respondenta.

Reasumując, decydując się na kilkudziesięciotysięczny panel, firma badawcza musi dysponować ogromnym budżetem na utrzymanie panelu, chociażby z uwagi na kosztu zakupu i kalibracji urządzeń mierzących a następnie na ich utrzymanie, serwisowanie i wymianę na nowe, a także utrzymywanie liczebności z powodu naturalnej rotacji osób w panelu.

3. Zachowanie panelistów zgodne z procedurami badania
Wyzwaniem dla panelisty jest zarówno noszenie miernika cały czas przy sobie, jak i dbanie o odpowiedni poziom naładowania baterii, zapobiegający jego wyłączeniu. Jak pokazują badania prezentowane przez KRRiT na konferencji w Krynicy w 2019 roku, ponad 25 proc. respondentów często lub bardzo często zostawia telefon w kieszeni kurtki, torbie, torebce lub plecaku po przyjściu do domu. Noszenie smartfona przy sobie rzadko, bardzo rzadko lub nigdy deklarowało blisko 40 proc.  respondentów.

Zarówno wyłączenie, jak i nienoszenie miernika ze sobą skutkuje ubytkami pomiaru. Konieczne jest więc skatalogowanie takich sytuacji, stworzenie procedur, szkolenia respondentów i ich monitorowanie, a nawet podjęcie działania, gdy wymaga tego sytuacja.

4. Kontrolowanie właściwego sposobu noszenia mierników w domu i poza nim
Miernik, aby prawidłowo zbierał dźwięk z otoczenia, musi być prawidłowo używany. Przede wszystkim: używany jako osobisty, czyli noszony przy sobie, najlepiej cały czas, przez osobę objętą badaniem, a nie innego domownika. Wymaga to zarówno czynnej, jak i biernej (automatycznej) kontroli przez firmę badawczą.

Testy laboratoryjne wskazują jednoznacznie, że miejsce i sposób noszenia mierników oraz rodzaj zakłóceń wpływają na jakość i trafność pomiaru oraz na możliwość właściwej identyfikacji odbieranych treści audio. Mniejsze znaczenie ma głośność sygnału. Natomiast rodzaj zakłóceń jest kluczowy. Jako przykład może posłużyć samochód, przy którym niektóre mierniki wyłapują i poprawnie identyfikują ponad 79 proc., inne 50 proc., a jeszcze inne poniżej 20 proc. sygnału (Telemetria Polska „Jednoźródłowy pomiar mediów elektronicznych” 2019 rok). Słabo identyfikowany jest też sygnał miernika schowanego do torebki lub plecaka. Instytut Łączności realizował niedawno kolejne testy (zaangażowani byli też nadawcy Komitetu Badań Radiowych). Czekamy na publikację raportu z nich.

5. Uwzględnienie na etapie tworzenia badania różnic w konsumpcji mediów i wynikających z tego różnych warunków pomiaru
Radio jest medium towarzyszącym słuchaczom w trakcie różnych aktywności, zarówno w domu, jak i poza nim, podczas gdy telewizja oglądana jest nadal głównie w domu, w jednym ustalonym miejscu. Poza domem radia słucha świadomie 70 proc. słuchaczy, a generuje to 60 proc. czasu słuchania. Stwarza to zupełnie inne wymagania dotyczące sposobu korzystania z mierników pasywnych. Na skuteczność działania mierników istotny wpływ mają towarzyszące zakłócenia dźwiękowe oraz hałasy. Treści odbierane w miejscach z dużą ilością dźwięków tła (np. ulica, samochód, praca) są rozpoznawane zdecydowanie gorzej niż treści odbierane w otoczeniu pozbawionym takich zakłóceń, np. w domu. Do tego mierniki często noszone są w kieszeni, torebce, plecaku czy też pod zimową kurtką. Z uwagi na specyfikę konsumpcji radia - np. podczas jazdy samochodem, podczas pracy, podczas przygotowywania posiłków w kuchni, etc. - programy radiowe mogą być słabo rozpoznawane przez mierniki.

Dla firmy badawczej oznacza to zadbanie o wszelkie najwyższe standardy przygotowania badania: wybór urządzeń, poprawność sygnałów, testy rozpoznawalności sygnałów, kontrolę traconej słuchalności, ewentualnie wypracowanie metod jej uzupełniania.

6. Zneutralizowanie różnic pomiarowych między miernikami stacjonarnymi i przenośnymi
Mierniki stacjonarne często ulokowane są w pobliżu urządzenia nadającego badany sygnał lub wręcz bezpośrednio z nim połączone. Mierzą aktywność odbiornika, bez względu na to, czy respondent znajduje się w jego pobliżu, czy nie. Miernik noszony przez respondenta przy sobie, pokazuje jego aktywność i wychwytuje momenty, gdy do respondenta dobiega dźwięk.

W przypadku, gdy do badania wykorzystywane są smartfony, należy uwzględnić fakt, iż niektóre aplikacje wyłączają mikrofon, co uniemożliwia monitoring otoczenia. Stacjonarne mierniki nie mają takich ograniczeń. Przykładowo, telefon podczas rozmowy telefonicznej, czy też korzystania z komunikatora, nie prowadzi pomiaru, natomiast miernik stacjonarny - tak. To znaczna różnica w samym podejściu do „badanego zjawiska”, wymagająca opracowania sposobów neutralizacji wpływu techniki na uzyskany poziom wyników.

7. Umożliwienie pomiaru słuchania przez słuchawki
Pewna część odbiorców mediów korzysta ze słuchawek - dotyczy to przede wszystkim słuchania radia przez młodszą część populacji. Według badań przeprowadzonych przez KBR, słuchanie przez słuchawki w przypadku niektórych stacji sięga 25 proc. Mierniki pasywne nie radzą sobie w ogóle lub radzą bardzo słabo z identyfikacją treści odbieranych przez słuchawki. To oznacza, że wyniki słuchalności niektórych stacji będą znacznie zaniżone.

8. Stworzenie nowoczesnego centrum referencyjnego
Centrum referencyjne jest bardzo ważnym elementem projektu badawczego, gdyż wymaga odpowiedniej infrastruktury, backupów, zarządzania i obsługi. Liczy się jakość sygnału referencyjnego, jego przesunięcie względem sygnału z urządzenia pomiarowego. Niezwykle istotna jest wysoka jakość algorytmu, dopasowującego sygnał referencyjny do sygnałów z mierników, potwierdzona testami laboratoryjnymi (przy ciszy i udziale szumów). Konieczna jest także nieustanna kalibracja mierników, aby mieć pewność, że algorytm dopasowania równie dobrze działał na wszystkich miernikach użytych w badaniu.

Ewentualne wykorzystanie alternatywnej technologii opartej na implementacji niesłyszalnego sygnału „watermarku” nie powinno dawać możliwości sterowania jego poziomem. Niezależne firmy opracowały urządzenia umożliwiające wzmacnianie tego sygnału (kosztem jakości dźwięku), co wg nich skutkuje kilkunastoprocentowym wzrostem rozpoznawania. Dla firmy badawczej oznacza to konieczność zabezpieczenia badania przed taką sytuacją.

9. Zastosowanie odpowiednich procedur przeliczających i zapewnienie ich jawności
Trzeba pamiętać, że zebrane próbki sygnałów podlegają następnie obróbce: technicznej, statystycznej. Zebrany materiał będzie zawierał wszystkie dźwięki… i wszystkie problemy: stany wyładowania telefonu, przerwy w jego noszeniu, niejednoznaczne sygnały lub dopasowania, nieregularne używanie urządzenia pomiarowego, niestandardowe zachowania… Firma badawcza stanie przez żmudnym zadaniem opracowania algorytmów postępowania z danymi w takiej sytuacji. Warunkiem, by badanie na tym etapie było wiarygodne, musi być jawność i transparentność stosowanych procedur - zarówno jako opis metodologii, jak i wgląd w praktyczną jej realizację. Bez spełnienia tego warunku badanie stałoby się „czarną skrzynką”, a odbiorcy danych byliby bezradni przy próbach weryfikacji danych.

10. Zdefiniowanie wskaźników
Media badane jednoźródłowo powinny posiadać ujednolicone lub chociaż zbliżone wskaźniki, by móc je porównywać w sposób obiektywny i wiarygodny. Czym jest zasięg medium w danym okresie, kiedy kontakt z medium buduje zasięg, a kiedy nie? Jak zdefiniować kontakt, ile czasu musi trwać? To pierwsze nasuwające się pytania związane z badanie pasywnym wielomediowym, które powinny być przedyskutowane,  a wskaźniki uzgodnione.

Wymienione wyżej zagadnienia są kluczowe dla badania mediów. Część z nich wpływa w różnym stopniu na pomiar konsumpcji poszczególnych mediów, w różnym stopniu je zniekształcając. Niewiele jest na świecie rynków, na których podjęto wspólne badania radia, telewizji i internetu.

Badania jednoźródłowe pasywne z udziałem Radia na świecie

W Wielkiej Brytanii BBC realizuje jednoźródłowy pomiar konsumpcji telewizji, radia i internetu. Projekt ten służy jednak wyłącznie do celów wewnętrznych nadawcy i nie stanowi waluty rynkowej. Z kolei komercyjna część rynku rozwija w ramach Project Origin jednoźródłowy pomiar, który obejmuje jednak tylko telewizję i internet.

W USA ComScore na zlecenie Coallition For Innovative Media Measurement pracuje nad modelem badania crossmediowego obejmującym telewizję i internet, ale nie obejmującym radia. Proponowane rozwiązanie opiera się przede wszystkim na integracji danych RPD (informacja zwrotna z dekoderów) dla telewizji i danych site-centric dla internetu, a pomiar panelowy pełni jedynie rolę pomocniczą i wykorzystywany ma być do kalibracji danych.

KBR - doświadczenie i innowacje

We Francji w marcu 2020 roku instytut Mediametrie uruchomił pomiar oglądalności telewizji poza domem. Badanie uzupełnia klasyczny panel telemetryczny mierzący oglądalność w domach i wykorzystuje indywidualne mierniki pasywne, w które wyposażono panelistów. W założeniu badanie miało obejmować także pomiar słuchalności stacji radiowych, jednak do dziś nie wprowadzono tego założenia w życie.

Podsumowując, zanim nowe metody pomiarowe będą gotowe do odpowiedzialnego wdrożenia konieczne będzie przeanalizowanie ich ograniczeń i wyeliminowanie przynajmmniej części z nich, jak również wyeliminowanie systematycznych skrzywień. Wszystkie problemy można rozwiązać. Należy je jednak zbadać, przeanalizować, wyciągnąć wnioski i przystąpić do prac nad ich rozwiązaniem. Nie można zgodzić się na czarno-biały film słabej rozdzielczości, z brakującymi klatkami. Ten film należy nagrywać w kolorze, w dobrej rozdzielności i ze wszystkimi klatkami. Badanie trzeba realizować uwzględniając specyfikę poszczególnych mediów i przestrzegając 10 warunków dobrego badania pasywnego. Bez tego wyniki badania pasywnego nie będą wiarygodne i nie będą mogły stać się walutą używaną z zaufaniem przez cały rynek.