Jak uwzględniać nieudane zapytania w pomiarze widoczności marki w AI? Zapisuj każdą zaplanowaną obserwację, jej próby wykonania i wynik końcowy. Brak odpowiedzi, błąd techniczny i poprawna odpowiedź bez marki to różne stany. W proponowanej procedurze FunkyMEDIA raport pokazuje osobno kompletność badania oraz obecność marki w odpowiedziach nadających się do oceny.
Załóżmy, że zespół planuje sto obserwacji, ale otrzymuje osiemdziesiąt odpowiedzi możliwych do oceny. W czterdziestu znajduje nazwę marki. Raport „widoczność 50%” opisuje czterdzieści z osiemdziesięciu odpowiedzi. Bez informacji o dwudziestu nierozstrzygniętych obserwacjach czytelnik nie zna kompletności badania.
Ustal jednostkę pomiaru
W serii FunkyMEDIA proponujemy rozróżniać:
- Obserwację: zaplanowane sprawdzenie konkretnego pytania w określonych warunkach.
- Próbę: pojedyncze wykonanie zapytania, także ponowione po błędzie.
- Wynik oceny: klasyfikację wybranej odpowiedzi zgodnie z ustaloną regułą.
Jedna obserwacja może wymagać kilku prób. Ponowienie po błędzie nie powinno automatycznie zwiększać liczby niezależnych obserwacji.
Przed badaniem zapisz narzędzie, pytanie, język, termin oraz dostępne ustawienia. Jeżeli planujesz powtórzenia służące badaniu zmienności odpowiedzi, oznacz je jako osobne obserwacje już w planie.
Rozdziel status wykonania od oceny treści
Sytuacja
Status obserwacji
Ocena obecności marki
Pełna odpowiedź, marka występuje
Możliwa do oceny
Tak
Pełna odpowiedź, marki nie ma
Możliwa do oceny
Nie
Przekroczony czas oczekiwania
Nierozstrzygnięta
Brak oceny
Limit zapytań lub błąd dostępu
Nierozstrzygnięta
Brak oceny
Odpowiedź ucięta albo nieczytelna
Do weryfikacji
Brak oceny do rozstrzygnięcia
Odmowa odpowiedzi
Osobna kategoria
Według jawnej reguły badania
Regułę dla odmowy ustal przed rozpoczęciem pomiaru. Możesz raportować ją oddzielnie od odpowiedzi merytorycznych. Ważne, żeby nie zmieniać sposobu liczenia po zobaczeniu wyników.
W karcie FunkyMEDIA pole dotyczące marki pozostaje niewypełnione, gdy nie ma materiału pozwalającego na jej ocenę. Wartość „nie” oznacza sprawdzoną odpowiedź bez marki.
Zachowaj historię prób
Poniższy zapis jest ilustracją proponowanej struktury danych, a nie wynikiem rzeczywistego pomiaru FunkyMEDIA.
{ "observation_id": "obs-021", "prompt_id": "wybor-uslugi-03", "attempt": 1, "execution_status": "timeout", "brand_present": null, "retry_planned": true } Kolejna próba zachowuje identyfikator obserwacji i otrzymuje następny numer. Jeśli zakończy się odpowiedzią, zapisz jej status oraz dowód. Nie nadpisuj wcześniejszego błędu.
Przy automatyzacji możesz korzystać z telemetrii żądań. OpenTelemetry opisuje między innymi klasy błędów w polu error.type i rejestrowanie ponownych wysłań. Dokumentacja OpenTelemetry.
Sukces techniczny nie zastępuje oceny treści: otrzymany komunikat może być niepełny lub nie odpowiadać na pytanie.
Zdefiniuj zasady ponawiania
Zapisz maksymalną liczbę prób, warunki ponowienia i regułę wyboru odpowiedzi do oceny. Przykładowo możesz przyjąć pierwszą kompletną odpowiedź uzyskaną w ustalonym oknie pomiarowym.
Nie ponawiaj poprawnych odpowiedzi bez marki wyłącznie po to, aby uzyskać korzystniejszy wynik. Jeśli chcesz badać zmienność, zaplanuj jednakową liczbę obserwacji dla wszystkich pytań.
W proponowanej procedurze FunkyMEDIA wznowienie po dłuższej przerwie wymaga również zapisania nowego czasu. Wynik uzyskany następnego dnia nie powinien wyglądać jak odpowiedź z pierwotnej godziny.
Pokaż dwa wskaźniki obok siebie
Dla ilustracyjnego zestawu stu obserwacji zapisz:
- zaplanowano 100 obserwacji;
- 80 uzyskało odpowiedzi możliwe do oceny;
- w 40 odpowiedziach wystąpiła marka;
- 20 obserwacji pozostało nierozstrzygniętych.
Kompletność wynosi 80/100, czyli 80%. Udział odpowiedzi z marką wśród ocenionych wynosi 40/80, czyli 50%.
Możesz dodatkowo podać, że potwierdzono obecność marki w 40 ze 100 zaplanowanych obserwacji. To inny wskaźnik. Nie oznacza, że w pozostałych sześćdziesięciu stwierdzono brak marki.
W raporcie FunkyMEDIA nazwa wskaźnika, licznik i mianownik powinny być widoczne razem. Czytelnik może wtedy odtworzyć wynik.
Sprawdź, gdzie skupiają się błędy
Łączna kompletność może ukrywać problem dotyczący jednego narzędzia, języka lub rodzaju pytania. Rozbij dane według tych wymiarów.
Jeżeli brakuje głównie odpowiedzi na pytania porównawcze, nie zakładaj, że oceniona część reprezentuje cały plan. Pokaż liczbę braków w tej kategorii i opisz zakres możliwej interpretacji.
W proponowanym zestawieniu FunkyMEDIA porównanie tygodni obejmuje także kompletność. Wzrost odsetka wzmianek przy jednoczesnym spadku liczby ocenionych odpowiedzi wymaga sprawdzenia składu próby.
Co zachować do audytu?
Zapisz wersję pytań, reguły klasyfikacji, historię prób i identyfikatory materiałów dowodowych. Oddziel błędy techniczne od sporów dotyczących interpretacji odpowiedzi.
Przed wysłaniem raportu sprawdź, czy każda zaplanowana obserwacja ma status końcowy. Brak wiersza w bazie nie powinien być jedynym śladem nieudanego zapytania.
Taki rejestr pomaga wyjaśnić zarówno wynik, jak i granice jego interpretacji. Podejście do pracy z dowodami opisuje metodologia FunkyMEDIA, a zakres wsparcia przedstawiają usługi AI Search i Brand Mentions FunkyMEDIA.
Kolejne materiały serii znajdziesz na LinkedIn FunkyMEDIA oraz Facebooku FunkyMEDIA.