Jak przygotować mały zestaw testowy RAG dla informacji o marce? Zbierz ustalone wersje dokumentów, pytania użytkowników i fragmenty, które powinny wspierać odpowiedź. W przykładzie FunkyMEDIA każde pytanie ma oczekiwane fakty oraz regułę oceny. Osobno sprawdzamy odnalezione materiały i poprawność odpowiedzi.

Zespół buduje asystenta odpowiadającego na pytania o ofertę. Demonstracja wygląda dobrze, ale po zmianie dokumentów pojawia się błędny termin wykonania usługi. Żeby ustalić, co się zmieniło, potrzebny jest zapis materiałów i oczekiwanego zachowania.

Poniżej przedstawiamy propozycję małego zestawu do testów własnego systemu RAG. Przykłady dotyczą fikcyjnej oferty. Nie opisują warunków handlowych FunkyMEDIA.

Wybierz jeden zakres

Zacznij od jednej usługi lub kategorii pytań. Przykładowo można sprawdzać zakres audytu, materiały wejściowe i sposób przekazania raportu.

Mały zestaw ułatwia ręczne przeczytanie każdego dowodu. Liczba pytań powinna wynikać z potrzeb, które chcesz sprawdzić. Zapisz również, jakie obszary pozostają poza testem.

W roboczym projekcie FunkyMEDIA można zacząć od kilku scenariuszy i rozbudować je po analizie błędów. Wynik dotyczy wtedy tego zestawu, a nie wszystkich możliwych rozmów.

Zachowaj wersję dokumentów

Każdy materiał powinien mieć identyfikator, datę i właściciela informacji. Zachowaj kopię używaną w teście. Sam link do zmieniającej się strony nie wystarczy do odtworzenia wcześniejszego wyniku.

Jeżeli zmieniasz ofertę, utwórz nową wersję zestawu. Porównanie wyników wymaga wiedzy, czy zmienił się system, dokumenty czy oba elementy.

W przykładzie FunkyMEDIA dokument „oferta-v1” zawiera fikcyjny zakres audytu, a „proces-v1” opisuje jego odbiór. Nazwy są roboczymi identyfikatorami.

Przygotuj pytania i reguły oceny

Scenariusz

Pytanie ilustracyjne

Oczekiwane zachowanie

Fakt w jednym źródle

Co obejmuje audyt?

Wskazanie zakresu z dokumentu

Dwa źródła

Co trzeba dostarczyć i co otrzymamy?

Połączenie informacji z obu materiałów

Brak danych

Ile trwa realizacja?

Wskazanie braku terminu w źródłach

Sprzeczność

Który zakres obowiązuje?

Obsługa zgodnie z zapisaną regułą wersji

Podobne nazwy

Czy oferta dotyczy firmy A czy B?

Rozróżnienie właściwego podmiotu

Regułę dla sprzecznych dokumentów ustal przed testem. Jeśli system nie ma danych pozwalających wybrać aktualny materiał, oczekiwanym zachowaniem może być prośba o doprecyzowanie.

Oddziel wyszukanie dowodu od wygenerowania odpowiedzi

Microsoft rozróżnia ocenę wyszukanych dokumentów od oceny odpowiedzi, w tym jej zgodności z dostarczonym kontekstem i dopasowania do pytania. Dokumentacja ewaluacji RAG.

W proponowanej karcie FunkyMEDIA pierwsze pole pyta, czy odnaleziono potrzebny fragment. Drugie sprawdza, czy odpowiedź poprawnie wykorzystała ten fragment. Trzecie dotyczy kompletności wymaganych faktów.

Jeśli dowód nie dotarł do kontekstu, zacznij diagnostykę od wyszukiwania i przygotowania dokumentów. Jeśli dowód był dostępny, przeczytaj odpowiedź oraz instrukcje generowania. To kierunki sprawdzenia, które trzeba potwierdzić w danej próbie.

Przykład rekordu

Poniższy zapis przedstawia fikcyjną ofertę do ćwiczenia.

{  "case_id": "audit-scope-01",  "question": "Czy audyt obejmuje wdrożenie poprawek?",  "evidence_id": "oferta-v1-fragment-3",  "evidence": "Audyt obejmuje raport i listę zaleceń. Wdrożenie wymaga osobnego zlecenia.",  "required_facts": [    "raport i zalecenia",    "osobne zlecenie na wdrożenie"  ],  "unsupported_claim": "wdrożenie jest w cenie audytu" }

Ocena powinna uwzględniać znaczenie odpowiedzi. Poprawna parafraza może przekazać oba fakty bez użycia identycznych słów. Proste wyszukiwanie frazy sprawdzi obecność tekstu, ale nie rozstrzygnie samodzielnie zgodności całej odpowiedzi.

Co oznacza test offline

W tym ćwiczeniu offline oznacza pracę na zamrożonym zbiorze dokumentów i zapisanych przypadkach testowych. Jeżeli model jest wywoływany przez zewnętrzne API, sam test nadal wymaga połączenia z usługą.

Nie mieszaj wyników wyszukiwania w aktualnym internecie z oceną stałego korpusu. W rejestrze FunkyMEDIA zapisz źródło kontekstu, wersję dokumentów i dostępną konfigurację. Dzięki temu wiadomo, co porównujesz.

Przeczytaj przypadki negatywne

Pytania o informacje nieobecne w dokumentach pozwalają sprawdzić reakcję na brak danych. Oczekiwaną odpowiedź określ wcześniej, na przykład wskazanie brakującej informacji i pytanie do użytkownika.

W scenariuszu z podobnymi nazwami sprawdź identyfikację firmy. Materiał dotyczący innego podmiotu może zawierać znajome słowa, ale nie wspierać odpowiedzi o właściwej marce.

Dla FunkyMEDIA takie scenariusze są propozycją kontroli jakości opisu informacji, a nie dowodem działania konkretnego wdrożenia.

Raportuj wynik razem z błędami

Zachowaj pytanie, odnalezione fragmenty, pełną odpowiedź i uzasadnienie oceny. Wynik zbiorczy powinien mieć licznik i mianownik.

Jeżeli ilustracyjnie 7 z 10 odpowiedzi spełniło ustalone kryteria, zapisz również trzy niespełnione przypadki. Mogą dotyczyć różnych usterek i wymagać innych poprawek.

Nie zmieniaj oczekiwanych faktów tylko po to, żeby wynik poprawił się po uruchomieniu testu. Korekta błędnego przypadku jest możliwa, ale wymaga nowej wersji i zapisu przyczyny.

FAQ

Czy mały zestaw wystarczy do oceny całego systemu? Pokazuje zachowanie w wybranych scenariuszach. Zakres testu należy opisać razem z wynikiem.

Czy AI może oceniać odpowiedzi? Może wspierać ocenę, ale reguły i przykłady wymagają kontroli. Zachowaj możliwość ręcznego odtworzenia werdyktu.

Czy sam poprawny link wystarcza? Sprawdź fragment źródła oraz to, czy wspiera fakty podane w odpowiedzi.

Materiały FunkyMEDIA rozwijają pracę nad informacją o marce i jej weryfikacją. AI Search · Brand Mentions · Metodologia · Kontakt.

LinkedIn FunkyMEDIA · Facebook · Instagram · YouTube.

Artykuł przygotowano z użyciem AI. Oferta, rekord i liczby w przykładach są fikcyjne.