Zmierz trafność wewnętrznej wyszukiwarki na zestawie kontrolnych zapytań przed startem

„Wydaje się, że działa dobrze na trzech przykładach” to przepis na porażkę wdrożenia. Zbuduj złoty zbiór 100 zapytań i mierz twardo Recall@5 oraz MRR.

Jak zbudować powtarzalny benchmark jakości wyszukiwania

  1. 01

    Zbierz prawdziwe zapytania od przyszłych użytkowników końcowych

    Inżynierowie budujący system zadają pytania słowami z tytułów dokumentów – poproś handlowców, księgowość i serwis o 50 realnych problemów pisanych ich językiem.

  2. 02

    Dodaj pytania pułapkowe, na które w bazie nie ma odpowiedzi

    Sprawdź, czy przy pytaniu o nieistniejącą procedurę system uczciwie komunikuje brak dokumentu w źródłach, zamiast zmyślać odpowiedź z wiedzy ogólnej modelu.

  3. 03

    Rozdziel pomiar jakości wyszukiwania (Retrieval) od generowania

    Jeśli właściwy paragraf nie trafił do pierwszych pięciu pobranych dokumentów (niski Recall@5), zmiana promptu ani droższy model LLM nic nie pomoże – napraw indeks.

  4. 04

    Uruchamiaj automatyczny test regresyjny przed każdą zmianą parametrów

    Zmiana rozmiaru chunków lub modelu embeddingowego może poprawić jeden przykład, psując dwadzieścia innych – decyduje wyłącznie wynik na całym zbiorze kontrolnym.

Najczęściej zadawane pytania

Dlaczego demonstracje wyszukiwarek AI na żywo wyglądają świetnie, a po miesiącu użytkownicy przestają z nich korzystać?

Na prezentacji pokazuje się trzy łatwe pytania dopasowane do znanych plików, natomiast w codziennej pracy wychodzą literówki, skróty działowe i sprzeczne wersje dokumentów.

Ile par pytanie–właściwy dokument potrzeba na start do sensownej oceny wdrożenia?

Już starannie opisany zestaw od 80 do 150 rzeczywistych pytań przekrojowych z przypisanymi dokumentami docelowymi daje stabilny statystycznie wskaźnik porównawczy.

Która metryka najlepiej oddaje satysfakcję użytkownika szukającego jednego konkretnego dokumentu?

Mean Reciprocal Rank (MRR), ponieważ premiuje umieszczenie właściwego pliku na pierwszej lub drugiej pozycji znacznie wyżej niż ukrycie go na ósmym miejscu listy.

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania