Dobierz chunking, embeddingi i wyszukiwanie hybrydowe pod polskojęzyczną bazę RAG

Sam wektor gubi numery katalogowe i sygnatury ustaw, a sam BM25 nie rozumie parafraz. Połącz oba światy z polską lematyzacją i rerankingiem.

Cztery fundamenty trafnego wyszukiwania RAG w języku polskim

  1. 01

    Nigdy nie rezygnuj z warstwy leksykalnej BM25 na rzecz samych wektorów

    Użytkownicy wpisują kody błędów, numery faktur, NIP-y i artykuły ustaw, w których gęste wektory rozmywają pojedyncze cyfry – wyszukiwanie hybrydowe chroni precyzję.

  2. 02

    Dołączaj ścieżkę nagłówków nadrzędnych do każdego wycinka tekstu

    Akapit „Stawka wynosi 5%” wyrwany ze środka dokumentu jest bezużyteczny bez doklejonej informacji: „Umowa X > Załącznik 2 > Kary za zwłokę w Etapie I”.

  3. 03

    Zastosuj polski analizator morfologiczny dla indeksu pełnotekstowego

    Bez słownika fleksyjnego (np. Morfologik lub Stempel) zapytanie „rozwiązanie umowy” nie dopasuje leksykalnie form „rozwiązania”, „rozwiązaniu” ani „rozwiązać”.

  4. 04

    Dodaj lekki model Cross-Encoder Reranker dla czołowych 30 trafień

    Ponowna ocena par zapytanie–dokument przez reranker przed podaniem kontekstu do modelu LLM radykalnie podnosi trafność pierwszej trójki i obniża koszt tokenów.

Przykład działania

Problem inżynierski przy wdrożeniu wyszukiwarki dokumentacji

Nasz wektorowy RAG myli specyfikacje modelu pompy P-204A i P-204B oraz ucina wiersze tabel od ich nagłówków przy sztywnym podziale co 500 znaków.

Rekomendowana korekta potoku indeksowania

1. Chunking strukturalny (Markdown/HTML-aware): konwersja tabel do formatu z powtórzonym nagłówkiem kolumn w każdym podziale powyżej 20 wierszy + doklejanie metadanych modelu produktu do każdego chunka. 2. Hybryda: BM25 z tokenizacją zachowującą ciągi alfanumeryczne (P-204A jako dokładny token) + wyszukiwanie wektorowe połączone wagowo lub przez RRF. 3. Reranking top-25 wyników przed syntezą odpowiedzi.

Przejście ze ślepego cięcia znakowego na podział strukturalny i hybrydę BM25 eliminuje halucynacje między bliźniaczymi modelami sprzętu.

Najczęściej zadawane pytania

Dlaczego gotowe tutoriale RAG z języka angielskiego zawodzą po wgraniu polskich dokumentów?

Język polski ma bogatą fleksję siedmiu przypadków, a polskie dokumenty urzędowe i techniczne obfitują w długie zdania wielokrotnie złożone oraz odwołania kaskadowe.

Jaki rozmiar fragmentu (chunk size) sprawdza się najlepiej w dokumentacji biznesowej?

Zamiast sztywnej liczby znaków najlepiej dzielić tekst po naturalnych granicach sekcji, paragrafów i punktów (zwykle 300–700 tokenów) z zachowaniem drzewa tytułów.

Kiedy warto dodać ekstrakcję filtrów metadanych przed właściwym wyszukiwaniem?

Gdy użytkownik pyta o „umowy z 2025 roku dla działu logistyki” – twardy filtr SQL/metadanych po roku i dziale zawęża pulę jeszcze przed uruchomieniem rankingu.

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania

Połącz wyszukiwanie po Notion, Google Drive, Confluence i komunikatorze w jeden indeks

Specyfikacja w Confluence, arkusz kalkulacyjny na Dysku, a ostatnia decyzja w wątku na Slacku? Przestań zgadywać, w której aplikacji leży plik.

Wyeliminuj duplikaty i przestarzałe wersje plików, które psują odpowiedzi wyszukiwarki

Zasada Garbage In, Garbage Out w bazach wiedzy: jeśli w folderach leży sześć sprzecznych wersji tego samego cennika, najlepszy model AI poda błędną kwotę.

Zadbaj, by wyszukiwarka firmowa zwracała wyłącznie dokumenty zgodne z uprawnieniami

Wewnętrzna wyszukiwarka AI nie może ujawnić stawek wynagrodzeń ani niepublicznych umów M&A osobie bez dostępu do folderu źródłowego.

Skróć czas odpowiedzi helpdesku dzięki wyszukiwaniu w historycznych zgłoszeniach

80% „nowych” trudnych zgłoszeń klientów ktoś w drugiej linii wsparcia rozwiązał już pół roku temu. Daj konsultantom natychmiastowy wgląd w dawne rozwiązania.

Zmierz trafność wewnętrznej wyszukiwarki na zestawie kontrolnych zapytań przed startem

„Wydaje się, że działa dobrze na trzech przykładach” to przepis na porażkę wdrożenia. Zbuduj złoty zbiór 100 zapytań i mierz twardo Recall@5 oraz MRR.

Popraw trafność i personalizację wyszukiwarki w sklepie internetowym bez irytowania klientów

Klient wpisujący „kurtka przeciwdeszczowa w góry do 600 zł” nie powinien oglądać parasoli ani wyprzedanych rozmiarów. Zoptymalizuj wyszukiwarkę e-commerce.