// Wiedza i agenci AI
Agentowa baza wiedzy
Odpowiedzi z dokumentów firmy, z przypisem do źródła. Na własnych GPU, bez wynoszenia danych poza firmę.
Własny produkt
Wiedza potrzebna w pracy leży w PDF-ach, arkuszach i skanach, a model językowy bez źródeł potrafi zmyślać. Budujemy bazy wiedzy, w których agent sam przeszukuje dokumenty i odpowiada na ich podstawie, z przypisem do każdego twierdzenia. Wdrażamy je w finansach, ubezpieczeniach i farmacji, a sprawdzą się wszędzie, gdzie odpowiedź trzeba znaleźć w dokumentach: w kancelariach prawnych, medycynie, przemyśle, energetyce, administracji publicznej i obsłudze klienta.
// Co dostarczyliśmy
- →Potok dokumentów: PDF, Excel i skany, z OCR i opisem wykresów przez model wizyjny
- →Wyszukiwanie hybrydowe: wektorowe i pełnotekstowe z polską odmianą, z rerankingiem
- →Agent, który sam dobiera narzędzia i dociąga kontekst, gdy go brakuje
- →Odpowiedzi z przypisami do fragmentów źródeł i kontrolą ugruntowania
- →Ślad każdego kroku w warstwie obserwowalności
- →Wdrożenie on-premise na własnych GPU, z lokalnymi modelami
// jak to działa
01 / 05 · Dokumenty
Dokumenty stają się wiedzą
PDF-y, arkusze Excela i skany trafiają do jednego potoku. OCR czyta skany po polsku i angielsku, tabele zamieniamy na tekst z nagłówkami kolumn, a wykresy opisuje model wizyjny. Każdy fragment dostaje prefiks z nazwą dokumentu i sekcji, zanim stanie się wektorem. Baza zbudowana na publicznym rejestrze leków to ponad 2 mln fragmentów z 22 786 dokumentów.
02 / 05 · Rozumienie pytania
Jak model rozumie pytanie
Pytanie dzielimy na tokeny, często kawałki słów, bo polska odmiana rzadko mieści się w jednym tokenie. Kolejne warstwy uwagi dokładają kontekst, aż „dawka” zaczyna znaczyć „maksymalna dobowa dawka paracetamolu u dorosłych”. Na końcu całe pytanie staje się jednym wektorem, liczonym na naszych GPU.
03 / 05 · Wyszukiwanie hybrydowe
Szukanie po znaczeniu i po słowach
Dwa wyszukiwania biegną równolegle. Baza wektorowa znajduje fragmenty o podobnym znaczeniu, a reranker układa je od najtrafniejszego. Polskie wyszukiwanie pełnotekstowe sprowadza słowa do rdzeni, więc „dawki” i „dawka” to dla niego to samo słowo. Obie listy łączymy metodą RRF.
04 / 05 · Pętla agenta
Agent, nie wyszukiwarka
Wyszukiwanie to dla modelu narzędzie: sam decyduje, co wywołać i czy ma już dość kontekstu. Tu uznaje, że pierwsze fragmenty to za mało, dociąga cały rozdział o dawkowaniu, a potem dokładną frazą sprawdza w ulotce odstęp między dawkami. Każdy krok zapisuje się w warstwie obserwowalności, więc widać, skąd wzięła się odpowiedź.
05 / 05 · Odpowiedź ze źródłami
Odpowiedź, którą można sprawdzić
Odpowiedź spływa token po tokenie, a każde twierdzenie ma przypis do konkretnego fragmentu dokumentu. Przed wysłaniem przechodzi przez strażników: kontrolę ugruntowania w źródłach i detektor halucynacji. Całość działa on-premise, na własnych GPU, więc dokumenty i pytania nie opuszczają firmy.
// Fakty
- Fragmenty w produkcyjnej bazie wiedzy
- ponad 2 mln
- Dokumenty z publicznego rejestru leków
- 22 786
Użyte technologie
Python
FastAPI
Vector DB
PostgreSQL
Redis
Object storage
OCR
LLM serving
Local LLMs
Observability
Docker