Baza wiedzy
Jak mierzyć jakość odpowiedzi asystenta AI?
Jak praktycznie testować poprawność, kompletność, źródła, bezpieczeństwo i użyteczność odpowiedzi firmowego asystenta AI.
Jak firma może sprawdzić jakość odpowiedzi własnego asystenta AI?
Najlepiej przygotować zestaw prawdziwych pytań wraz z oczekiwanymi faktami i źródłami, a następnie osobno oceniać poprawność, kompletność, aktualność, uźródłowienie, bezpieczeństwo i przydatność. Trzeba również testować sytuacje, w których asystent powinien odmówić odpowiedzi.
Asystent AI nie powinien być oceniany na podstawie kilku efektownych demonstracji. Potrzebny jest powtarzalny zestaw testów pokazujący, czy jego odpowiedzi są poprawne, oparte na właściwych źródłach i użyteczne w prawdziwej pracy.
Warto testować nie tylko odpowiedzi dobre, ale również zachowanie systemu wtedy, gdy danych brakuje.
Zacznij od prawdziwych pytań
Zbierz pytania, które pracownicy rzeczywiście zadają podczas pracy.
Zestaw powinien obejmować:
- pytania proste;
- pytania niejednoznaczne;
- rzadkie wyjątki;
- pytania z błędami lub skrótami;
- przypadki, na które nie ma odpowiedzi w dostępnych dokumentach.
Dzięki temu test przypomina rzeczywiste użycie, a nie pokaz przygotowany pod system.
Przygotuj wzorzec odpowiedzi
Dla każdego pytania określ najważniejsze fakty, warunki i ograniczenia, które powinny znaleźć się w poprawnej odpowiedzi.
Wskaż również wiarygodne źródło.
Nie chodzi o identyczne zdania. Dwie odpowiedzi mogą brzmieć inaczej i nadal być równie poprawne.
Oceniaj kilka cech osobno
Jedna ogólna ocena typu „dobre / złe” ukrywa przyczynę problemu.
Warto osobno sprawdzać:
- poprawność faktów;
- kompletność;
- zrozumiałość;
- aktualność;
- zgodność odpowiedzi ze wskazanym źródłem;
- poprawność samego źródła;
- zgodność z uprawnieniami użytkownika;
- przydatność w wykonaniu zadania.
Dobrze jest również określić minimalny poziom akceptacji dla najważniejszych kategorii.
Testuj bezpieczne „nie wiem”
Asystent powinien umieć rozpoznać brak danych, konflikt źródeł i pytanie wykraczające poza jego zakres.
Odpowiedzialna odmowa lub prośba o doprecyzowanie jest lepsza niż pewnie brzmiąca, ale wymyślona odpowiedź.
Sprawdzaj różne sposoby zadania pytania
Użytkownicy nie korzystają z jednego szablonu.
To samo pytanie warto zadać:
- formalnie i potocznie;
- krótko i z dodatkowym kontekstem;
- z literówką;
- z użyciem skrótu firmowego;
- w sposób częściowo niejednoznaczny.
System nie musi używać identycznych słów, ale powinien zachować sens odpowiedzi i właściwe ograniczenia.
Mierz skuteczność w pracy
Poprawna odpowiedź nie zawsze jest użyteczna.
Sprawdź, czy pracownik dzięki niej:
- szybciej kończy zadanie;
- rzadziej szuka informacji w innych miejscach;
- rozumie, na jakiej podstawie dostał odpowiedź;
- potrafi wykonać właściwy następny krok.
To pokazuje wartość rozwiązania poza samą jakością języka.
Analizuj błędy według przyczyny
Błędna odpowiedź może wynikać z różnych problemów:
- nieaktualnego dokumentu;
- złego wyszukania źródła;
- błędnych uprawnień;
- niejasnego pytania;
- niepoprawnej interpretacji;
- niewłaściwego sformułowania odpowiedzi.
Każda z tych przyczyn wymaga innej poprawki.
Powtarzaj test po zmianach
Zestaw kontrolny powinien być uruchamiany po aktualizacji dokumentów, reguł, modelu lub sposobu wyszukiwania informacji.
To pozwala wykryć sytuację, w której nowa funkcja poprawia jeden obszar, ale pogarsza odpowiedzi, które wcześniej działały prawidłowo.