Jak mierzyć pracę agentów AI, żeby nie pomylić aktywności z wynikiem?

Agent AI może pracować przez wiele godzin, uruchamiać kilka zadań równolegle i generować coraz więcej materiału. Żaden z tych sygnałów nie dowodzi jeszcze, że firma szybciej kończy sprawy, popełnia mniej błędów albo obniża koszt obsługi.

Dlatego pracy agentów nie warto oceniać samą aktywnością. Najważniejsze jest to, ile poprawnych i użytecznych zadań kończą oraz jaki wpływ ma to na cały proces.

Oddziel aktywność od rezultatu

Do łatwo dostępnych danych należą między innymi:

• liczba uruchomień;
• czas działania agentów;
• zużycie tokenów;
• liczba wykonanych kroków;
• liczba wygenerowanych plików, odpowiedzi lub zmian;
• liczba agentów pracujących równolegle.

Takie wskaźniki pomagają kontrolować wykorzystanie systemu i koszty. Nie mówią jednak, czy wynik został przyjęty, czy wymagał poprawy ani czy przyspieszył końcową decyzję.

OpenAI opisało wewnętrzny wzrost użycia agentów przez badaczy, więcej eksperymentów i pracę wielu agentów równolegle. Jednocześnie autorzy wyraźnie zaznaczyli, że łatwe do zebrania dane o aktywności są trudne do interpretacji, a wzrost eksperymentów zbiegł się również ze wzrostem dostępnej mocy obliczeniowej. To przykład ważnego ograniczenia: korelacja nie wystarcza do przypisania wyniku jednemu narzędziu.

Zdefiniuj, czym jest poprawnie zakończone zadanie

Najpierw trzeba ustalić jednostkę pomiaru. „Praca agenta” jest zbyt ogólna. Jednostką może być na przykład:

• poprawnie sklasyfikowane zgłoszenie;
• przygotowana oferta zaakceptowana przez handlowca;
• raport zgodny z wymaganym zestawem danych;
• zmiana kodu, która przeszła przegląd i testy;
• odpowiedź klientowi zatwierdzona bez korekty merytorycznej.

Dla każdego typu zadania zapisz warunki odbioru. Wynik powinien być policzony jako sukces dopiero wtedy, gdy spełnia te warunki, a nie w chwili, gdy agent zakończy generowanie.

Mierz odsetek sukcesów, nie tylko liczbę prób

Podstawowy wskaźnik może mieć prostą postać:

liczba zadań przyjętych bez istotnej poprawki / liczba wszystkich zadań przekazanych agentowi

Warto osobno zapisywać:

• zadania zakończone poprawnie;
• zadania poprawne po interwencji człowieka;
• zadania przekazane człowiekowi bez wyniku;
• zadania zakończone błędem;
• zadania z wynikiem, którego nie dało się jednoznacznie ocenić.

OpenAI podaje, że w badanym okresie ponad połowa udanych zadań szacowanych na 4–8 godzin wymagała co najmniej jednej interwencji człowieka. To dane z konkretnej organizacji badawczej, a nie benchmark dla innych firm. Pokazują jednak, dlaczego sam status „wykonane” może ukrywać znaczną pracę zespołu.

Licz interwencje i poprawki człowieka

Interwencja nie zawsze oznacza porażkę. Przy zadaniu złożonym może być zaplanowanym punktem kontroli. Trzeba jednak wiedzieć, ile pracy nadal pozostaje po stronie zespołu.

Rejestruj co najmniej:

• liczbę pytań doprecyzowujących;
• czas potrzebny na nadzór;
• liczbę poprawek przed akceptacją;
• przyczynę zatrzymania lub eskalacji;
• rolę osoby, która musiała przejąć zadanie.

Powtarzające się interwencje mogą ujawnić niejasne polecenie, brak danych, zbyt szeroki zakres agenta albo źle dobrane kryteria odbioru.

Policz koszt zaakceptowanego wyniku

Koszt pojedynczego uruchomienia jest użyteczny technicznie, ale może prowadzić do błędnych decyzji. Tani agent, którego rezultaty są często poprawiane, może kosztować więcej niż droższy wariant kończący zadania poprawnie.

Do kosztu zaakceptowanego wyniku wlicz:

• koszt modeli i narzędzi;
• koszt infrastruktury;
• czas kontroli i poprawek;
• koszt ponownych prób;
• koszt błędów oraz ich odwracania.

Porównuj tę wartość z wcześniejszym sposobem pracy dla tego samego typu zadania i podobnego poziomu trudności.

Mierz czas całego procesu

Agent może wykonać swój etap w minutę, a sprawa nadal może przez dwa dni czekać na dane lub zatwierdzenie. Wtedy przyspieszenie kroku nie jest jeszcze przyspieszeniem procesu.

Poza czasem pracy agenta mierz:

• czas od rozpoczęcia sprawy do zaakceptowanego wyniku;
• czas oczekiwania na człowieka;
• czas obsługi wyjątków;
• terminowość całego procesu.

Podejście procesowe ISO również wskazuje na potrzebę patrzenia na powiązane wejścia, działania, wyjścia i pomiar efektu. Agent jest jednym elementem tego układu, a nie osobnym procesem pozbawionym konsekwencji dla innych osób.

Podziel wyniki według rodzaju i trudności zadań

Średnia może ukrywać dwie różne sytuacje: bardzo dobre wyniki w prostych sprawach i częste błędy w zadaniach o dużym wpływie.

Dlatego raportuj osobno:

• typ zadania;
• poziom ryzyka;
• przewidywaną złożoność;
• dział lub etap procesu;
• zadania typowe i wyjątki.

Nie porównuj bezpośrednio klasyfikacji krótkiej wiadomości z przygotowaniem analizy wymagającej wielu źródeł i decyzji.

Obserwuj, gdzie przesuwa się wąskie gardło

Automatyzacja jednego etapu zwiększa udział pracy, której zautomatyzować się nie udało. OpenAI wskazuje, że wraz z postępem automatyzacji najmniej podatne na nią zadania stają się ważniejszym ograniczeniem całego procesu.

W firmie może to oznaczać, że po uruchomieniu agentów problemem przestaje być przygotowanie materiału, a staje się nim:

• dostępność osoby zatwierdzającej;
• jakość danych wejściowych;
• czas decyzji prawnej lub finansowej;
• obsługa nietypowych przypadków;
• ograniczona przepustowość następnego etapu.

Jeżeli tego nie zmierzysz, rosnąca liczba wyników może jedynie utworzyć nową kolejkę oczekujących spraw.

Ustal mały zestaw wskaźników decyzyjnych

Dla pierwszego pilotażu wystarczy zwykle kilka miar:

1. odsetek zadań przyjętych bez istotnej poprawki;
2. odsetek zadań wymagających interwencji;
3. czas całego procesu;
4. koszt zaakceptowanego wyniku;
5. liczba i wpływ błędów;
6. miejsce aktualnego wąskiego gardła.

Każdy wskaźnik powinien mieć punkt odniesienia, sposób liczenia, właściciela i termin przeglądu. Zasady pomiaru należy ustalić przed oceną wyników, aby nie wybierać po fakcie tylko tych danych, które wyglądają korzystnie.

Najważniejsza zasada

Nie pytaj wyłącznie, ile pracy wykonały agenty. Zapytaj, ile poprawnych spraw firma zakończyła dzięki nim, jakiej pomocy wymagały i czy poprawił się wynik całego procesu.

Aktywność opisuje wykorzystanie narzędzia. Dopiero sukces zadania, koszt, jakość i czas od początku do końca pokazują jego wartość biznesową.