Jak sprawdzić, czy prognoza AI działa w firmie?

Prognoza sprzedaży, popytu albo obciążenia może wyglądać przekonująco na prezentacji dostawcy i nadal nie pomagać w decyzjach konkretnej firmy. Wynik zależy od sezonowości, promocji, dostępności danych, struktury asortymentu i sposobu, w jaki zespół wykorzystuje prognozę.

Dlatego przed wdrożeniem nie warto pytać wyłącznie: „który model jest najlepszy?”. Ważniejsze pytanie brzmi: czy wybrana prognoza podejmuje lepszą próbę przewidzenia naszej rzeczywistości niż obecny sposób planowania — i czy przekłada się to na lepsze decyzje biznesowe?

Najpierw nazwij decyzję, którą ma wspierać prognoza

Ten sam proces może potrzebować różnych prognoz. Planista zakupów chce wiedzieć, ile zamówić na najbliższe tygodnie. Zarząd może potrzebować rocznej projekcji sprzedaży. Zespół obsługi planuje liczbę osób na kolejne dni, a produkcja — wykorzystanie maszyn i materiałów.

Przed wyborem technologii zapisz:

• co dokładnie prognozujesz;
• dla jakiej jednostki, produktu, lokalizacji lub grupy klientów;
• z jakim wyprzedzeniem decyzja musi zostać podjęta;
• jak często prognoza ma być odświeżana;
• kto podejmuje decyzję na jej podstawie;
• jaki jest koszt niedoszacowania i przeszacowania;
• które zdarzenia mogą unieważnić wcześniejsze założenia.

Prognoza tygodniowa na trzy miesiące nie odpowiada na ten sam problem co prognoza dzienna na najbliższy tydzień. Jeśli cel nie jest jednoznaczny, jeden wynik błędu może ukryć to, że model jest dobry dla części decyzji, a bezużyteczny dla pozostałych.

Zbuduj punkt odniesienia

Model AI nie powinien konkurować z wyobrażeniem o obecnym procesie. Powinien zostać porównany z rozwiązaniem, którego firma rzeczywiście używa.

Punktem odniesienia może być:

• prognoza przygotowywana ręcznie przez planistę;
• średnia z poprzednich okresów;
• wynik z analogicznego tygodnia lub miesiąca poprzedniego roku;
• reguła sezonowa stosowana w arkuszu;
• obecny model statystyczny lub uczenia maszynowego;
• prognoza skorygowana po promocjach i zdarzeniach wyjątkowych.

Zapisz nie tylko ostateczną liczbę, lecz także czas przygotowania, źródła danych i ręczne poprawki. Nowy model może poprawić dokładność niewiele, ale znacząco skrócić pracę zespołu. Może też wyglądać lepiej statystycznie, a wymagać tylu korekt i wyjątków, że całkowity koszt procesu wzrośnie.

Nie mieszaj przyszłości z przeszłością

Najczęstszy błąd testu prognozy polega na użyciu informacji, które w rzeczywistym momencie podejmowania decyzji nie były jeszcze dostępne. Model może wtedy osiągnąć świetny wynik, ale test nie odtwarza warunków produkcyjnych.

Dane trzeba dzielić zgodnie z kolejnością czasu. Dokumentacja scikit-learn ostrzega, że zwykły losowy podział może prowadzić do uczenia na przyszłości i oceniania na przeszłości. W praktyce oznacza to, że dla każdego okresu testowego model powinien korzystać tylko z informacji znanych przed jego początkiem.

Sprawdź szczególnie:

• czy ceny i promocje były znane w dniu tworzenia prognozy;
• czy późniejsze korekty zamówień nie trafiły do danych wejściowych;
• czy braki magazynowe nie zostały potraktowane jak brak popytu;
• czy dane o pogodzie, kampanii albo zdarzeniu specjalnym były wtedy dostępne;
• czy sposób agregacji nie korzysta z pełnego miesiąca przed jego zakończeniem.

To nie jest techniczny detal. Przeciek informacji tworzy pozorną przewagę, której firma nie zobaczy po uruchomieniu rozwiązania.

Testuj na kilku kolejnych okresach

Pojedynczy miesiąc może być wyjątkowo łatwy albo trudny. Lepszy obraz daje backtest kroczący: tworzysz prognozę tak, jakbyś znajdował się w kilku kolejnych momentach historycznych, a potem porównujesz ją z tym, co rzeczywiście się wydarzyło.

W studium Decathlonu opisanym przez firmę i AWS porównanie obejmowało 101 kolejnych punktów odcięcia z prawie dwóch lat, około 25 tysięcy produktów w każdym punkcie oraz dwa horyzonty prognozy. To skala właściwa dla dużego sprzedawcy, nie uniwersalne minimum. Ważna jest zasada: model oceniano wielokrotnie na własnych danych i względem działającego rozwiązania, a nie tylko na publicznym rankingu.

W mniejszej firmie można zacząć od kilku lub kilkunastu okresów obejmujących:

• zwykły poziom działalności;
• sezon wysoki i niski;
• promocję lub zmianę cen;
• okres braków albo ograniczeń podaży;
• wprowadzenie nowego produktu;
• nietypowe zdarzenie, jeśli jest istotne dla procesu.

Jeżeli danych jest mało, wynik powinien zostać opisany jako wstępny. Brak długiej historii nie uzasadnia udawania większej pewności.

Dobierz więcej niż jeden miernik błędu

Nie istnieje jeden miernik dobry dla każdej sytuacji. Dokumentacja Amazon Forecast opisuje między innymi WAPE, RMSE, MASE i ważoną stratę kwantylową. Każdy odpowiada na inne pytanie.

WAPE pokazuje łączny błąd bezwzględny względem łącznej wielkości obserwacji. Jest użyteczny przy ocenie wielu pozycji razem, ale może ukrywać słabsze wyniki dla produktów o małym wolumenie.

RMSE silniej karze duże pomyłki, ponieważ błąd jest podnoszony do kwadratu. Może być właściwy tam, gdzie kilka skrajnych nietrafionych prognoz powoduje duży koszt.

Miary kwantylowe pomagają oceniać zakres niepewności, a nie tylko jedną liczbę. To ważne, gdy niedoszacowanie i przeszacowanie mają różne konsekwencje.

W praktyce warto połączyć:

• główny miernik błędu dla całej prognozy;
• miernik wrażliwy na kosztowne skrajne pomyłki;
• wynik dla ważnych segmentów, a nie tylko średnią;
• stabilność wyniku w kolejnych okresach;
• porównanie z punktem odniesienia.

Nie wybieraj miernika dopiero po zobaczeniu wyników. Zapisz go przed testem wraz z uzasadnieniem biznesowym.

Przetłumacz błąd na skutki dla firmy

Lepszy wynik statystyczny nie zawsze oznacza lepszą decyzję. Dlatego test powinien łączyć jakość prognozy z miernikami procesu.

W zależności od zastosowania mogą to być:

• liczba i czas trwania braków;
• wartość nadmiarowego zapasu;
• dostępność produktu;
• utracona lub przesunięta sprzedaż;
• koszt ekspresowego uzupełnienia;
• odsetek zamówień dostarczonych terminowo;
• wykorzystanie ludzi lub maszyn;
• liczba ręcznych korekt prognozy;
• czas przygotowania planu;
• liczba decyzji wymagających eskalacji.

Decathlon deklaruje, że w jego warunkach poprawa WAPE była powiązana z zapasem, dostępnością i sprzedażą. To wynik określonego wdrożenia w dwóch regionach i nie powinien być przenoszony wprost do innej firmy. Pokazuje jednak właściwą konstrukcję testu: błąd modelu został połączony z konsekwencją operacyjną, którą rozumie właściciel biznesowy.

Sprawdź wyniki w ważnych segmentach

Średnia dla całej firmy może wyglądać dobrze, mimo że model zawodzi tam, gdzie ryzyko jest największe. Wyniki warto rozbić co najmniej według:

• produktów lub usług o dużej wartości;
• pozycji szybko i wolno rotujących;
• lokalizacji;
• sezonowości;
• długości dostępnej historii;
• stabilności popytu;
• nowych i wygaszanych produktów;
• wpływu błędu na klienta lub finanse.

Jeśli model poprawia wynik dla dużego wolumenu, ale pogarsza dostępność kluczowych pozycji, decyzja wdrożeniowa nie powinna opierać się na jednej wartości zbiorczej. Możliwe, że potrzebne będą różne reguły dla różnych segmentów albo pozostawienie części prognoz przy obecnym rozwiązaniu.

Uruchom tryb równoległy przed zmianą decyzji

Po teście historycznym warto przez ustalony okres tworzyć nową prognozę obok obecnego procesu, ale nie pozwalać jej jeszcze samodzielnie sterować zamówieniami, obsadą lub produkcją.

W trybie równoległym zapisuj:

• prognozę obu metod;
• dane dostępne w chwili jej utworzenia;
• ręczne korekty i ich uzasadnienie;
• rzeczywisty wynik;
• decyzję, którą podjąłby zespół;
• przypadki, w których model przekroczył ustalony próg ryzyka.

To pozwala wykryć problemy, których nie było w danych historycznych: opóźnienia integracji, zmianę znaczenia pól, nowe promocje albo inne zachowanie użytkowników.

Ustal bramkę wdrożenia i warunki wycofania

Przed rozpoczęciem pilotażu określ, co musi się wydarzyć, aby firma rozszerzyła użycie prognozy. Kryteria mogą obejmować:

• poprawę głównego miernika względem punktu odniesienia;
• brak pogorszenia w segmentach krytycznych;
• ograniczenie dużych, kosztownych błędów;
• zmniejszenie ręcznej pracy po uwzględnieniu korekt;
• stabilność przez kilka kolejnych okresów;
• możliwość odtworzenia danych, wersji modelu i wyniku;
• akceptację właściciela procesu.

Ustal też warunki powrotu do poprzedniej metody: brak danych, nagła zmiana rynku, przekroczenie progu błędu albo awaria integracji. Działająca prognoza nie zwalnia firmy z monitorowania jej jakości po wdrożeniu.

Najważniejsza zasada

Nie kupuj obietnicy „najlepszego modelu”. Sprawdź, czy wybrana prognoza przewyższa obecny sposób planowania na Twoich danych, w Twoim horyzoncie i według kosztów, które naprawdę ponosi firma.

Zachowaj kolejność czasu, użyj kilku okresów testowych, połącz mierniki błędu ze skutkami biznesowymi i uruchom tryb równoległy. Dopiero wtedy wynik techniczny staje się podstawą decyzji wdrożeniowej.