Platforma Braintrust przeanalizowała 1781 uruchomień agentów AI w środowiskach produkcyjnych. Badacze odkryli, że wbrew powszechnej opinii to nie wybrany model językowy, lecz użyty framework agentowy stanowi główną przyczynę sukcesu. Zmiana samego środowiska pracy agenta, przy zachowaniu tego samego modelu, potrafi podnieść wskaźnik udanych działań z 12 do 92 procent. Autorzy badania wyliczyli, że wpływ frameworka na końcowy wynik jest ponad siedem razy większy niż wpływ wybranego modelu, a koszty takiej zmiany są niemal zerowe. Obecnie różnice w wydajności sześciu głównych modeli spadły do wartości jednocyfrowych, dlatego dla startupów kluczowe staje się to, jakich narzędzi używają do wdrożenia technologii oraz jak skutecznie kontrolują koszty wnioskowania.

Architektura frameworków drastycznie zmienia skuteczność modeli w zależności od specyfiki zadania. Analitycy udowadniają na przykład, że rygorystyczne ograniczanie dostępnych narzędzi w celu zwiększenia precyzji przynosi odwrotny skutek, ponieważ modele gubią kontekst i popełniają błędy logiczne.

Kolejnym niezwykle istotnym czynnikiem jest całkowity koszt pojedynczego działania zakończonego z sukcesem. Modele typu open source wykazują tu potężną przewagę w zadaniach programistycznych, gdzie na przykład Kimi osiągnął koszt 0,40 USD za poprawne rozwiązanie, podczas gdy zamknięty model Claude wymagał 84,33 USD. Badacze mocno akcentują również fakt, że najtańsze tokeny nie zawsze dają najwyższą efektywność. Model GPT-4.1 na papierze wydawał się wyjątkowo tani, ale w trudnych zadaniach koderskich ponosił porażki na masową skalę. Z drugiej strony, w typowej obsłudze klienta deklasował konkurencję z kosztem rzędu zaledwie kilku centów za sukces.

Twórcy raportu przekonują ostatecznie, że na rynku nie istnieje jeden uniwersalny model do wszystkiego. Każda kategoria zadań wymaga specyficznego podejścia, dlatego inżynierowie powinni budować zróżnicowane matryce modeli i frameworków. Co ważne, błędy popełniane przez sztuczną inteligencję mają zupełnie inny charakter w zależności od zlecenia. W zadaniach programistycznych agent zazwyczaj wpada w pętle i zużywa ogromne ilości tokenów, zanim zgłosi porażkę. W konwersacjach z klientami błędne odpowiedzi padają z kolei szybko i pewnie, bez nadmiernego zużycia zasobów. Wymusza to na programistach stosowanie zupełnie odmiennych strategii monitorowania czyli systemów odcinających działanie po przekroczeniu górnego limitu tokenów przy pisaniu kodu oraz alertów o zbyt szybkim wygenerowaniu odpowiedzi w czatach.

Prawdziwą barierą wejścia i przewagą konkurencyjną dla firm technologicznych staje się dziś zatem precyzyjne zarządzanie kosztami wnioskowania i optymalizacja inżynierska wdrożeń, a nie poleganie wyłącznie na obietnicach twórców najnowszych modeli.

Wykresy źródłowe.