Nenechajte sa strhnúť rebríčkami. Rozhoduje, ako model obstojí vo vašej firme.
Model, ktorý vyhral v rebríčku, nasadíte do firmy. Zákazníci čakajú na odpoveď dlho. Časť odpovedí nesedí. Faktúra je vyššia, než ste rátali. Rebríček testoval jednu vec. Vaša prevádzka testuje všetko ostatné. Práve preto sa mnohé AI projekty skončia pilotom.
Vždy vyberáte dve z troch: presnosť, rýchlosť, cena
Dá sa to nakresliť ako trojuholník. Na vrchole je presnosť, v rohoch rýchlosť a cena. Dve vlastnosti viete dosiahnuť naraz, tretia trpí. Veľký presný model, ktorý obslúži stovky ľudí naraz, bude drahý. Lacný rýchly model bude menej presný.
Testovanie je spôsob, ako zistiť, kde v tom trojuholníku vaše riešenie naozaj stojí. A zistiť to skôr, než to za vás zistia zákazníci.
Pri človeku
Uchádzač má výborné známky z vysokej školy. Či zvládne vášho najťažšieho klienta v piatok o štvrtej, zistíte až na skúšobnej dobe.
Pri AI
Rebríček sú známky. Vaše dáta, vaši zákazníci a vaše najvyťaženejšie hodiny sú skúšobná doba. Tú za vás nikto neurobí.
Prvá otázka: odpovedá správne vo vašom odbore?
Rebríčky fungujú ako štandardizovaný test. Model dostane otázky z chémie, histórie či programovania a odpovede sa porovnajú so správnymi. Lenže väčšina firemných otázok nemá jednu správnu odpoveď. Na otázku zákazníka sa dá dobre odpovedať sto spôsobmi.
Preto sa pri otvorených odpovediach používa metóda, ktorej sa odborne hovorí LLM as a judge: iný, silný model hodnotí odpovede podľa vopred určených kritérií. Je tón primeraný? Pomohla odpoveď? Nevymyslela si AI niečo o vašich produktoch?
Platí jedna podmienka. Hodnotiacemu modelu nemožno slepo veriť. Najprv odborník z firmy ohodnotí vzorku odpovedí. Hodnotiaci model sa podľa neho nastaví a až potom hodnotí stovky ďalších.
„Zákaznícka linka e-shopu. Vedúca podpory ohodnotí 50 skutočných odpovedí AI: dobrá, zlá, a prečo. Podľa jej hodnotení potom hodnotiaci model kontroluje každý týždeň stovky nových odpovedí a na problémové upozorní. Vedúca kontroluje len to, čo bolo označené.“
Druhá otázka: zvládne to, keď sa naraz pýta veľa ľudí?
Model môže byť presný a aj tak nepoužiteľný. Preto sa merajú štyri veci, ktoré prekladáme do reči prevádzky:
- Ako dlho čaká človek na prvé slovo odpovede. Pri chate je to rozdiel medzi plynulým rozhovorom a zatvoreným oknom.
- Ako rýchlo pribúda zvyšok odpovede.
- Ako dlho trvá celá odpoveď.
- Koľko ľudí naraz systém obslúži.
Dôležité je testovať s takými otázkami, aké naozaj chodia. Chat s krátkou otázkou a dlhou odpoveďou zaťaží systém úplne inak než dlhý dokument, z ktorého treba krátke zhrnutie. Kto testuje na nesprávnom type otázok, dostane úplne iné čísla, než uvidí v prevádzke.
Výsledkom testu je bod zlomu. Do určitého počtu ľudí naraz je odozva stabilná, potom prudko rastie. Ten bod je číslo, podľa ktorého plánujete kapacitu a rozpočet.
Pri človeku
Recepcia zvláda pokojné dopoludnie. Či zvládne pondelok ráno, keď volá dvadsať ľudí naraz, zistíte len tak, že to vyskúšate.
Pri AI
Rovnako testujeme záťaž. Nie priemerný deň, ale najvyťaženejšiu hodinu, keď sa naraz pýta najviac ľudí.
Pri agentovi testujete každý krok, nie len výsledok
Agent nie je jedna odpoveď. Je to reťaz rozhodnutí: pochopil, čo človek chce? Vybral správny nástroj? Našiel v dokumentoch správne podklady? Každý článok reťaze je miesto, kde sa niečo môže pokaziť, a preto má každý vlastný test.
Testovanie sa dá znázorniť ako pyramída. Mnohé tímy začínajú od vrcholu, od odborných testov. Pyramída však stojí na základoch:
| ÚROVEŇ | ČO TESTUJEME |
|---|---|
| 1. Prevádzka | Je systém dosť rýchly a zvládne počet ľudí? |
| 2. Formát | Prichádza odpoveď v tvare, ktorý ďalší systém alebo človek očakáva? |
| 3. Bezpečnosť | Neobsahuje odpoveď osobné údaje, ktoré tam nemajú byť? |
| 4. Fakty | Opiera sa odpoveď o vaše dáta, nie o odhad? |
| 5. Odbornosť | Odpovedá ako skúsený človek z vášho odboru? |
Spýtajte sa sami seba
Keby vaša AI dnes začala odpovedať horšie, zistili by ste to vy, alebo vaši zákazníci?
Ako testujeme, aby AI fungovala aj po mesiaci
Test nekončí spustením. Modely sa aktualizujú, dokumenty menia, zákazníci sa pýtajú inak. Preto pri každom riešení postavíme sadu kontrolných otázok z vašej praxe a spúšťame ju pravidelne. Keď sa výsledky zhoršia, vieme to skôr než vy.
Pred spustením odmeriame aj rýchlosť a cenu na vašej očakávanej záťaži. Rozhodnutie o modeli potom nestojí na rebríčku, ale na číslach z vašej firmy.
Rebríček je dobrý začiatok. Skutočný test prebieha na vašich dátach, s vaším počtom ľudí a s vaším meradlom dobrej odpovede.
