Do nedávna bola otázka, ako vyspelý je konkurent v oblasti AI, najmä kuriozitou. Teraz je to otázka s obchodnou váhou, pretože AI v časti práce skutočne prevzala úlohy: niektoré úplne, niektoré s človekom, ktorý schvaľuje alebo zamieta, a niektoré ešte vôbec nie. Tam, kde sa to deje, sa nemení len nákladová cena konkurenta. Mení sa to, na čom ešte vyhrávate. Dodacia lehota bola dlho funkciou obsadenosti: viac ľudí v plánovaní, kratšia priebežná doba. Ak sa u konkurenta plánovanie do veľkej miery robí samo, dodacia lehota už nie je personálna otázka, ale softvérová otázka, a to menia, kto v tejto dimenzii vedie. Presne preto má zmysel merať zvonku: nie aby ste vedeli, koľko AI konkurent používa, ale aby ste vedeli, ktoré dimenzie porovnania sa tým posúvajú.
Zvonku nevidíte systémy, prompty ani interné popisy procesov. Vidíte správanie a dôsledky: reakčné časy, ktoré klesajú, hoci tím nerastie, texty pracovných ponúk, ktoré sa posúvajú od vykonávania k kontrole, dodacie lehoty, ktoré sa skracujú pri nezmenených personálnych inzerátoch, cenotvorbu, ktorá je o niečo flexibilnejšia, než by vysvetľovala nákladová štruktúra. Žiadny z týchto signálov sám osebe nedokazuje použitie AI. Spolu, cez viacero dimenzií, tvoria vzor, ktorý už niečo vypovedá. Metóda teda nie je odčítanie percenta AI u konkurenta, to ako externe pozorovateľné číslo neexistuje. Metóda je hodnotenie dimenzií, na ktorých sa na vašom trhu skutočne vyhráva, a pri každom skóre si overiť, aké je podklad a ako pevný je tento podklad.
Každé skóre v konkurenčnom benchmarku stojí vedľa dôkazu, na ktorom je založené: text pracovnej ponuky, signál od klienta, pozorovaná dodacia lehota, zmena cien. Tým sa skóre stáva preskúmateľným a, minimálne rovnako dôležité, vyvrátiteľným. Skóre bez dohľadateľného zdroja je predpoklad s číslom navrch. Na porade vedenia sa tento rozdiel rýchlo ukáže: otázka „na čom je to založené“ musí mať konkrétnu odpoveď, inak je porovnanie len šum. Rovnaký test platí mimochodom aj pre vlastnú organizáciu. Skôr než porovnávate s vonkajším svetom, je užitočné vedieť čo je peer group a ako ju zostavíte, pretože skóre vedľa nesprávnej porovnávacej skupiny je rovnako zavádzajúce ako skóre bez zdroja.
Externý odhad AI vyspelosti má hranice, ktoré sa nedajú zotrieť. Konkurent môže mať pilotný projekt, ktorý ešte neprodukoval žiadny externý signál, a teda neoprávnene skóruje nízko. Konkurent môže tiež v marketingových materiáloch uvádzať AI tvrdenie, ktoré sa v samotnej výkonnej práci nedá nájsť, a teda neoprávnene skóruje vysoko, kým sa toto tvrdenie neoverí. Nezmenené počty zamestnancov vypovedajú málo, ak je časť tohto personálu štruktúrovane najímaná cez tretie strany. A rýchly reakčný čas môže byť rovnako dobre výsledkom dodatočnej služby ako automatizácie. Metóda preto pracuje s pásmami neistoty a s explicitnými mierami neistoty pre každú dimenziu, nie s jediným číslom, ktoré navodzuje istotu, ktorá tam nie je. Skóre, ktoré stojí na jedinom slabom signáli, je v matici takto aj označené.
Výsledok vypovedá málo, ak dimenzia sama osebe už nie je rozlišujúca. Ak sa nasadenie AI v určitej dimenzii stalo na celom trhu bežnou praxou, potom tam už nikto nevyhráva, a jej hodnotenie je cvičenie bez obchodného dôsledku. To je jeden z dôvodov, prečo benchmark začína otázkou ktoré dimenzie sa stávajú bezcennými, keď AI nasadzuje každý, skôr než sa čas venuje hodnoteniu dimenzií, ktoré už odpoveď neovplyvňujú. To isté platí pre náskok, ktorý je dnes reálny: ten zaniká, hneď ako konkurenti prevezmú tú istú prácu, a otázka ako dlho vydrží náskok v AI preto patrí štandardne do interpretácie, nie ako vedľajšia záležitosť.
Externý odhad konkurenta je jedna polovica. Druhá polovica je otázka, akú prácu vo vašej vlastnej firme je AI skutočne schopná prevziať, a táto otázka sa zodpovedá po jednotlivých úlohách pomocou pracovného skenu FTE TO AI. Rovnaké rozlíšenie – čo prevezme AI, čo sa deje pod dohľadom a čo zostáva ľudskou prácou – je aj to, na čom ešte môžete konkurovať, keď je výkonná práca do veľkej miery prevzatá, a to je otázka, ktorá nehráva len externe: pozrite si na čom ešte konkurujete, keď výkonnú prácu robí AI. Konkurent s menším počtom ľudí na výplatnej páske pritom nie je automaticky lacnejšia strana, ako je rozpracované v prečo konkurent s menším počtom ľudí nie je automaticky lacnejší. Ak sa niektorá z týchto otázok dotýka personálnych rozhodnutí vo vašej vlastnej organizácii, platia pre ne vlastné zákonné požiadavky; táto stránka neposkytuje podklad pre takéto rozhodnutia.
Môžete začať bez toho, aby ste čakali na kompletný benchmark. Určite dimenzie, na ktorých si myslíte, že vyhrávate, a overte ich bezplatnou kontrolou dimenzií: uvidíte, ktoré z týchto tvrdení sa dajú obhájiť dôkazmi a ktoré stoja na predpoklade. Kto chce pozerať širšie než na vlastnú pozíciu, môže rovnaký test zamerať na to, kde u konkurentov zostáva nevyužitý priestor, pomocou analýzy white space. Kompletný konkurenčný benchmark sa pripravuje; kontrola dimenzií je už teraz k dispozícii.