Nemrég még inkább csak érdekesség volt a kérdés, hogy egy versenytárs mennyire érett az AI terén. Ma már kereskedelmi súlya van, mert az AI a munka egyes részeiben ténylegesen átveszi a feladatokat: némelyiket teljesen, némelyiket úgy, hogy egy ember jóváhagyja vagy elutasítja, némelyiket pedig még egyáltalán nem. Ahol ez megtörténik, ott nemcsak a versenytárs önköltsége változik. Az is megváltozik, hogy min lehet még nyerni. A szállítási idő sokáig a létszám függvénye volt: több ember a tervezésben, rövidebb átfutási idő. Ha egy versenytársnál a tervezés nagyrészt magától megy, akkor a szállítási idő már nem létszámkérdés, hanem szoftverkérdés, és ez megváltoztatja, hogy ki jár élen ezen a dimenzión. Pontosan ezért van értelme a kívülről mérésnek: nem azért, hogy megtudja, mennyi AI-t használ egy versenytárs, hanem hogy megtudja, az összehasonlítás mely dimenziói tolódnak el emiatt.
Kívülről nem lát rendszereket, promptokat vagy belső folyamatleírásokat. Viselkedést és következményeket lát: válaszidőket, amelyek csökkennek, miközben a csapat nem nő, álláshirdetéseket, amelyek a végrehajtói szerepkörből az ellenőrző szerepkör felé tolódnak, szállítási időket, amelyek gyorsulnak változatlan létszámhirdetések mellett, árazásokat, amelyek éppen rugalmasabbá válnak, mint amit a költségstruktúra indokolna. Ezen jelzések egyike sem bizonyítja önmagában az AI-használatot. Együtt, több dimenzión keresztül vizsgálva viszont olyan mintázatot alkotnak, amely mégis mond valamit. A módszer tehát nem egy AI-százalék leolvasása egy versenytársnál - ilyen külsőleg megfigyelhető szám nem létezik. A módszer azon dimenziók pontozása, amelyeken az Ön piacán ténylegesen nyerni lehet, majd minden pontszámnál annak megkérdezése, mi az alátámasztás, és mennyire szilárd az az alátámasztás.
Egy versenytárs-benchmarkban minden pontszám mellett szerepel az a bizonyíték, amelyen alapul: egy álláshirdetés, egy ügyfélszignál, egy megfigyelt szállítási idő, egy árváltoztatás. Ez teszi a pontszámot ellenőrizhetővé, és - legalább ilyen fontos módon - megcáfolhatóvá. Egy pontszám visszakövethető forrás nélkül olyan feltételezés, amelyre ráírtak egy számot. Egy vezetői megbeszélésen ez a különbség gyorsan nyilvánvalóvá válik: a „mire alapozzák ezt” kérdésre konkrét válasznak kell érkeznie, különben az összehasonlítás csupán zaj. Ugyanez a próba érvényes egyébként a saját szervezetre is. Mielőtt összehasonlítást végezne a külvilággal, hasznos tudni, mi az a peer group, és hogyan állítja össze, mert egy pontszám a rossz összehasonlítási csoport mellett éppolyan félrevezető, mint egy forrás nélküli pontszám.
Az AI-érettség külső becslésének vannak korlátai, amelyeket nem lehet eltüntetni. Egy versenytárs futtathat egy pilotot, amely még egyetlen külső jelzést sem hozott, és így indokolatlanul alacsony pontszámot kaphat. Egy versenytárs olyan AI-állítást is szerepeltethet marketinganyagában, amely nem köszön vissza a végrehajtói munkában, és így indokolatlanul magas pontszámot kaphat, amíg az állítást nem ellenőrzik. A változatlan létszám keveset mond, ha a személyzet egy része strukturálisan harmadik féltől kölcsönzött. Egy gyors válaszidő pedig éppúgy lehet egy extra szolgáltatás eredménye, mint az automatizálásé. A módszer ezért bizonytalansági tartományokkal és dimenziónkénti explicit bizonytalansági marzsokkal dolgozik, nem egyetlen számmal, amely olyan bizonyosságot sugallna, amely nincs jelen. Egy pontszám, amely egyetlen gyenge jelzésen nyugszik, a mátrixban is ekként van megjelölve.
Az eredmény keveset mond, ha maga a dimenzió már nem megkülönböztető. Ha az AI-alkalmazás egy bizonyos dimenzión az egész piacon általánossá vált, akkor azon már senki sem nyer, és annak pontozása kereskedelmi következmény nélküli gyakorlat. Ez az egyik oka annak, hogy a benchmark azzal a kérdéssel kezdődik, mely dimenziók válnak értéktelenné, ha mindenki AI-t alkalmaz, mielőtt idő menne olyan dimenziók pontozására, amelyek már nem befolyásolják a választ. Ugyanez vonatkozik egy ma valós előnyre: az megszűnik, amint a versenytársak átveszik ugyanazt a munkát, és a kérdés, meddig tart ki egy AI-előny, ezért az értelmezés alapértelmezett része, nem mellékkérdés.
A versenytárs külső felmérése az egyik fele a kérdésnek. A másik fele az, hogy a saját vállalatában milyen munka vehető ténylegesen át az AI által, és erre a kérdésre feladatonként ad választ az FTE TO AI munkaszkennje. Ugyanez a megkülönböztetés - mit vesz át az AI, mi zajlik felügyelettel, és mi marad emberi munka - az is, amin még versenyezhet, ha a végrehajtói munka nagyrészt át van véve, és ez nem csupán külső kérdés: lásd min versenyezhet még, ha az AI végzi a végrehajtói munkát. Egy versenytárs kevesebb alkalmazottal ennek fényében nem automatikusan az olcsóbb fél, ahogy azt az kifejti, hogy miért nem lesz egy versenytárs magától olcsóbb kevesebb emberrel. Ha e kérdések bármelyike a saját szervezetén belüli személyzeti döntéseket érint, arra saját jogi követelmények vonatkoznak; ez az oldal nem szolgál ilyen döntések alátámasztásául.
Elkezdheti anélkül, hogy megvárná a teljes benchmarkot. Nevezze meg azokat a dimenziókat, amelyeken úgy gondolja, hogy nyer, és tesztelje őket az ingyenes dimenzióellenőrzéssel: kiderül, mely állítások védhetők bizonyítékkal, és melyek nyugszanak feltételezésen. Aki a saját pozíción túl szélesebben szeretne körülnézni, ugyanezt a próbát irányíthatja arra, hol marad kihasználatlan tér a versenytársaknál, egy white space elemzés révén. A teljes versenytárs-benchmark épül; a dimenzióellenőrzés már most elérhető.