A szokásos válasz ez volt: évente, vagy egy stratégiai áttekintés alkalmával. Ez a válasz egy olyan feltevésből indult ki, amely már nem érvényes mindenhol: hogy a dimenziók, amelyeken a vállalatok versenyeznek, maguk stabilak. Szállítási idő, válaszidő, ár-konzisztencia, egy ajánlat átfutási ideje — ezek a létszám és a folyamat eredményei voltak, és ezek lassan változnak. Egy éves mérésnek tehát volt értelme.
Ha az AI átveszi egy dimenzió mögötti munkát, akkor a dimenzió maga megváltoztatja a jellegét. A szállítási idő, amely attól függött, hány tervező dolgozott ott, olyan szállítási idővé válik, amely attól függ, mennyire jól van beállítva egy tervezőrendszer. Ez hónapok alatt elmozdulhat, nem évek alatt. Egy összehasonlítás, amely továbbra is a stabilitás feltevését használja, valami olyat mér, ami már nem létezik.
Nem minden dimenzió mozdul el egyforma sebességgel, és ez határozza meg, milyen gyakran kell felülvizsgálni egy összehasonlítást.
Azoknál a dimenzióknál, ahol az AI nagyrészt át tudja venni a feladatot — tervezés, első vonalbeli válaszadás, ajánlatkalkuláció — a versenypozíció rövid időn belül megfordulhat. Egy versenytárs, aki ma másképp rendezi be ezt a munkát, néhány hónap múlva nyerhet egy olyan dimenzióban, amelyben tavaly még lemaradásban volt. Ezek a dimenziók rövidebb ciklust igényelnek, nem azért, mert a módszer ezt előírja, hanem mert az alapul fekvő valóság maga gyorsabban mozog.
Azoknál a dimenzióknál, ahol emberek AI-támogatással dolgoznak és tartanak felügyeletet — tanácsadási minőség, összetett ügyek kezelése — a pozíció fokozatosabban mozdul el. A támogatás megváltoztatja a munka sebességét és konzisztenciáját, de az értékelés emberek kezében marad, és ez a folyamat nem változik hónapról hónapra.
Azoknál a dimenzióknál, amelyek emberi munka maradnak — kapcsolatkezelés, tárgyalás, bizalomépítés egy hosszú értékesítési cikluson belül — a korábbi ritmus nagyrészt még érintetlen. Itt egy éves vagy kétévente ismétlődő áttekintés gyakran elegendő, mivel az alapul fekvő munka nem változik alapvetően formájában.
A „milyen gyakran” kérdésre tehát nincs egyetlen válasz. A válasz: dimenziónként, attól függően, hogy az adott dimenzió ma melyik a három kategória közül.
Ez nem egy jövőbeli forgatókönyv. Egyes vállalatoknál a tervezési funkció már nagyrészt automatizált, és a szállítási idő dimenzió mérhetően elmozdul; más vállalatoknál ugyanez a funkció még teljesen emberek kezében van, és a dimenzió stabil marad. A különbség nem az ágazatban rejlik, hanem azokban a döntésekben, amelyeket egy vállalat és versenytársai már meghoztak arról, mely munkát bízzák rendszerekre, és melyet tartanak emberek kezében, olyan felügyelettel, amely jóváhagy vagy elutasít. Egy benchmark, amely ezt a különbséget nem térképezi fel külön dimenziónként, nem látja, hol van a valódi mozgás.
Ezért is releváns miért látják a vásárlói a különbséget hamarabb, mint ön: a vásárlók gyakran hónapokkal azelőtt tapasztalnak gyorsabb szállítási időt vagy konzisztensebb választ, mielőtt egy belső mérés ezt észrevenné. Az összehasonlítás akkor a piac után halad, nem előtte.
Egy bizonyítási mátrix nyomon követhetővé teszi a pontszámokat, de a nyomon követhetőség nem ugyanaz, mint a bizonyosság. Bizonyos korlátok magából a módszerből következnek, nem a kivitelezésből.
A versenytársról szóló nyilvános bizonyíték mindig egy késleltetett tükörképe a valódi állapotnak. Egy állítás egy weboldalon, egy értékelés, egy éves jelentés: ezek egy már elmúlt pillanatról mondanak valamit. Az, hogy mennyire friss és mennyire közvetlen a bizonyíték, meghatározza, mennyi súlyt kaphat egy pontszám; egy gyorsan elmozduló dimenzión régi bizonyíték keveset mond.
Egy dimenzióra adott pontszám, amelyen soha nem fog nyerni, sem mond semmi használhatót, hacsak az a dimenzió nem súlyoz a vásárlója beszerzési döntésében. Hogy ez a súlyozás hogyan működik, és miért nem jelent automatikusan problémát egy alacsony pontszám, azt kifejtve megtalálja itt: hogyan súlyoz egy olyan dimenziót, amelyen soha nem fog nyerni.
És egy mai erősség nem garancia a jövőre. Ha egy állítás olyan munkán alapszik, amelyet közben egy rendszer is képes elvégezni, a megkülönböztetés megszűnik, amint a versenytársak bevezetik ugyanazt a rendszert. Hogy ez mit jelent egy legerősebb ponthoz, amely az AI által mindennapossá válik, arról a mit tesz, ha a legerősebb pontja az AI által mindennapossá válik oldal szól.
Ezek a korlátok nem indokolják, hogy ne készítsünk benchmarkot. Inkább arra adnak okot, hogy minden eredménynél feltüntessük, mennyire régi a bizonyíték, és mennyire érzékeny a dimenzió az automatizálás miatti elmozdulásra. Egy pontszám e két adat nélkül nehezen értelmezhető, akkor is, ha egy vezetőség okosan szeretné kezelni.
Az, hogy milyen gyakran kell felülvizsgálni egy összehasonlítást, tehát egy olyan kérdéshez kapcsolódik, amelyre nem a piac, hanem a saját vállalat ad választ: mely munka vehető itt valóban át az AI által, mely munka történik felügyelettel, és mely munka marad emberi munka. Ezt a kérdést feladatonként válaszolja meg az FTE TO AI munkafolyamat-elemzése. Aki ezt tudja, azt is tudja, mely dimenziókon mozdulhat el gyorsan a saját pozíció, és melyeken nem.
Ha ezen eredmények valamelyike személyzeti döntéseket érint, akkor arra saját törvényi előírások vonatkoznak; ez az oldal és az alapul fekvő módszer erről nem ad tanácsot.
Egy rosszul összeállított peer group minden további kérdést az ismétlési ritmusról tartalmatlanná tesz; nézze meg a mi az a peer group, és hogyan állítja össze oldalt, hogy lássa, hogyan működik ez a kiválasztás. Aki azt szeretné látni, hol van még olyan hely a piacon, amelyet senki nem foglalt el, az megtalálja a megközelítést itt: mi az a white space elemzés.
Az ingyenes dimenzió-ellenőrzés egy első lépés: megnevezi, min gondolja, hogy nyer, és megnézi, mely állítások védhetők bizonyítékkal. A teljes benchmark még épül.