Levinud vastus oli: aastas korra või strateegilise ülevaatuse käigus. See vastus lähtus eeldusest, mis ei kehti enam kõikjal: et dimensioonid, mille alusel ettevõtted konkureerivad, on iseenesest stabiilsed. Tarneaeg, reageerimisaeg, hinnakonsistentsus, pakkumise läbimisaeg — need olid tööjõu ja protsessi tulemid, ja need muutusid aeglaselt. Aastane mõõtmine oli seega mõistlik.
Kui AI võtab üle töö, mis dimensiooni taga peitub, muutub dimensioon ise oma iseloomult. Tarneaeg, mis sõltus sellest, kui palju planeerijaid tööl oli, muutub tarneajaks, mis sõltub sellest, kui hästi on planeerimissüsteem seadistatud. See võib muutuda kuudega, mitte aastatega. Võrdlus, mis kasutab jätkuvalt stabiilsuse eeldust, mõõdab midagi, mida enam ei eksisteeri.
Mitte kõik dimensioonid ei muutu ühesuguse kiirusega, ja see määrab, kui tihti võrdlus tuleb üle vaadata.
Dimensioonide puhul, kus AI saab ülesande suures osas üle võtta — planeerimine, esmatasandi reageerimine, pakkumiskalkulatsioonid — võib konkurentsipositsioon muutuda lühikese ajaga. Konkurent, kes korraldab selle töö täna teisiti, võib mõne kuu pärast võita dimensioonis, kus ta mullu veel maha jäi. Need dimensioonid vajavad lühemat tsüklit, mitte seetõttu, et meetod seda nõuab, vaid seetõttu, et alusolev tegelikkus liigub ise kiiremini.
Dimensioonide puhul, kus inimesed töötavad AI toel ja teostavad järelevalvet — nõustamiskvaliteet, keeruliste juhtumite käsitlemine — muutub positsioon järk-järgult. Toetus muudab töö kiirust ja järjepidevust, kuid hinnang jääb inimeste kätte, ja see protsess ei muutu kuust kuuni.
Dimensioonide puhul, mis jäävad inimtööks — suhtehaldus, läbirääkimised, usalduse ehitamine pikas müügitsüklis — on vana rütm suures osas endiselt jõus. Siin piisab tihti aastasest või iga kahe aasta tagant tehtavast ülevaatusest, kuna alusolev töö ei muutu vormilt põhimõtteliselt.
Küsimusele „kui tihti” ei ole seega ühtainust vastust. Vastus on: dimensiooni kaupa, sõltuvalt sellest, millisesse kolmest kategooriast see dimensioon täna kuulub.
See ei ole tulevikuscenaarium. Mõnes ettevõttes on planeerimisfunktsioon juba suures osas automatiseeritud ja tarneaja dimensioon liigub mõõdetavalt; teistes ettevõtetes on samasugune funktsioon endiselt täielikult inimeste käes ja dimensioon jääb stabiilseks. Erinevus ei peitu sektoris, vaid otsustes, mida ettevõte ja tema konkurendid on juba teinud selle kohta, millise töö nad jätavad süsteemidele ja millise töö nad hoiavad inimeste käes koos järelevalvega, mis heaks kiidab või tagasi lükkab. Benchmark, mis ei kaardista seda erinevust eraldi dimensiooni kaupa, jätab kahe silma vahele, kus tegelik liikumine toimub.
Seetõttu on ka miks teie kliendid näevad erinevust enne teid asjakohane: kliendid tunnetavad kiiremat tarneaega või järjepidevamat reageerimist tihti kuid enne, kui sisemine mõõtmine sellest aru saab. Võrdlus jälgib siis turgu, mitte juhib seda.
Tõendusmaatriks teeb hinded jälgitavaks, kuid jälgitavus ei ole samaväärne kindlusega. Mõned piirangud on omased meetodile, mitte täitmisele.
Avalik tõendusmaterjal konkurendi kohta on alati hilinenud peegeldus tegelikust olukorrast. Väide veebilehel, arvustus, aastaaruanne — need räägivad hetkest, mis on juba möödas. See, kui värske ja otsene tõendusmaterjal on, määrab, kui palju kaalu hinnang tohib saada; vana tõendusmaterjal kiiresti muutuval dimensioonil ütleb vähe.
Hinnang dimensioonile, mille peal te kunagi ei võida, ei ütle ka midagi kasulikku, välja arvatud juhul, kui see dimensioon mõjutab teie kliendi ostuotsust. Kuidas see kaalumine toimib ja miks madal hinnang seal ei ole automaatselt probleem, on selgitatud lehel kuidas kaaluda dimensiooni, mille peal te kunagi ei võida.
Ja tänane tugev punkt ei garanteeri homset. Kui väide toetub tööle, mida süsteem võib nüüdseks samuti pakkuda, kaob erinevus, kui konkurendid võtavad kasutusele samasuguse süsteemi. Mida see tähendab tugevaima punkti puhul, mis muutub AI abil tavaliseks, on kirjas lehel mida teha, kui teie tugevaim punkt muutub AI abil tavaliseks.
Need piirangud ei ole põhjus benchmarki koostamata jätta. Need on põhjus märkida iga tulemuse juures, kui vana on tõendusmaterjal ja kui tundlik on dimensioon muutumisele automatiseerimise tõttu. Hinnangut, millele pole neid kahte andmit lisatud, on raske tõlgendada, ka juhtkonnale, kes tahab sellega mõistlikult ümber käia.
Kui tihti tuleb võrdlus üle vaadata, on seega seotud küsimusega, millele ei vasta turg, vaid ettevõte ise: milline töö on siin tegelikult AI-le üle antav, milline töö toimub järelevalve all ja milline töö jääb inimtööks. Sellele küsimusele vastab ülesande kaupa FTE TO AI töövoo analüüs. Kes seda teab, teab ka, millistel dimensioonidel võib oma positsioon kiiresti muutuda ja millistel ei muutu.
Kui mõni neist tulemustest puudutab personaliotsuseid, kehtivad selle kohta eraldi õiguslikud nõuded; käesolev leht ja aluseks olev meetod ei annata selle kohta nõu.
Vale koosseisuga võrdlusgrupp muudab kõik järgnevad küsimused kordamise rütmi kohta sisutühjaks; vaadake mis on võrdlusgrupp ja kuidas selle koostada, kuidas see valik toimib. Kes soovib näha, kus turul on veel vaba ruumi, mida keegi ei hõlma, leiab lähenemise lehelt mis on white space analüüs.
Tasuta dimensioonikontroll on esimene samm: te nimetate, mille peal arvate võitvat, ja näete, milliseid neist väidetest saab tõendusmaterjaliga kaitsta. Täielik benchmark on veel valmimisel.