Yleinen vastaus oli: vuosittain, tai strategisen uudelleenarvioinnin yhteydessä. Tämä vastaus perustui oletukseen, joka ei enää pidä kaikkialla paikkaansa: että ulottuvuudet, joilla yritykset kilpailevat, ovat itsessään vakaita. Toimitusaika, vastausaika, hinnoittelun johdonmukaisuus, tarjouksen läpimenoaika — nämä olivat henkilöstömäärän ja prosessin lopputuloksia, ja ne muuttuvat hitaasti. Vuosittaisella mittauksella oli siis järkeä.
Kun AI ottaa hoitaakseen ulottuvuuden takana olevan työn, ulottuvuuden luonne itsessään muuttuu. Toimitusaika, joka riippui suunnittelijoiden määrästä, muuttuu toimitusajaksi, joka riippuu siitä, kuinka hyvin suunnittelujärjestelmä on rakennettu. Tämä voi muuttua kuukausissa, ei vuosissa. Vertailu, joka edelleen käyttää vakauden oletusta, mittaa jotain, jota ei enää ole olemassa.
Kaikki ulottuvuudet eivät muutu yhtä nopeasti, ja tämä määrittää, kuinka usein vertailu on tarkistettava.
Ulottuvuuksissa, joissa AI voi ottaa tehtävän suurelta osin hoitaakseen — suunnittelu, ensilinjan vastaaminen, tarjouslaskelmat — kilpailuasema voi kääntyä lyhyessä ajassa. Kilpailija, joka järjestää tämän työn tänään toisin, voi voittaa muutaman kuukauden kuluttua ulottuvuudessa, jossa hän oli viime vuonna vielä jäljessä. Näiden ulottuvuuksien kohdalla tarvitaan lyhyempi kierto, ei siksi että menetelmä sitä vaatisi, vaan koska taustalla oleva todellisuus itsessään liikkuu nopeammin.
Ulottuvuuksissa, joissa ihmiset työskentelevät AI-tuen kanssa ja valvovat sitä — neuvonnan laatu, monimutkaisten tapausten käsittely — asema muuttuu asteittaisemmin. Tuki muuttaa työn nopeutta ja johdonmukaisuutta, mutta arviointi jää ihmisille, ja se prosessi ei muutu kuukaudesta toiseen.
Ulottuvuuksissa, jotka pysyvät ihmistyönä — asiakassuhteiden hoito, neuvottelu, luottamuksen rakentaminen pitkässä myyntisyklissä — vanha rytmi on suurelta osin edelleen voimassa. Tässä vuosittainen tai kahden vuoden välein tehty katsaus on usein riittävä, koska taustalla oleva työ ei muuta perustavanlaatuisesti muotoaan.
Kysymykseen "kuinka usein" ei siis ole yhtä vastausta. Vastaus on: ulottuvuuskohtaisesti, riippuen siitä, mihin kolmesta kategoriasta kyseinen ulottuvuus tänään kuuluu.
Tämä ei ole tulevaisuudenkuva. Joissakin yrityksissä suunnittelutoiminto on jo pitkälti automatisoitu ja toimitusaika-ulottuvuus muuttuu mitattavasti; muissa yrityksissä sama toiminto on edelleen kokonaan ihmisten käsissä ja ulottuvuus pysyy vakaana. Ero ei ole toimialassa, vaan valinnoissa, joita yritys ja sen kilpailijat ovat jo tehneet sen suhteen, mitä työtä he jättävät järjestelmien hoidettavaksi ja mitä työtä he pitävät ihmisten käsissä valvonnalla, joka hyväksyy tai hylkää. Benchmark, joka ei kartoita tätä eroa erikseen ulottuvuuskohtaisesti, jättää huomaamatta, missä todellinen liike tapahtuu.
Tästä syystä miksi asiakkaanne huomaavat eron ennen teitä on olennainen: asiakkaat kokevat nopeamman toimitusajan tai johdonmukaisemman vastauksen usein kuukausia ennen kuin sisäinen mittaus huomaa sen. Vertailu on silloin markkinoiden perässä, ei niiden edellä.
Todistusmatriisi tekee pisteytyksestä jäljitettävää, mutta jäljitettävyys ei ole samaa kuin varmuus. Jotkut rajoitukset ovat menetelmälle ominaisia, eivät toteutuksen puutteita.
Julkinen todiste kilpailijasta on aina viivästynyt heijastuma todellisesta tilanteesta. Verkkosivun väite, arvostelu, vuosikertomus — ne kertovat hetkestä, joka on jo mennyt. Kuinka tuore ja kuinka suora todiste on, määrittää, kuinka paljon painoarvoa pisteytys ansaitsee; vanha todiste nopeasti muuttuvassa ulottuvuudessa kertoo vähän.
Pisteytys ulottuvuudessa, jossa ette koskaan tule voittamaan, ei myöskään kerro mitään käyttökelpoista, paitsi jos kyseinen ulottuvuus painaa asiakkaanne ostopäätöksessä. Miten tämä painotus toimii, ja miksi matala pisteytys ei siellä automaattisesti ole ongelma, on selitetty sivulla miten painotatte ulottuvuutta, jossa ette koskaan tule voittamaan.
Ja tämän päivän vahvuus ei ole tae huomisesta. Jos väite perustuu työhön, jota myös järjestelmä pystyy jo nyt tuottamaan, erottava tekijä lakkaa olemasta, kun kilpailijat ottavat käyttöön saman järjestelmän. Mitä tämä tarkoittaa vahvimmalle valttikortille, joka muuttuu AI:n ansiosta tavanomaiseksi, on selitetty sivulla mitä tehdä, kun vahvin valttikortti muuttuu AI:n ansiosta tavanomaiseksi.
Nämä rajoitukset eivät ole syy jättää benchmark tekemättä. Ne ovat syy mainita joka tuloksen yhteydessä, kuinka vanha todiste on ja kuinka herkkä ulottuvuus on muutokselle automaation vaikutuksesta. Pisteytystä, jossa näitä kahta tietoa ei ole, on vaikea tulkita, myös johdolle, joka haluaa käsitellä sitä järkevästi.
Kuinka usein vertailu on tarkistettava, liittyy siis kysymykseen, jota ei vastaa markkina vaan yritys itse: mikä työ tässä on todella AI:n hoidettavissa, mikä työ tapahtuu valvonnan alla, ja mikä työ pysyy ihmistyönä. Tähän kysymykseen vastataan tehtäväkohtaisesti FTE TO AI:n työskannauksella. Se, joka tietää tämän, tietää myös, missä ulottuvuuksissa oma asema voi muuttua nopeasti ja missä ei.
Jos jokin näistä tuloksista koskee henkilöstöpäätöksiä, niihin sovelletaan omia lakisääteisiä vaatimuksia; tämä sivu ja siihen liittyvä menetelmä eivät anna niistä neuvoja.
Väärin koottu vertailuryhmä tekee kaikista jatkokysymyksistä toistorytmiin liittyen merkityksettömiä; katso mikä on vertailuryhmä ja miten se kootaan selvittääksenne, miten tämä valinta toimii. Se, joka haluaa nähdä, missä markkinoilla on tilaa, jota kukaan ei vielä ole valloittanut, löytää lähestymistavan sivulta mikä on white space -analyysi.
Maksuton ulottuvuustarkistus on ensimmäinen askel: nimeätte, missä uskotte voittavanne, ja näette, mitkä näistä väitteistä voidaan puolustaa todisteilla. Täydellinen benchmark on rakenteilla.