Vielä vähän aikaa sitten kysymys siitä, kuinka kypsä kilpailija on AI:ssa, oli lähinnä kuriositeetti. Nyt siinä on kaupallista painoarvoa, koska AI ottaa tosiasiallisesti hoitaakseen osia työstä: osan täysin, osan niin, että ihminen hyväksyy tai hylkää, ja osaa ei ollenkaan. Siellä missä tämä tapahtuu, ei muutu vain kilpailijan kustannushinta. Se muuttaa sitä, millä te enää voitatte. Toimitusaika oli pitkään henkilöstömäärän funktio: enemmän ihmisiä suunnittelussa, lyhyempi läpimenoaika. Jos kilpailijalla suunnittelu hoituu pääosin itsestään, toimitusaika ei ole enää henkilöstökysymys vaan ohjelmistokysymys, ja se muuttaa sitä, kuka johtaa tässä ulottuvuudessa. Juuri tästä syystä ulkoapäin mittaaminen on järkevää: ei sen tietämiseksi, kuinka paljon kilpailija käyttää AI:ta, vaan sen tietämiseksi, mitkä vertailun ulottuvuudet ovat sen seurauksena siirtymässä.
Ulkoapäin ette näe järjestelmiä, kehotteita (promptit) tai sisäisiä prosessikuvauksia. Näette käyttäytymistä ja seurauksia: vasteajat, jotka laskevat tiimin kasvamatta, työpaikkailmoitukset, jotka siirtyvät suorittavasta valvovaan, toimitusajat, jotka nopeutuvat henkilöstöilmoitusten pysyessä samana, hinnoittelun, joka muuttuu joustavammaksi kuin kustannusrakenne selittäisi. Mikään näistä signaaleista ei yksinään todista AI:n käyttöä. Yhdessä, useissa ulottuvuuksissa, ne muodostavat kuvion, joka kertoo jotain. Menetelmä ei siis ole AI-prosentin lukeminen kilpailijalta, sitä ei ole olemassa ulkoisesti havaittavana lukuna. Menetelmä on niiden ulottuvuuksien pisteyttäminen, joilla teidän markkinassanne tosiasiassa voitetaan, ja kunkin pisteytyksen kohdalla kysyminen, mihin se perustuu ja kuinka vahva se perusta on.
Kilpailubenchmarkin jokainen pisteytys on aseteltu sen todisteen viereen, johon se perustuu: työpaikkailmoitus, asiakassignaali, havaittu toimitusaika, hinnanmuutos. Se tekee pisteytyksestä testattavan ja, ainakin yhtä tärkeää, kumottavan. Pisteytys, jolla ei ole jäljitettävää lähdettä, on oletus, jolle on annettu numero. Johtoryhmän kokouksessa tämä ero tulee nopeasti selväksi: kysymykseen "mihin tämä perustuu" on oltava konkreettinen vastaus, muuten vertailu on kohinaa. Sama testi pätee muuten myös omaan organisaatioon. Ennen kuin vertaatte itseänne ulkomaailmaan, on hyödyllistä tietää, mikä vertailuryhmä on ja miten se kootaan, koska pisteytys väärää vertailuryhmää vasten on yhtä harhaanjohtava kuin pisteytys ilman lähdettä.
Ulkoisella AI-kypsyyden arvioinnilla on rajat, joita ei voi pyyhkiä pois. Kilpailija voi ajaa pilottia, joka ei ole tuottanut yhtäkään ulkoista signaalia, ja saada siksi perusteettomasti alhaisen pisteytyksen. Kilpailija voi myös esittää AI-väitteen markkinointimateriaalissa, jota ei löydy suorittavasta työstä, ja saada siksi perusteettomasti korkean pisteytyksen, kunnes väite on testattu. Henkilöstömäärät, jotka pysyvät samoina, kertovat vähän, jos osa henkilöstöstä on rakenteellisesti vuokrattu kolmansilta osapuolilta. Ja nopea vasteaika voi yhtä hyvin olla lisäpalvelun seuraus kuin automaation. Tästä syystä menetelmä toimii vaihteluväleillä ja nimenomaisilla epävarmuusmarginaaleilla ulottuvuuksittain, ei yksittäisellä luvulla, joka viittaisi varmuuteen, jota ei ole. Pisteytys, joka lepää yhden heikon signaalin varassa, merkitään matriisissa myös sellaiseksi.
Lopputulos kertoo vähän, jos ulottuvuus itsessään ei ole enää erottava. Jos AI:n käyttö jollakin ulottuvuudella on koko markkinassa muuttunut yleiseksi käytännöksi, sillä ei enää kukaan voita, ja sen pisteyttäminen on harjoitus vaille kaupallista seurausta. Tämä on yksi syy siihen, että benchmark alkaa kysymyksestä, mitkä ulottuvuudet menettävät arvonsa, kun kaikki käyttävät AI:ta, ennen kuin aikaa käytetään sellaisten ulottuvuuksien pisteyttämiseen, jotka eivät enää vaikuta vastaukseen. Sama pätee etumatkaan, joka on tänään todellinen: se raukeaa sitten, kun kilpailijat ottavat haltuunsa saman työn, ja kysymys siitä, kuinka pitkään AI-etumatka kestää, kuuluu siis vakiona tulkintaan, ei sivuseikkana.
Kilpailijan ulkoinen arviointi on toinen puolisko. Toinen puolisko on kysymys siitä, mikä työ omassa yrityksessänne on todellisuudessa siirrettävissä AI:lle, ja siihen kysymykseen vastataan tehtäväkohtaisesti FTE TO AI:n työskannauksella. Sama erottelu, mitä AI ottaa hoidettavakseen, mikä tapahtuu valvonnan alla ja mikä pysyy ihmistyönä, on myös se, millä te voitte edelleen kilpailla, kun suorittava työ on suurelta osin siirtynyt AI:lle, ja se on kysymys, joka ei koske vain ulkomaailmaa: katso millä kilpailette enää, kun AI tekee suorittavan työn. Kilpailija, jolla on vähemmän ihmisiä palkkalistoilla, ei tämän myötä ole automaattisesti halvempi osapuoli, kuten käsitellään sivulla miksi kilpailija, jolla on vähemmän ihmisiä, ei ole itsestään halvempi. Jos jokin näistä kysymyksistä koskettaa henkilöstöpäätöksiä omassa organisaatiossanne, niihin sovelletaan omia lakisääteisiä vaatimuksia; tämä sivu ei tarjoa perustetta tällaisille päätöksille.
Voitte aloittaa odottamatta koko benchmarkin valmistumista. Nimetkää ulottuvuudet, joilla uskotte voittavanne, ja testatkaa ne maksuttomalla ulottuvuustarkistuksella: näette, mitkä näistä väitteistä on puolustettavissa todisteilla ja mitkä lepäävät oletuksen varassa. Ne, jotka haluavat katsoa laajemmin kuin omaa asemaansa, voivat kohdistaa saman testin sen selvittämiseen, missä kilpailijoilla jää tilaa käyttämättä, white space -analyysin avulla. Koko kilpailubenchmark on rakenteilla; ulottuvuustarkistus on jo nyt saatavilla.