Klijent li jqabbel tliet offerti ma jkunx qed iqabbel il-proċess tagħkom iżda r-riżultat tiegħu: iż-żmien tar-reazzjoni, il-preċiżjoni ta' proposta, kemm malajr mistoqsija tikseb tweġiba konkreta. Jekk għand kompetitur parti minn dak ix-xogħol issa qed issir bl-AI, b'sorveljanza umana jew mingħajrha, dak ir-riżultat jinbidel qabel ma jidher xi rapport intern dwaru. Il-klijent jara d-differenza fit-tielet offerta. Intom taraha biss fiċ-ċifri tal-kwart, u dan biss jekk tirnexxu tgħaqqdu t-telfa ma' kawża.
Dan mhux każ ta' attenzjoni. Huwa każ ta' fejn l-evidenza tispiċċa l-ewwel. Is-sinjali interni jimxu permezz ta' ċikli ta' rappurtar. Is-sinjali tal-klijenti jimxu permezz tal-offerta nnifisha, jiġifieri f'ħin reali.
Il-bidla mhix f'"l-AI qed tagħmel aktar xogħol". Hija f'dak li dimensjoni fit-tqabbil tfisser hekk kif ix-xogħol taħtha jinbidel fin-natura tiegħu. Iż-żmien tal-kunsinna, ibbażat fuq il-kapaċità tal-ippjanar, kien kwistjoni ta' okkupazzjoni u ħeġġa. Hekk kif l-ippjanar innifsu jsir fil-parti l-kbira tiegħu awtomatikament, b'bniedem li japprova jew jirrifjuta r-riżultati, iż-żmien tal-kunsinna jsir kwistjoni ta' kemm tajjeb dak is-sistema hija stabbilita, mhux ta' kemm nies qegħdin fuq il-mejda. Min jimplimenta dan qabel jirbaħ fuq dimensjoni fejn qabel l-okkupazzjoni kienet tiddetermina l-limitu massimu.
Dan ma jiġrix bl-istess mod kullimkien. Xi kompiti jħallu ruħhom jittieħdu għal kollox mill-AI, oħrajn parzjalment biss b'kontroll li japprova jew jirrifjuta b'raġuni, u parti tibqa' xogħol uman għax in-natura tal-kompitu titlob dan. Liema kategorija tapplika għal liema dimensjoni tvarja skont il-kumpanija u l-proċess. Dan huwa preċiżament għaliex il-mistoqsija dwar jekk il-punt tagħkom l-aktar b'saħħtu diġà ġiex ugwaljat mill-AI mhix retorika: vantaġġ distintiv li kien jistrieħ fuq xogħol uman jista' jsir drawwa hekk kif il-kompetituri jkunu awtomatizzawh u intom le.
Benchmark li tixtieq turi dan taħdem b'estimi, u dawk l-estimi mhumiex ċerti bl-istess mod kullimkien. Testi ta' offerti ta' xogħol, żminijiet ta' proċess f'komunikazzjoni pubblika, xejriet ta' lmenti fuq pjattaformi ta' reviżjoni: dawn huma sinjali indiretti. Jgħidu xi ħaġa dwar kif probabbilment inhu strutturat, mhux dwar l-istat eżatt wara l-ħajt ta' kompetitur. Meta kompetitur ma jippubblikax ċifri, huwa r-riċerkatur li għandu jaħdem b'sorsi indiretti bħal dawn, u l-approċċ biex tikseb informazzjoni utli dwar kompetitur mingħajr ċifri huwa b'mod ċar approċċ ta' probabbiltajiet, mhux ta' ċertezzi.
Hemm ukoll riżultati li ma jgħidu xejn. Punteġġ fuq dimensjoni li fuqha qatt m'intom se tikkompetu huwa storbju fir-rapport, mhux għarfien. Qabel ma punteġġ jingħata piż, irid ikun stabbilit li d-dimensjoni inkwistjoni tabilħaqq tiddeċiedi d-deal għand il-klijenti li tridu tirbħu. Kif tagħmlu din id-distinzjoni jinsab deskritt fi l-mistoqsija dwar kif tiżnu dimensjoni li fuqha qatt mhux se tirbħu. Mingħajr dak il-pass, kull benchmark jipprovdi punteġġ preċiż fuq mistoqsija mhux importanti.
Limitazzjoni terza: il-partijiet kollha f'suq spiss ifformulaw il-proposta ta' valur tagħhom b'lingwa simili. "Approċċ personali", "soluzzjonijiet imfassla apposta", "linji qosra" jirritornaw fi kważi kull fornitur, irrispettivament minn dak li verament jinsab wara dawk il-kliem. Dan jagħmilha diffiċli li timxu fuq iċ-claim innifsu; ir-raġuni għaliex il-kompetituri jinstemgħu kważi identiċi fil-wegħdiet tagħhom mhix nuqqas ta' oriġinalità iżda n-natura tal-lingwa tal-marketing, u huwa preċiżament għaliex huwa meħtieġ test taċ-claim qabel ma punteġġ jiġi bbażat fuq claim.
Mhux kull sinjal huwa l-istess bin-nofs. Ir-rata ta' bidla tal-persunal pereżempju hija indikatur qawwi li jgħid xi ħaġa dwar l-istabbiltà interna, u għand kompetitur li jinbidel ħafna f'pożizzjonijiet ewlenin dan huwa indikazzjoni li l-proċessi huma inqas radikati milli jissuġġerixxi l-parti ta' barra; dak li ir-rata ta' bidla tal-persunal ta' kompetitur tgħid dwar il-pożizzjoni tiegħu huwa għalhekk waħda mid-dimensjonijiet ftit li jkunu fejn id-dejta pubblika u l-istat intern reali jimxu b'mod raġonevolment parallel. Bl-istess mod tapplika għall-maturità tal-AI: din tista' titkejjel minn barra abbażi ta' traċċi pubbliċi, u il-mod kif tkejjel il-maturità tal-AI ta' kompetitur minn barra turi liema huma dawk it-traċċi u x'jipprovaw u x'ma jipprovawx.
Il-mistoqsija sottostanti, liema xogħol fil-kumpanija tagħkom stess verament jista' jittieħed mill-AI, twieġibha l-work scan ta' FTE TO AI għal kull kompitu, bid-distinzjoni bejn teħid sħiħ, sorveljanza b'evalwazzjoni, u xogħol li jibqa' xogħol uman. Għal deċiżjonijiet dwar l-użu tal-persunal japplikaw barra minn hekk rekwiżiti legali proprji; din il-paġna u l-metodu marbut magħha ma jipprovdux bażi għal dan.
Iċ-check tad-dimensjonijiet mingħajr ħlas iħallikom issemmu fuqiex taħsbu li se tirbħu, u jittestja għal kull claim jekk hemmx evidenza kontra jew le. Il-benchmark sħiħ, bil-grupp peer komplet u l-matriċi tal-evidenza, qed jinbena.