Do niedawna pytanie, jak zaawansowany jest konkurent w AI, było głównie ciekawostką. Teraz to pytanie ma wagę komercyjną, ponieważ AI w części pracy faktycznie przejmuje zadania: niektóre w całości, niektóre z udziałem człowieka, który zatwierdza lub odrzuca, a niektóre jeszcze wcale. Tam, gdzie to się dzieje, zmienia się nie tylko koszt konkurenta. Zmienia się to, na czym w ogóle jeszcze wygrywa się rynek. Czas dostawy przez długi czas był funkcją obsady: więcej ludzi w planowaniu, krótszy czas realizacji. Jeśli u konkurenta planowanie w dużej mierze odbywa się samo, czas dostawy nie jest już kwestią personalną, ale kwestią oprogramowania, a to zmienia, kto na tym wymiarze prowadzi. Właśnie dlatego pomiar z zewnątrz ma sens: nie po to, by wiedzieć, ile AI konkurent wykorzystuje, ale by wiedzieć, które wymiary porównania przez to się przesuwają.
Z zewnątrz nie widać systemów, promptów ani wewnętrznych opisów procesów. Widać zachowanie i konsekwencje: czasy reakcji, które spadają, gdy zespół nie rośnie, teksty ofert pracy, które przesuwają się z wykonawczych na kontrolne, czasy dostawy, które stają się krótsze przy niezmienionych ogłoszeniach o pracę, ustalanie cen, które staje się nieco bardziej elastyczne niż wynikałoby to ze struktury kosztów. Żaden z tych sygnałów sam w sobie nie dowodzi użycia AI. Razem, na wielu wymiarach, tworzą wzorzec, który już coś mówi. Metoda nie polega więc na odczytywaniu u konkurenta jakiegoś procentu użycia AI, ponieważ taka liczba nie istnieje jako obserwowalna z zewnątrz wartość. Metoda polega na ocenianiu wymiarów, na których w danym rynku faktycznie się wygrywa, i na sprawdzaniu przy każdej ocenie, na czym się opiera i jak solidne jest to uzasadnienie.
Każda ocena w benchmarku konkurencyjnym stoi obok dowodu, na którym się opiera: tekstu oferty pracy, sygnału od klienta, zaobserwowanego czasu dostawy, zmiany ceny. To sprawia, że ocena jest weryfikowalna, i co najmniej równie ważne, możliwa do obalenia. Ocena bez możliwego do odtworzenia źródła jest założeniem, na które nałożono cyfrę. Na spotkaniu zarządu ta różnica szybko staje się widoczna: na pytanie „na czym to się opiera” musi być konkretna odpowiedź, w przeciwnym razie porównanie jest szumem. Ten sam test dotyczy zresztą własnej organizacji. Przed porównaniem się ze świętem zewnętrznym warto wiedzieć, co to jest peer group i jak się go tworzy, ponieważ ocena obok niewłaściwej grupy porównawczej jest tak samo błędna jak ocena bez źródła.
Zewnętrzna ocena zaawansowania AI ma granice, których nie da się zatuszować. Konkurent może prowadzić pilotaż, który jeszcze nie wygenerował żadnego zewnętrznego sygnału, i w związku z tym niesłusznie osiąga niską ocenę. Konkurent może też umieszczać w materiałach marketingowych deklarację o AI, której nie widać w pracy wykonawczej, i w związku z tym niesłusznie osiąga wysoką ocenę, dopóki ta deklaracja nie zostanie sprawdzona. Liczba pracowników, która pozostaje stała, mówi niewiele, jeśli część tego personelu jest strukturalnie wynajmowana przez podwykonawców. A krótki czas reakcji może być równie dobrze wynikiem dodatkowej usługi, jak automatyzacji. Metoda pracuje więc na zakresach i z wyraźnymi marginesami niepewności dla każdego wymiaru, nie na jednej liczbie, która sugerowałaby pewność, jakiej nie ma. Ocena, która opiera się na jednym słabym sygnale, jest w matrycy oznaczona jako taka.
Wynik mówi niewiele, jeśli sam wymiar nie jest już wyróżniający. Jeśli wykorzystanie AI na danym wymiarze stało się powszechne na całym rynku, to nikt już na tym nie wygrywa, a ocenianie go jest ćwiczeniem bez komercyjnych konsekwencji. To jeden z powodów, dla których benchmark zaczyna się od pytania, które wymiary stają się bezwartościowe, gdy wszyscy wykorzystują AI, zanim czas zostanie zainwestowany w ocenianie wymiarów, które już nie wpływają na odpowiedź. To samo dotyczy przewagi, która dziś jest realna: wygasa ona, gdy konkurenci przejmą tę samą pracę, a pytanie, jak długo utrzymuje się przewaga AI, więc standardowo należy do interpretacji, nie jest kwestią pobocznej.
Zewnętrzna ocena konkurenta to jedna połowa. Druga połowa to pytanie, jaka praca w Państwa własnej firmie da się faktycznie przejąć przez AI, a na to pytanie odpowiada się dla każdego zadania za pomocą skanu pracy FTE TO AI. To samo rozróżnienie, co przejmuje AI, co odbywa się pod nadzorem i co pozostaje pracą ludzką, to również to, na czym można jeszcze konkurować, gdy praca wykonawcza jest w dużej mierze przejęta, a to pytanie nie dotyczy tylko sfery zewnętrznej: zob. na czym jeszcze Państwo konkurują, gdy AI wykonuje pracę wykonawczą. Konkurent z mniejszą liczbą osób na liście płac nie jest przy tym automatycznie tańszym podmiotem, jak opisano w dlaczego konkurent z mniejszą liczbą osób nie jest automatycznie tańszy. Jeśli którekolwiek z tych pytań dotyka decyzji personalnych w Państwa własnej organizacji, obowiązują dla nich odrębne wymogi prawne; ta strona nie stanowi podstawy dla takich decyzji.
Można zacząć bez czekania na pełny benchmark. Wskażcie wymiary, na których Państwo sądzą, że wygrywają, i sprawdźcie je za pomocą bezpłatnego testu wymiarowego: zobaczą Państwo, które z tych deklaracji można obronić dowodami, a które opierają się na założeniu. Kto chce spojrzeć szerzej niż na własną pozycję, może skierować ten sam test na to, gdzie u konkurentów pozostaje niewykorzystana przestrzeń, za pomocą analizy white space. Pełny benchmark konkurencyjny jest w budowie; test wymiarowy jest już dostępny.