Até há pouco tempo, a pergunta sobre quão madura é a IA de um concorrente era sobretudo uma curiosidade. Agora é uma pergunta com peso comercial, porque a IA está, em partes do trabalho, efetivamente a assumir tarefas: algumas por completo, algumas com um humano que aprova ou rejeita, e algumas ainda de forma nenhuma. Onde isso acontece, muda não só o custo de um concorrente. Muda aquilo em que ainda se ganha. O prazo de entrega foi durante muito tempo função da equipa: mais pessoas no planeamento, prazos mais curtos. Se, num concorrente, o planeamento se faz em grande parte sozinho, o prazo de entrega deixa de ser uma questão de pessoal e passa a ser uma questão de software, e isso muda quem lidera nessa dimensão. É precisamente por isso que medir do exterior faz sentido: não para saber quanta IA um concorrente utiliza, mas para saber quais dimensões da comparação estão, por causa disso, a deslocar-se.
Do exterior, não se veem sistemas, prompts nem descrições internas de processos. Vê-se comportamento e consequências: tempos de resposta que descem enquanto a equipa não cresce, textos de vagas que se deslocam de executantes para supervisores, prazos de entrega que se tornam mais rápidos com anúncios de emprego inalterados, definições de preços que se tornam ligeiramente mais flexíveis do que a estrutura de custos justificaria. Nenhum destes sinais prova, por si só, o uso de IA. Em conjunto, ao longo de várias dimensões, formam um padrão que diz algo. O método não consiste, portanto, em ler uma percentagem de IA num concorrente, isso não existe como número observável do exterior. O método consiste em pontuar as dimensões em que, no seu mercado, se ganha efetivamente, e em perguntar, a cada pontuação, qual é a fundamentação e quão sólida é essa fundamentação.
Cada pontuação num benchmark competitivo está associada à evidência em que se baseia: um texto de vaga, um sinal de cliente, um prazo de entrega observado, uma alteração de preço. Isso torna a pontuação testável e, tão importante quanto isso, refutável. Uma pontuação sem fonte rastreável é uma suposição com um número atribuído. Numa reunião de direção, essa diferença torna-se rapidamente evidente: a pergunta "em que se baseia isto" tem de ter uma resposta concreta, caso contrário a comparação é ruído. Aliás, o mesmo teste aplica-se à própria organização. Antes de comparar com o exterior, é útil saber o que é um peer group e como se compõe, pois uma pontuação ao lado do grupo de comparação errado é tão enganadora quanto uma pontuação sem fonte.
Uma avaliação externa da maturidade em IA tem limites que não desaparecem. Um concorrente pode estar a testar um piloto que ainda não produziu nenhum sinal externo, e por isso pontuar injustamente baixo. Um concorrente também pode fazer uma afirmação sobre IA em material de marketing que não se reflete no trabalho executivo, e por isso pontuar injustamente alto até essa afirmação ser verificada. Números de pessoal que se mantêm iguais dizem pouco se parte desse pessoal for contratada estruturalmente através de terceiros. E um tempo de resposta rápido pode ser tão resultado de um serviço adicional como de automatização. Por isso, o método trabalha com margens de variação e com margens de incerteza explícitas por dimensão, não com um único número que sugira uma certeza que não existe. Uma pontuação que assenta num único sinal fraco é também assinalada como tal na matriz.
O resultado diz pouco se a própria dimensão deixar de ser distintiva. Se a utilização de IA numa determinada dimensão se tiver tornado comum em todo o mercado, então ninguém ganha mais com isso, e pontuá-la é um exercício sem consequência comercial. Essa é uma das razões pelas quais o benchmark começa com a pergunta quais dimensões se tornam sem valor quando todos utilizam IA, antes de dedicar tempo a pontuar dimensões que já não influenciam a resposta. O mesmo se aplica a uma vantagem que hoje é real: essa desaparece assim que os concorrentes assumem o mesmo trabalho, e a pergunta quanto tempo dura uma vantagem em IA faz, portanto, parte padrão da interpretação, não é um pormenor secundário.
A avaliação externa de um concorrente é metade da questão. A outra metade é a pergunta sobre que trabalho, na sua própria empresa, pode efetivamente ser assumido pela IA, e essa pergunta é respondida por tarefa através do scan de trabalho da FTE TO AI. Essa mesma distinção, o que a IA assume, o que acontece com supervisão e o que continua a ser trabalho humano, é também aquilo em que ainda se pode competir quando o trabalho executivo estiver em grande parte automatizado, e essa é uma questão que não se coloca apenas externamente: veja em que ainda compete quando a IA faz o trabalho executivo. Um concorrente com menos pessoas na folha de pagamento não é, por isso, automaticamente a parte mais barata, como se desenvolve em por que um concorrente com menos pessoas não é automaticamente mais barato. Caso alguma destas questões toque em decisões de pessoal dentro da sua própria organização, aplicam-se aí requisitos legais próprios; esta página não fornece fundamentação para tais decisões.
Pode começar sem esperar pelo benchmark completo. Identifique as dimensões em que pensa estar a ganhar, e teste-as com a verificação gratuita de dimensões: verá quais dessas afirmações são defensáveis com evidência e quais assentam em suposições. Quem quiser olhar mais além da própria posição, pode direcionar o mesmo teste para onde, junto de concorrentes, ainda há espaço por explorar, através de uma análise de white space. O benchmark competitivo completo está em construção; a verificação de dimensões já está disponível.