Una pagina di prodotto promette. La documentazione descrive. Chi legge un manuale, un riferimento API o un changelog, non legge ciò che un concorrente dice di poter fare, ma ciò che un utente deve effettivamente fare per far funzionare il prodotto. Questa differenza rende la documentazione una delle poche fonti che dicono qualcosa sul confronto su una dimensione, e non sulla maturità percepita di un'azienda.
Il motivo per cui questo è rilevante ora non è che la documentazione sia cambiata. È che le dimensioni su cui i concorrenti si superano l'un l'altro cambiano non appena l'AI assume parte del lavoro sottostante. Il tempo di consegna è stato per lungo tempo una questione di organico: più persone nella pianificazione, tempi di attraversamento più brevi. Se un processo di pianificazione viene ormai gestito in gran parte da un modello e un essere umano valuta solo le eccezioni, il tempo di consegna non è più una questione di organico ma una questione di modello. Chi non se ne rende conto, continua a confrontare i concorrenti sulla vecchia scala mentre la dimensione vincente si è spostata.
Nella documentazione che vale la pena leggere ricorrono tre tipi di indizi:
Questi indizi non sono prova di un'affermazione di marketing. Sono prova di una decisione di prodotto, il che li rende più preziosi di un comunicato stampa sullo stesso argomento.
La documentazione è spesso in ritardo rispetto al prodotto. Una funzione diventata guidata dall'AI può ancora essere descritta con i vecchi passaggi manuali perché nessuno ha aggiornato il testo. Vale anche il contrario: documentazione che parla di elaborazione "intelligente" o "automatica" mentre la logica sottostante è un insieme fisso di regole senza alcun elemento di apprendimento. La parola "automatico" nella documentazione non significa AI; significa solo che non c'è più un essere umano che clicca.
Un'altra trappola è confondere la scala con la presenza. Un'API che offre una funzione di classificazione non dice nulla su quanta parte del volume totale passi effettivamente attraverso quel percorso rispetto a quanta passi ancora attraverso una gestione manuale delle eccezioni. Questo dipende dall'adozione all'interno della base clienti del concorrente, dalle dimensioni del set di dati su cui il modello è stato addestrato, e da quanto tempo la funzione è disponibile. Senza questo contesto, un parametro trovato è un indizio, non una percentuale.
La documentazione cambia lentamente. Per la maggior parte dei prodotti, un controllo ogni trimestre è sufficiente per segnalare spostamenti strutturali; leggere settimanalmente raramente produce nuove informazioni perché i rilasci di documentazione non avvengono ogni giorno. Nel caso di un concorrente che annuncia proprio un grande rilascio, un controllo diretto è più utile che attendere il ciclo fisso, perché è proprio attorno ai rilasci che i passaggi manuali scompaiono o le API si espandono.
La documentazione offre uno strato tecnico, ma non dice nulla su come i clienti vivono quella funzionalità, cosa ne sanno i propri venditori, o come il mercato reagisce all'acquisto. Questo stesso schema di AI che assume parte del lavoro, lascia parte sotto controllo e lascia parte agli esseri umani, è visibile altrove: in i requisiti e i punteggi di gare e appalti, in cosa dicono le recensioni dei clienti su velocità e coerenza della consegna, e in cosa sentono già da tempo al telefono i propri venditori riguardo ai concorrenti. Chi, dopo un'acquisizione, deve determinare quale delle due organizzazioni sia in vantaggio su quale dimensione, trova un approccio simile in come posizionare su una linea la posizione di due parti fuse.
La domanda di fondo non è cosa pubblica un concorrente, ma quale lavoro nella propria azienda sia davvero da poter affidare all'AI; questo si risponde per compito con la scansione del lavoro di FTE TO AI.
Indichi le due o tre dimensioni su cui ritiene di vincere sul concorrente di cui ha appena letto la documentazione. Tempo di consegna, precisione, tempo di risposta ai cambiamenti: qualunque cosa nomini, verifichi se quell'affermazione si basa ancora sulla vecchia scala o sulla nuova. Il controllo dimensionale gratuito mostra quali di queste affermazioni siano difendibili con prove e quali si basino su presunzioni. Il benchmark completo, con matrice delle prove per dimensione, è in fase di realizzazione.