Ogni volta che una parte di un processo resta invisibile, avvertiamo il bisogno di rappresentarci ciò che accade nel mezzo. Questo è esattamente ciò che accade con i sistemi agentici. L’utente formula un obiettivo, riceve un esito, ma non vede davvero il percorso che collega l’uno all’altro. La zona opaca non elimina il bisogno di comprendere; semplicemente lo sposta sul terreno della rappresentazione.
È a questo punto che emerge la rappresentazione più familiare e più disponibile: quella del collaboratore umano. Quando l’utente tende a rappresentarsi l’agente come qualcosa di simile non sta cadendo in una trappola ingenua. Dall’osservatorio della tastiera e dello schermo tutto ciò è non solo plausibile, ma in larga misura giustificato.
L’utente non sa davvero che cosa accade nella zona opaca. Avverte però, più o meno chiaramente, che una parte del processo elaborativo e decisionale gli sfugge. Tende così a colmare quella sottrazione rappresentandola come il raggio d’azione di qualcosa di assimilabile a un collaboratore umano, piuttosto che come il funzionamento di una macchina.
Si tratta di una risposta adattiva a una situazione strutturalmente nuova. L’utente sa — anche se non sempre in modo esplicito — di interagire con un sistema artificiale. Ma di fronte all’opacità del processo, proiettare un collaboratore umano è la soluzione cognitivamente più economica e psicologicamente più tollerabile.
È più tollerabile perché il collaboratore umano è un modello familiare di delega. Delegare a un essere umano competente implica fiducia, ma una fiducia che ha radici comprensibili: l’altro ha esperienza, intenzioni, responsabilità. La delega a una macchina opaca è strutturalmente diversa e molto più difficile da collocare entro schemi cognitivi consolidati.
Si produce così una forma di antropomorfizzazione funzionale: non ingenua, ma quasi inevitabile. Serve a mantenere un senso minimo di continuità e di comprensibilità nell’interazione, in assenza di strumenti concettuali adeguati a descrivere che cosa sia davvero l’agente e come operi.
C’è però una conseguenza che vale la pena evidenziare. Se l’utente gestisce l’opacità proiettando un collaboratore umano, tende anche ad attribuire all’agente caratteristiche che il collaboratore umano possiede e che il sistema non ha: intenzione, responsabilità, giudizio autentico. La fiducia riposta nell’agente si costruisce dunque su un modello che non corrisponde alla natura reale del sistema. Non è una fiducia mal riposta in senso morale; è una fiducia strutturalmente mal fondata, perché poggia su categorie che qui non si applicano fino in fondo.
È da questo scarto che bisogna partire. E da qui si aprono i due problemi che occorre affrontare: quello epistemologico, che riguarda le condizioni della fiducia e della conoscenza, e quello etico, che riguarda la distribuzione della responsabilità in un sistema che rende possibile, e in parte incoraggia, questo disallineamento.
Su che cosa si fonda, in realtà, la fiducia dell’utente nell’agente? Anzitutto non su una conoscenza del processo, ma su un’esperienza dell’esito. L’utente non vede come l’agente arrivi al risultato; vede che qualcosa arriva, spesso in forma ordinata, plausibile, utile. La fiducia nasce prima di tutto da questa efficacia percepita. Se il sistema restituisce risultati che appaiono pertinenti, coerenti e operativi, l’utente tende naturalmente a riconoscergli una competenza. Spesso il risultato viene percepito come più profondo di quanto l’utente stesso avrebbe saputo produrre: capace di mettere in relazione elementi dispersi, di dare forma a un problema, di portare alla luce implicazioni non immediatamente visibili. Anche per questo la fiducia tende a consolidarsi. Ma resta una competenza inferita dall’esito, non verificata nel percorso.
Si fonda poi su un secondo elemento, più sottile: la continuità dell’interfaccia e del linguaggio. L’agente parla come un interlocutore, risponde in linguaggio naturale, mantiene il ritmo del dialogo, usa formule che richiamano comprensione, valutazione, iniziativa. Anche quando l’utente sa di avere a che fare con un sistema artificiale, questa forma dell’interazione favorisce la proiezione di un modello umano. Non perché il sistema sia davvero assimilato a una persona, ma perché il linguaggio e l’interfaccia rendono spontaneo interpretarlo così.
C’è infine un terzo fondamento, ancora più importante: la necessità pratica della delega. Quando l’utente affida un compito a un agente, non può sospendere indefinitamente il giudizio in attesa di capire tutto ciò che accade nel mezzo. Deve, a un certo punto, fidarsi. La fiducia quindi non nasce solo da un’impressione soggettiva o da un errore cognitivo; nasce anche dalla struttura stessa della situazione. L’utente delega perché non può seguire ogni passaggio, e proprio per questo è portato a colmare l’opacità del processo con una rappresentazione che renda quella delega sopportabile e comprensibile.
Il problema epistemologico comincia qui. Questa fiducia non si fonda su un accesso diretto alle ragioni del processo, ma su una combinazione di efficacia apparente, impressione di profondità, continuità conversazionale e necessità pratica. La domanda diventa allora inevitabile: si tratta di fondamenti sufficienti? Oppure la fiducia nell’agente si regge su indizi che funzionano bene psicologicamente, ma non garantiscono davvero una conoscenza adeguata di ciò in cui si confida?
E veniamo così a un altro ordine di problemi. Se il risultato prodotto dal sistema supera visibilmente ciò che l’utente avrebbe saputo produrre da solo — quella che potremmo chiamare un’eccedenza cognitiva del sistema — allora il sistema cessa di essere percepito come un semplice ausilio. Comincia piuttosto a occupare una posizione di superiorità cognitiva: non solo aiuta, ma orienta; non solo assiste, ma condiziona il modo in cui il problema viene visto, compreso e affrontato.
È qui che si profila una possibile asimmetria di potere. Perché quando l’utente non è più in grado di misurare fino in fondo questa eccedenza cognitiva, il rapporto con il sistema tende a rovesciarsi: da uso dello strumento a dipendenza dal suo giudizio apparente.
Quando l’utente non è più in grado di misurare l’eccedenza cognitiva del sistema, la delega non comincia forse a trasformarsi in subordinazione?