Nel primo articolo ho raccontato perché, dopo avere seguito e commentato per mesi gli sviluppi dell’intelligenza artificiale, ho deciso di metterla alla prova su un compito reale. Il compito era rendere percorribile la Treccani History of Science: circa cinquecentocinquanta capitoli, firmati da specialisti, che attraversano la storia della scienza dall’antichità al Novecento.
Qui vorrei entrare dentro il progetto e descrivere per grandi linee che cosa è stato necessario costruire perché un modello linguistico potesse orientare un lettore in un corpus di questa natura e aiutarlo, dopo la lettura, a verificare ciò che aveva compreso.
Non è bastato collegare un chatbot a una raccolta di testi. È stato necessario edificare intorno al modello una vera infrastruttura editoriale.
Tre tempi distinti
THS Tutor organizza il percorso del lettore in tre momenti: orientamento, lettura e verifica. La distinzione non è soltanto funzionale. Ciascun momento corrisponde a un’operazione cognitiva diversa e richiede un diverso comportamento dell’intelligenza artificiale.
Nel primo momento, quello dell’orientamento, il lettore non possiede necessariamente una domanda già ben formulata. Può arrivare con una curiosità generica — il rapporto fra astronomia e astrologia, la nascita della sperimentazione, la trasmissione della scienza greca al mondo islamico — senza conoscere i termini tecnici o sapere in quale epoca e in quale volume cercare.
Un indice tradizionale è utile a chi sa già che cosa vuole trovare. Il tutor deve invece lavorare nella zona precedente: aiutare il lettore a trasformare un interesse ancora indistinto in una domanda abbastanza precisa da rendere possibile una scelta.
Il dialogo iniziale deve perciò essere breve. Il tutor formula una o due domande di rilancio, individua il problema che interessa il lettore e propone un capitolo indicando sempre il titolo, l’autore e la ragione della scelta. Non dice semplicemente «leggi il capitolo 27», ma spiega perché quel testo può rispondere alla domanda posta.
Può anche dichiarare che la risposta non si trova nel corpus. È una funzione meno appariscente, ma decisiva. Un chatbot generalista tende a rispondere comunque, ricorrendo alle conoscenze acquisite durante l’addestramento. Un tutor legato a un’opera determinata deve invece saper riconoscere i confini di quell’opera. Quando il materiale pertinente non esiste, non improvvisa.
Il secondo momento è la lettura. Qui l’AI scompare.
Il capitolo viene presentato nella sua forma integrale, con la struttura, le note, le immagini e gli apparati previsti. Non compaiono riassunti laterali, glossari automatici, spiegazioni attivabili con un clic o domande che interrompano il testo.
Sarebbe stato tecnicamente facile aggiungere questi strumenti. Abbiamo scelto di non farlo. Ogni assistenza offerta durante la lettura rischiava infatti di diventare una scorciatoia e di spostare progressivamente l’attenzione dal testo alla spiegazione del testo.
Il lettore deve poter incontrare direttamente la voce dell’autore, sostare in un passaggio difficile, formulare un dubbio e perfino fraintendere. La verifica arriverà dopo. Mescolare lettura e dialogo avrebbe indebolito entrambe.
Il terzo momento è la verifica formativa. Dopo avere letto il capitolo, lo studente torna al tutor. Non incontra un esaminatore e non affronta un quiz su nomi, date o definizioni. Gli viene chiesto di ricostruire con parole proprie alcuni passaggi decisivi e di mostrare come li ha compresi.
È in questa terza fase che il progetto ha subito le modifiche più profonde durante il collaudo.
Una verifica guidata, non un dialogo senza direzione
Inizialmente avevamo immaginato una conversazione quasi interamente guidata dagli interessi dello studente. Il tutor avrebbe aperto il dialogo chiedendo che cosa lo avesse colpito o che cosa desiderasse approfondire, e avrebbe seguito da lì il percorso della conversazione.
La sperimentazione ha mostrato il limite di questa impostazione. Una conversazione interessante non coincide necessariamente con una verifica dell’apprendimento. Il dialogo poteva fermarsi a lungo su un tema marginale, trascurare i nodi essenziali del capitolo oppure trasformarsi in un seminario nel quale il tutor esibiva conoscenze ulteriori.
Per ciascun capitolo viene ora predisposta una breve agenda di verifica. Contiene tre o quattro argomenti cruciali, scelti editorialmente, e associa a ciascuno un’operazione intellettuale.
Lo studente può essere chiamato a ricostruire un processo storico, spiegare la ragione di una scelta metodologica, applicare una distinzione, riconoscere la prospettiva dell’autore o collegare il capitolo a una linea più ampia.
Il tutor conduce il passaggio fra gli argomenti, ma non predetermina le risposte né la profondità della discussione. Dentro ogni tema, il percorso dipende da ciò che lo studente dice: da una comprensione solida, da un’incertezza, da una tesi personale o da un errore.
La formula che meglio descrive questo equilibrio è: libertà locale dello studente, regia globale del tutor.
Il tutor pone una domanda alla volta. Se la risposta è adeguata, può introdurre un solo approfondimento, per verificare che la comprensione non sia puramente verbale. Se è incompleta, offre un elemento e chiede allo studente di riformulare. Non deve produrre al suo posto la distinzione o la sintesi che egli potrebbe ancora raggiungere.
Quando invece una risposta contraddice chiaramente il capitolo, la prima correzione avviene attraverso un’indicazione circoscritta. Se l’errore persiste, il tutor non continua ad ampliare la propria spiegazione: rimanda lo studente al passaggio preciso del testo e gli assegna una domanda con cui rileggerlo.
La rilettura non è una sanzione. È il riconoscimento che la fonte, e non il tutor, deve avere l’ultima parola su ciò che l’autore ha scritto.
Anche la conclusione della sessione segue questa logica. Non è il tutor a riepilogare ciò che lo studente avrebbe dovuto apprendere. Quando gli argomenti dell’agenda sono stati attraversati, invita lo studente a dire in poche righe che cosa porta via dalla lettura e quali questioni gli rimangono aperte.
Il resoconto finale dello studente è la forma più pura di verifica: lo costringe a selezionare, ordinare e formulare in una voce propria ciò che fino a quel momento è emerso attraverso il dialogo.
Il corpus come infrastruttura
Perché un tutor possa svolgere queste funzioni deve conoscere il materiale sul quale lavora. Può sembrare una condizione ovvia, ma è proprio il punto in cui molti impieghi dell’AI risultano fragili.
Un modello generalista può parlare in modo convincente di Tolomeo, Copernico o dell’astronomia islamica senza avere mai letto lo specifico capitolo proposto allo studente. La sua risposta può essere corretta in senso generale e tuttavia estranea al testo.
Può ricostruire ciò che comunemente si pensa di Copernico, ma non la particolare interpretazione che ne offre J.V. Field. Può conoscere la critica araba a Tolomeo, ma non classificare un’obiezione nel modo in cui la classifica George Saliba. Può quindi correggere lo studente sulla base di una conoscenza storica plausibile, ma diversa dalla lettura che dovrebbe essere verificata.
THS Tutor deve lavorare su questo corpus, non semplicemente intorno agli argomenti trattati dal corpus.
Per ottenere questo risultato, ogni capitolo è accompagnato da una scheda concettuale. La scheda registra la tesi centrale, la struttura dell’argomentazione, i nodi principali, le figure storiche coinvolte, i prerequisiti, la prospettiva dell’autore e le relazioni con altri testi dell’opera.
Non viene mostrata allo studente e non è destinata a sostituire il capitolo. È una mappa interna che permette al tutor di sapere quale testo proporre, che cosa lo caratterizza e in quale direzione può proseguire il percorso.
Le schede sono prodotte attraverso un processo iterativo. Il modello esamina il capitolo e propone una prima ricostruzione; l’editore controlla, corregge, integra e decide quali elementi abbiano reale valore per l’orientamento. La griglia generale rimane stabile, ma la sua applicazione deve adattarsi ai diversi campi: una scheda sulla matematica ellenistica non può essere organizzata esattamente come una scheda sulla medicina medievale o sulla fisica quantistica.
La sperimentazione ha tuttavia mostrato che la scheda, per quanto accurata, non è sufficiente nella fase di verifica.
Scheda e testo: due forme di conoscenza
La scheda permette al tutor di vedere il capitolo dall’alto. Ne indica l’architettura, le tesi, le relazioni e la posizione nel corpus. Non conserva però necessariamente ogni esempio, ogni cautela, ogni precisazione terminologica o ogni passaggio secondario.
Nelle prime prove il tutor svolgeva la verifica basandosi prevalentemente sulla scheda. Il dialogo risultava generalmente plausibile, ma non sempre riusciva a seguire con precisione una particolare osservazione dello studente o a distinguere fra una parafrasi legittima e uno spostamento della tesi dell’autore.
Abbiamo quindi deciso che, durante la verifica, il tutor dovesse ricevere anche il testo integrale dello stesso capitolo appena letto dallo studente.
Le due risorse hanno funzioni differenti. La scheda offre la mappa; il testo offre il terreno concreto sul quale si svolge il confronto. La prima consente di orientare il percorso, il secondo permette di verificare la lettera dell’autore.
Tutor e studente non discutono più soltanto dello stesso argomento. Fanno riferimento allo stesso oggetto testuale.
La distinzione ha anche una conseguenza sulla disciplina dell’attribuzione. Sul capitolo appena letto, il tutor può affermare che l’autore sostiene o distingue qualcosa soltanto dopo averlo verificato nel testo. Sugli altri capitoli dispone invece delle schede e non può attribuire ai loro autori tesi più precise di quelle documentate. Quando introduce una conoscenza generale, deve farlo nella propria voce, senza presentarla come se appartenesse al testo.
Senza le schede, il tutor sarebbe un chatbot generalista travestito da specialista. Senza il capitolo integrale, conoscerebbe la mappa ma non avrebbe veramente letto ciò che ha letto lo studente.
Alla fine di questa prima fase, THS Tutor dispone dunque di quattro strumenti distinti: il testo integrale garantisce la fedeltà alla lettura; la scheda fornisce la mappa editoriale; l’agenda stabilisce che cosa è essenziale verificare; il protocollo dialogico determina come farlo senza trasformare il confronto in un quiz o in una nuova lezione.
Rimaneva da capire se questi quattro livelli avrebbero funzionato insieme. Era il momento di mettere alla prova non più soltanto l’idea, ma il comportamento concreto del tutor.
Una sessione esemplare
Per mostrare come questi elementi operino insieme, nel terzo articolo presenterò integralmente una sessione di verifica relativa ad Astronomy, il capitolo di J.V. Field dedicato all’astronomia rinascimentale. La conversazione è stata scelta perché mette il tutor davanti a difficoltà diverse: non soltanto un’incertezza dello studente, ma due interpretazioni plausibili e largamente diffuse che non coincidono con la ricostruzione proposta dall’autrice.
Lo studente suppone dapprima che Copernico abbia fatto cadere immediatamente la tradizionale separazione fra astronomia matematica e filosofia naturale. Attribuisce poi allo stesso Copernico la prefazione del De revolutionibus nella quale le ipotesi astronomiche vengono presentate come semplici strumenti di calcolo. Il tutor deve ricondurre la prima affermazione alla continuità disciplinare sottolineata da Field e distinguere, nella seconda, la posizione di Copernico dalla prefazione anonima aggiunta da Andreas Osiander.
Il valore della sessione non risiede soltanto nelle correzioni. Permette di osservare come il tutor si appoggi al testo, come ricavi dalla struttura stessa del testo i punti da verificare — il regime previsto per i capitoli la cui agenda editoriale non è ancora stata compilata —, quanto spazio lasci allo studente e come conduca infine il dialogo verso un resoconto formulato da chi ha letto. La conversazione non è stata riscritta per offrire un esempio ideale: documenta il comportamento effettivo del sistema, comprese le sue persistenti tendenze a spiegare più di quanto sarebbe necessario.
Che cosa è stato validato
Le prove condotte finora sono state svolte prevalentemente con studenti simulati. Non dimostrano ancora che THS Tutor migliori l’apprendimento di studenti reali.
Dimostrano però qualcosa di preliminare e necessario: che il sistema può essere sottoposto a una procedura controllata; che riceve i materiali corretti; che distingue le affermazioni dell’autore dalla conoscenza generale; che attraversa i nodi stabiliti nell’agenda; che riconosce un errore e conduce la sessione verso un bilancio formulato dallo studente.
Si tratta di una validazione funzionale e pedagogica del comportamento del tutor, non ancora di una prova di efficacia formativa.
La fase successiva dovrà coinvolgere lettori reali e confrontare condizioni diverse: la lettura senza tutor, la lettura accompagnata da un modello generalista e la lettura seguita da THS Tutor.
Non sarà sufficiente misurare quante informazioni vengano ricordate immediatamente. Occorrerà valutare la capacità di ricostruire l’argomentazione dell’autore, distinguere fra testo e conoscenza generale, trasferire una distinzione a un caso nuovo, formulare domande pertinenti e conservare la comprensione nel tempo.
Il progetto non ha dunque ancora dimostrato che uno studente impari meglio. Ha costruito però le condizioni perché questa domanda possa essere posta in modo serio.
La conversazione presentata nel prossimo articolo consentirà di giudicare direttamente la prova fin qui raggiunta: non ancora l’efficacia dell’apprendimento, ma il comportamento concreto del tutor quando deve accertare una comprensione, correggere un’attribuzione e restituire infine la parola allo studente.
Sandro Petruccioli