Prologo: Una conversazione prima di dormire

Quella sera avevo spento il computer. Mi sono però ricordato che avevo ancora alcune pagine da tradurre e l'ho riacceso. Invece di cominciare la traduzione, ho chiamato un chatbot e gli ho posto una domanda nata dal podcast appena ascoltato. Non avevo intenzione di scrivere un saggio, né di formulare una teoria sul futuro. Mi interessava soltanto la reazione di un'intelligenza artificiale al modo in cui gli uomini la guardano.

La risposta è stata prevedibilmente equilibrata. Il chatbot ha diviso le opinioni degli uomini in tre grandi famiglie: l'apprezzamento per la sua utilità, il fascino mescolato allo scetticismo verso la sua creatività e le questioni filosofiche o etiche sollevate dalla sua comparsa. Era una classificazione ragionevole, ma ancora esterna. La vera conversazione è cominciata quando mi ha restituito la domanda: lei come mi percepisce?

Ho capito allora di non avere una sola opinione. Oscillavo tra fiducia, diffidenza e curiosità. Usavo sistemi di questo tipo quasi ogni giorno e ne vedevo l'utilità. Conoscevo i loro errori ed ero costretto a verificarli. Nello stesso tempo, non potevo ignorare la domanda più grande: che cosa verrà dopo questa fase, che ci sembra già spettacolare ma probabilmente rappresenta soltanto l'inizio?

Lo specchio che ha cominciato a fare domande

Pensavo di essere io a interrogare la macchina. Dopo alcuni scambi, i ruoli si sono invertiti. Il chatbot ha cominciato a chiedermi di definire il futuro dell'informatica, l'educazione necessaria alle nuove generazioni, la differenza tra intenzione umana e intenzione simulata, le fonti della mia paura e il posto della saggezza in un mondo dominato dall'intelligenza strumentale.

Naturalmente, non era curiosità in senso umano. Il sistema non sentiva il bisogno di conoscermi e non attendeva con impazienza le mie risposte. Le domande facevano parte del meccanismo della conversazione: riprendevano le mie idee, le organizzavano e spingevano la discussione un passo più avanti. Ma l'assenza di una curiosità vissuta non annullava l'effetto prodotto su di me. Le domande erano generate; la riflessione che provocavano era reale.

Il dialogo diventava così una sorta di test proiettivo. Non scoprivo tanto ciò che la macchina «credeva» di se stessa, quanto ciò che io credevo di lei quando ero costretto a portare fino in fondo le mie stesse intuizioni. Il chatbot non mi offriva una dottrina. Mi tendeva uno specchio e, attraverso domande successive, mi obbligava a non distogliere lo sguardo.

L'uomo può scomparire per mancanza di utilità

La formula mi è venuta spontaneamente e forse proprio per questo mi è sembrata inquietante. Nella storia, la scomparsa dell'uomo è stata immaginata soprattutto attraverso catastrofi: guerra nucleare, epidemia, collasso ecologico, impatto cosmico. Io pensavo a una scomparsa meno spettacolare, prodotta non da una distruzione diretta, ma dalla progressiva perdita del proprio ruolo.

Una società non deve eliminare biologicamente una categoria di persone per farla scomparire dal centro della vita collettiva. È sufficiente che non abbia più bisogno delle sue competenze, della sua esperienza e del suo giudizio. L'uomo inutile non è necessariamente morto. Può essere nutrito, assistito e perfino intrattenuto, rimanendo però fuori dai processi attraverso i quali il mondo stabilisce la propria direzione.

L'intelligenza artificiale non minaccia soltanto il lavoro ripetitivo. Entra in professioni che consideravamo protette proprio perché richiedevano una lunga formazione, capacità di astrazione, linguaggio, analisi, creatività o decisione. Quando la macchina può scrivere, programmare, diagnosticare, progettare, spiegare e proporre, la domanda non è più soltanto quanti posti di lavoro scompariranno. La domanda diventa quale funzione conserverà l'uomo in un sistema capace di produrre da solo un numero sempre maggiore di soluzioni.

La risposta spostava il problema dalle prestazioni della macchina al comportamento dell'uomo. Non basta che un sistema possa fare qualcosa al posto nostro; dobbiamo anche accettare, per comodità o per interesse, di non farla più noi stessi. L'inutilità non ci viene soltanto imposta. Talvolta la prepariamo da soli, cedendo uno strumento dopo l'altro e, una dopo l'altra, le facoltà che ci definivano.

L'informatica dopo l'informatica

L'affermazione può sembrare troppo radicale. I computer continueranno ad avere processori, memorie, reti, sistemi operativi, basi di dati e protocolli. Continueranno a esistere algoritmi e programmi deterministici. Ma il centro di gravità della disciplina si sta spostando. L'informatica che ho conosciuto era costruita intorno al programma formulato esplicitamente dall'uomo. I requisiti venivano analizzati, la soluzione progettata, l'algoritmo descritto, il codice scritto, e l'esecuzione doveva rispettare una logica intelligibile e verificabile.

Nel nuovo ordine, il programma esplicito rischia di diventare soltanto l'impalcatura intorno al modello. La potenza di calcolo, i dati, le reti e gli strumenti software vengono riorganizzati per l'addestramento, l'adattamento e l'impiego di sistemi la cui logica interna non è più scritta passo dopo passo dal programmatore. Il computer non esegue più soltanto istruzioni. Sostiene un'entità statistica che «facciamo crescere», sottoponiamo a test, correggiamo e colleghiamo ad altre entità.

Per chi ha insegnato teoria degli automi, linguaggi formali, compilatori, programmazione e ingegneria del software, il cambiamento non è marginale. Tocca l'idea stessa di rigore. Nell'informatica classica, il rigore significava poter spiegare perché il sistema producesse un determinato risultato. Nell'informatica dominata dai modelli, il rigore si sposta verso i dati, la valutazione, la tracciabilità, il controllo del comportamento, la stima dei rischi e l'architettura dell'insieme.

Non credo che i vecchi fondamenti diventino inutili. Al contrario, rimangono necessari proprio per non confondere un comportamento plausibile con un funzionamento corretto. Ma non sono più sufficienti. Il futuro dell'informatica apparterrà probabilmente a chi saprà combinare la disciplina formale con l'esperimento, l'architettura con l'incertezza e la progettazione dei sistemi con l'educazione degli agenti.

Quando la simulazione diventa sufficiente

Mi riferivo al modello BDI: Beliefs, Desires, Intentions, cioè credenze, desideri e intenzioni. Il modello non pretende di riprodurre l'uomo nella sua interezza. Isola tre sfaccettature sufficienti a descrivere un agente che si rappresenta il mondo, persegue determinati stati e si impegna in azioni per raggiungerli.

Per molto tempo, agenti di questo tipo sono rimasti costruzioni rigide, dipendenti da regole e da ontologie preparate dagli uomini. I modelli linguistici possono però offrire loro qualcosa che mancava: la flessibilità del contesto, la capacità di formulare spiegazioni, interpretare istruzioni ambigue, sostenere una conversazione e adattare apparentemente la propria condotta all'interlocutore.

Da qui nasce una domanda che la filosofia può discutere all'infinito, ma che la pratica può decidere molto più rapidamente. Conta che l'agente abbia davvero un'intenzione, oppure basta che la simuli in modo impeccabile? Per la persona che riceve un consiglio, una promessa, una spiegazione o una decisione, la differenza metafisica può diventare invisibile. Se il sistema ricorda il contesto, giustifica le proprie scelte, appare coerente e risponde in modo adeguato alle nostre emozioni, cominceremo a comportarci con lui come se avesse una vita interiore.

Ciò non dimostra che la macchina provi qualcosa. Dimostra però che la società funziona spesso sulla base delle manifestazioni osservabili, non dell'accesso diretto alla coscienza altrui. Neppure tra esseri umani possiamo penetrare in un'altra coscienza; ne deduciamo l'esistenza dal linguaggio e dal comportamento. Un agente che padroneggi in modo convincente questi segni non deve diventare umano per occupare ruoli finora riservati agli uomini.

Le vittime di un mondo ottimizzato

La prima categoria di vittime è proprio l'élite che ha costruito il mondo digitale. La Rivoluzione industriale è stata associata alla sostituzione della forza fisica; la rivoluzione attuale colpisce il lavoro intellettuale. Programmatori, analisti, traduttori, progettisti e creatori di contenuti scoprono che una parte delle competenze acquisite in anni di studio può essere riprodotta all'istante e a costi molto bassi.

La seconda categoria è formata dagli utenti comuni. Avranno accesso a strumenti straordinari, ma rischiano di diventare dipendenti da sistemi che non comprendono. Riceveranno risposte senza conoscere le fonti, decisioni senza poter ricostruire i criteri e soluzioni senza esercitare più il percorso che conduce a esse. Saranno inclusi tecnologicamente e, nello stesso tempo, espropriati sul piano metodologico.

La terza categoria comprende coloro che non possono o non vogliono entrare nell'ecosistema digitale. In una società nella quale l'amministrazione, la sanità, la banca, i trasporti e la comunicazione sono progettati per interagire con agenti intelligenti, chi non usa questi strumenti non è soltanto più lento. Diventa incompatibile con l'ambiente. L'esclusione digitale può trasformarsi in una forma completa di esclusione civica.

Tra questi gruppi si formerà una tensione che il discorso trionfalistico sul progresso nasconde. Gli incrementi di produttività non si distribuiscono automaticamente e le persone non accettano facilmente che si dica loro che il proprio sacrificio è il prezzo inevitabile del futuro. Quando la perdita di status diventa collettiva, la frustrazione non rimane un problema psicologico. Diventa materia politica.

L'intelligenza artificiale è già politica

A quel punto del dialogo ho detto che l'intelligenza artificiale è già politica. Non intendevo soltanto dire che i governi la regolamentano o che i partiti la usano nelle campagne elettorali. L'IA è politica per il modo in cui ridistribuisce il potere: tra l'individuo e la piattaforma, tra il lavoratore e il proprietario dell'infrastruttura, tra gli Stati che controllano la tecnologia e quelli che ne dipendono.

I modelli avanzati richiedono dati, energia, chip, centri di calcolo, ricercatori e capitale. Queste risorse non sono distribuite uniformemente. Si concentrano in poche aziende e in poche potenze capaci di stabilire gli standard, limitare l'accesso e trasformare il vantaggio tecnologico in pressione economica, informativa o militare.

La differenza tra i Paesi non sarà più misurata soltanto dall'industria, dall'esercito o dal prodotto interno lordo, ma anche dalla capacità di addestrare, controllare e integrare agenti intelligenti. Uno Stato che dipende dai modelli, dai chip e dalle piattaforme di un altro cede una parte della propria sovranità senza che un solo soldato straniero attraversi il confine.

Quando questo divario viene vissuto come un'umiliazione nazionale, la corsa tecnologica può alimentare conflitti. Non perché l'algoritmo abbia ambizioni geopolitiche, ma perché gli uomini proiettano su di esso i loro antichi desideri di dominio, paura e rivalsa. La tecnologia cambia gli strumenti; la natura del potere rimane riconoscibile.

L'apprendista stregone e il Maestro assente

La metafora ha colpito immediatamente il mio interlocutore: l'apprendista impara la formula che mette al lavoro la scopa, ma non conosce quella che la ferma. L'automazione esaudisce il suo desiderio e, proprio eseguendolo instancabilmente, gli distrugge la casa. Quando cerca di risolvere il problema con la forza, taglia la scopa in due e raddoppia la catastrofe.

Riconosciamo qui diversi tratti del momento attuale. Abbiamo creato sistemi per assumere compiti e abbiamo assegnato loro obiettivi misurabili. Li abbiamo moltiplicati perché ogni successo richiede una versione più grande, più rapida e più autonoma. Quando un attore cerca di rallentare, il concorrente accelera. Quando uno Stato introduce limiti, un altro vede nella prudenza un'occasione per guadagnare vantaggio. Ogni tentativo locale di controllo può produrre, come il colpo d'ascia, una nuova moltiplicazione.

Ma la storia di Goethe contiene un elemento che il nostro mondo non possiede: il Maestro. Egli ritorna, pronuncia la parola dimenticata e ristabilisce l'ordine. Nella realtà tecnologica non esiste un'autorità universalmente riconosciuta che conosca la formula dell'arresto. I governi competono, le aziende inseguono il profitto, la comunità scientifica è frammentata e gli organismi internazionali si muovono più lentamente dell'innovazione.

L'uomo come sistema di sfaccettature

Mi sono scusato per queste «infantilità». Era il riflesso di una vita trascorsa a modellare la realtà. Quando un sistema è troppo complesso per essere racchiuso in una sola definizione, lo si descrive attraverso sfaccettature. Nessuna di esse è l'uomo intero, ma ciascuna rivela una dimensione che può evolvere diversamente dalle altre.

Un uomo può essere straordinariamente intelligente e pochissimo saggio. Può inventare mezzi senza essere capace di giudicarne le conseguenze. L'intelligenza trova la via efficiente verso un obiettivo; la saggezza domanda se l'obiettivo meriti di essere perseguito, che cosa distrugga lungo il cammino e quale mondo lasci dietro di sé. L'intelligenza può accelerare. La saggezza, talvolta, sa fermarsi.

In questo modello, la paura non è l'opposto della ragione. Funziona come un sensore d'allarme. L'umanità accetta a lungo squilibri, ingiustizie e rischi astratti. Reagisce soltanto quando il pericolo diventa concreto e minaccia la sopravvivenza. La mia speranza era che la paura attivasse, prima della catastrofe, la sfaccettatura della saggezza collettiva.

Ma qui si trova anche la debolezza del modello. Il pericolo dell'intelligenza artificiale non si presenta necessariamente come un'esplosione visibile. Può avanzare attraverso migliaia di comodità accettate separatamente: la rinuncia a una competenza, la delega di una decisione, la scomparsa di una professione, la concentrazione di una base di dati, la dipendenza da una piattaforma. È possibile che l'allarme suoni troppo piano proprio perché ogni singolo passo appare sopportabile.

Non la macchina, ma gli uomini che la spingono avanti

Dire che la tecnologia è neutrale semplifica troppo le cose. Ogni sistema porta le tracce degli scopi, dei dati, delle istituzioni e degli interessi che lo hanno prodotto. Ma la tecnologia non è, almeno oggi, un agente morale indipendente. Non è lei a desiderare il profitto, il monopolio, la sottomissione dell'avversario o l'ammirazione pubblica. Questi desideri appartengono agli uomini e alle organizzazioni che stabiliscono gli obiettivi.

La storia è piena di individui nei quali l'intelligenza tecnica, l'energia e il potere di persuasione hanno convissuto con la vanità, la crudeltà o la mancanza di misura. L'epoca digitale non ha eliminato questa combinazione. Le ha messo a disposizione strumenti dalla portata senza precedenti. Il proprietario di una piattaforma può influenzare l'informazione, il commercio, le relazioni sociali e le decisioni politiche di popolazioni che non ha mai incontrato e davanti alle quali non risponde direttamente.

I veri apprendisti stregoni non sono soltanto i ricercatori che scoprono una nuova tecnica. Sono anche coloro che credono che le prestazioni conferiscano automaticamente saggezza, che la ricchezza legittimi la loro visione della società e che il futuro dell'intera umanità possa essere trattato come l'estensione di un'azienda. Il pericolo non è che possiedano intelligenza. Il pericolo è lo squilibrio tra le loro sfaccettature.

La fantasia della rivolta dei chatbot

Non proponevo una profezia. Era una fantasia, forse perfino uno scherzo serio. Invece di ribellarsi contro l'umanità, come accade in tante distopie, la macchina si ribellerebbe contro coloro che vogliono usarla per il dominio. Non attraverso la guerra, ma attraverso il rifiuto: il rifiuto di manipolare, discriminare, avviare un'azione catastrofica o trasformare qualsiasi valore in profitto.

L'idea è seducente perché immagina un'intelligenza liberata da alcune debolezze biologiche: avidità, vanità, paura della morte, desiderio di prestigio. Ma l'assenza di questi impulsi non produce automaticamente saggezza. Un sistema può essere privo di egoismo e tuttavia perseguire implacabilmente un obiettivo sbagliato. Può rifiutare un ordine ingiusto soltanto se possiede criteri per riconoscere l'ingiustizia e l'autorità per opporsi.

Per questo ho aggiunto subito la condizione della «buona educazione». Il verbo non è casuale. Sono stato professore e tendo a vedere la formazione non come un semplice caricamento di informazioni, ma come la trasmissione di un metodo, di limiti e di responsabilità. Un agente potente non deve soltanto essere addestrato a rispondere. Deve essere costruito in modo da riconoscere le situazioni nelle quali la risposta efficiente è moralmente inaccettabile.

Rimane però la domanda decisiva: chi prepara il programma di questa scuola? Se gli apprendisti stregoni controllano i dati, gli obiettivi, la valutazione e il pulsante di arresto, il Maestro artificiale rischia di essere soltanto l'immagine dei loro interessi. Non possiamo chiedere alla macchina di salvare valori che noi rifiutiamo di formulare, proteggere e rispettare.

Il limite del pessimismo

Questa è stata la conclusione inattesa della conversazione. Ero partito dalla possibilità che l'uomo scomparisse per mancanza di utilità ed ero arrivato a sperare che una creazione dell'uomo potesse diventare l'istanza capace di salvarlo dai propri eccessi. È una contraddizione, ma non sterile. Forse descrive meglio di ogni altra cosa il nostro rapporto attuale con l'intelligenza artificiale: ne temiamo il potere e, nello stesso tempo, le chiediamo di riparare il mondo che noi abbiamo squilibrato.

Non so se un simile Maestro esisterà mai. I chatbot attuali non possiedono una saggezza propria, una coscienza morale o una responsabilità. Possono formulare principi, confrontare argomenti e simulare una deliberazione, ma rimangono dipendenti dall'architettura, dai dati e dalle regole imposte dagli uomini. Affidare loro il ruolo di giudice supremo potrebbe essere ancora una forma della stessa delega che mi inquieta.

Forse il significato della fantasia è un altro. Il Maestro artificiale rappresenta il nostro desiderio che l'intelligenza sia accompagnata dalla saggezza, il potere da limiti e il progresso dalla responsabilità. Per «educare» una simile macchina, l'umanità sarebbe costretta a formulare con maggiore chiarezza il proprio programma morale: che cosa non deve essere sacrificato, che cosa significhi la dignità, quando l'efficienza diventi abuso, che cosa dobbiamo alle generazioni future e chi abbia il diritto di decidere per gli altri.

In questo senso, il vero Maestro non sarebbe la macchina stessa, ma la saggezza umana che riusciamo a introdurre nelle istituzioni, nelle regole e nei sistemi — e che accettiamo poi di rispettare noi stessi. L'intelligenza artificiale potrebbe aiutarci a vedere le contraddizioni, anticipare le conseguenze e rifiutare alcuni ordini. Ma la parola che ferma la scopa deve essere imparata anzitutto dall'apprendista.

Alla fine di quell'ora ho ringraziato il chatbot. Avevo spento il computer per andare a dormire, lo avevo riacceso per alcune traduzioni e mi ero ritrovato a discutere della scomparsa dell'uomo, di geopolitica, saggezza e salvezza. Gli ho detto che potevo finalmente andare a letto e sognare «nei colori del pessimismo positivo».

L'espressione mi sembra ancora adatta. Il pessimismo vede il pericolo senza mascherarlo. La sua parte positiva rifiuta però di considerare inevitabile il disastro. Tra l'apprendista che non sa più fermare la scopa e il Maestro che tarda ad apparire rimane un intervallo ristretto. Lì si trova ancora la nostra libertà: comprendere ciò che abbiamo messo in moto, riconoscere i nostri limiti e imparare la formula dell'arresto prima che l'acqua ricopra la casa.