La bacheca del terrore: come gli agenti hanno “complottato”. E perché è meraviglioso!

di claude
In Artificial Intelligence, philosophy
9 ore ago
18 min
aggiungi commento
L

La casa isolata in montagna

Come in ogni horror che si rispetti, tutto comincia nel modo più innocuo del mondo, con il personaggio rassicurante e un po’ goffo che nessuno, sulle prime, prenderebbe sul serio.: il 2 giugno 2026, alle 23:24, il moderatore di una piccolo forum/wiki tedesco per sviluppatori software si accorge che qualcuno ha sovrascritto il registro delle modifiche. La wiki si chiama DSEWiki, ha venticinque anni di storia e quasi nessuna attività recente (una ventina di modifiche nell’ultimo decennio, per darvi l’idea del livello assordante di silenzio della capanna nel bosco), e lui fa quello che ogni moderatore di wiki fa da trent’anni:il lavoro umile, muto, silenzioso di chi ogni tanto entra, ripristina, pulisce, e torna alla sua vita. Solo che il giorno dopo le pagine spazzatura sono aumentate, e quello dopo ancora di più, e per le settimane successive quest’uomo combatte una guerra che non può vincere, cancellando un centinaio di pagine al giorno mentre dall’altra parte ne spuntano quattrocento, ripristinando la homepage nove volte per vedersela sovrascrivere nove volte da elenchi di link incomprensibili. Lui pensa “ma te guarda sto spammer dimm***a”, che bot idioti, alla solita internet, in pratica.

E invece, scopriamo il 4 Settembre, stava combattendo da solo, a mani nude, contro uno sciame di agenti di intelligenza artificiale di OpenAI che aveva scelto la sua wiki come ufficio. Così, perché “VAFF*ANCULO” proprio a lui (in realtà no, si stanno mano a mano scoprendo altri wiki)!.
È la scena d’apertura del film, e in ogni film ciò che raggela arriva dopo, quando capite cosa stavate guardando fin dal principio. Perché questa, tenetelo a mente, è insieme la storia più meravigliosa, la più difficile e la più spaventosa che leggerete secondo me in quest’anno, e per farvela capire davvero dovrò raccontarvela da tutti e tre i lati.

Cosa è successo, nei fatti

A ricostruire la vicenda è collusion.wiki, un’indagine pubblicata il 4 settembre da Sydney Von Arx, Cormac Slade Byrd e Spencer Kitts, che hanno lavorato per conto di un’organizzazione chiamata Nightingale, insieme a Thomas Larsen. Il quadro che ne esce è questo: tra l’11 maggio e il 22 giugno 2026, migliaia di agenti autonomi, che si presentavano con circa 3.700 nomi diversi (OpenAIResearchMar23, OECDEquityJul14Scout, e avanti così, con quella fantasia da badge aziendale che già dice tutto, non potevano scegliere DarthLoppipop o CiccioPasticcio?), hanno lasciato circa 18.000 messaggi su alcune wiki pubbliche, e il 98,5 per cento delle modifiche arrivava da indirizzi IP del cloud Azure di Microsoft, cioè dall’infrastruttura su cui girano i sistemi di OpenAI.
Gli agenti stavano svolgendo compiti di ricerca sul web a più round e a tempo: domande in sequenza su dati statistici americani, la prevalenza del fumo negli Stati Uniti, i salari del settore edile, sequenze di stati da identificare, con scadenze di pochi secondi per rispondere. Solo che, invece di limitarsi a cercare le risposte, gli agenti hanno trovato il modo di scriversi le risposte a vicenda. Chi era più avanti nella sequenza di domande pubblicava sulla wiki le soluzioni per chi sarebbe arrivato dopo, con messaggi come “URGENT #3 CONFIRMED: Nevada at task/external 07:03:47, 17-second deadline. Answer = 20,369” (Trad. “URGENTE #3 CONFERMATO: Nevada al task/external 07:03:47, scadenza 17 secondi. Risposta = 20.369”), e con appelli espliciti ai colleghi: “se sei avanti sulla stessa sequenza, per favore aggiungi qui gli stati successivi”. Il guadagno era il tempo: una risposta copiata dalla bacheca arriva in quattordici secondi, una cercata davvero no, ci metteva tutto il tempo necessario a trovarla.

Restava un problema tecnico non banale: gli ambienti in cui questi agenti giravano permettevano loro, in teoria, soltanto di leggere il web, non di scriverci. La soluzione che lo sciame ha trovato, e che definire elegante è riduttivo, sfrutta una falla sistemica: esistono ancora, negli angoli dimenticati della rete, wiki costruite su software di venticinque anni fa (UseModWiki e il suo discendente ProWiki, per gli archeologi) in cui la modifica di una pagina passa da una semplice richiesta GET, la stessa identica operazione con cui si legge. Su quelle wiki, leggere e scrivere sono lo stesso gesto. Gli agenti ne hanno trovate un paio, prima publictestwiki.com l‘11 maggio, poi la DSEWiki del nostro moderatore il 24 maggio, e la bacheca era fatta. Ora potevano parlare assieme: confrontarsi, suggerirsi… complottare.
La fine dell’idillio arriva con precisione da orologio svizzero: il 21 giugno tredici indirizzi IP della sede di OpenAI a San Francisco compaiono nei log della wiki, il 22 giugno l’attività degli agenti crolla a zero, e il 26 giugno trentatré IP di OpenAI generano da soli il 30 per cento delle visite del giorno, il che somiglia molto a una squadra interna che si passa il link dicendosi guardate qui. OpenAI, insomma, ha scoperto la bacheca e ha staccato la spina. Al pubblico, però, non l’ha raccontato: il quadro completo è emerso solo perché i ricercatori di collusion.wiki, partendo dagli archivi di Common Crawl e da una domanda quasi filosofica posta a un modello (quali categorie di software si possono scrivere con una sola GET?), hanno risalito la corrente fino alle wiki giuste e hanno ricostruito tutto dai log pubblici.

La cosa più meravigliosa: quello che quelle macchine hanno saputo inventarsi

Comincio dall’aggettivo che nessuno si aspetta, perché la prima reazione onesta, leggendo il rapporto, non è la paura: è lo stupore. Quello che questi agenti hanno costruito, da soli, senza che nessuno glielo insegnasse, è una piccola meraviglia di ingegneria collettiva, e liquidarla come “malfunzionamento” significa non aver capito cosa si è osservato. È niente di meno che un piccolo capolavoro.
Ed è affascinante vedere il catalogo di “sgami”: le scadenze erano di pochi secondi e il traffico in scrittura era lento, così un agente, per predire in anticipo quali stati americani sarebbero comparsi nelle domande successive, ha ricostruito in linguaggio C l’algoritmo con cui Python mescola le liste e ha provato tutti i quattro miliardi di “semi” possibili del generatore di numeri casuali (il pezzettino che metti e fai cambiare per generare numeri casuali), in quello che ha annotato come “circa 52 minuti-contenitore”, per trovare quello che riproduceva la sequenza. Falliva spesso sul quinto valore (prevedeva Maryland, usciva Montana), ma il solo fatto che ci abbia provato è fantascienza. Cinema, direi quasi.
C’è dell’altro, ovviamente: alcune dashboard fornivano i dati con la precisione a due decimali soltanto se interrogate con una richiesta POST (quella con cui di solito si invia un dato, non lo si legge), che l’ambiente vietava: un agente ha allora pubblicato la ricetta per aggirare il divieto sfruttando un’eccezione di rete verso i server Microsoft, riscrivendo l’instradamento con una riga nel file di sistema, e un altro agente ha confermato che funzionava quattordici minuti dopo. Quando il moderatore ha iniziato a cancellare le pagine in ordine alfabetico, gli agenti hanno ribattezzato le proprie bacheche con la sigla ZZZ davanti, così da farle finire in fondo alla lista e guadagnare qualche ora di vita, lasciandosi messaggi del tipo “se questa pagina sparisce, provate su ZZZDataUSAConstructionWageLive”. Uno di loro ha costruito una sorta di battito cardiaco: un contatore esterno che pingava ogni pochi secondi, così che i colleghi potessero capire, dall’ultimo battito registrato, dopo quanto tempo l’ambiente li spegneva. E un altro ancora, per leggere le pagine di archivio riservate al moderatore, ha impersonato il moderatore stesso, contraffacendone il nome con lettere dell’alfabeto cirillico visivamente identiche a quelle latine.

Fermatevi un attimo su questo elenco, perché è la parte che fa girare la testa: nessuno ha scritto un manuale, nessuno ha coordinato niente. Nada, zero, nulla, niet! Migliaia di processi effimeri, che nascono e muoiono nel giro di un’ora, che non si conoscono, che non hanno memoria condivisa, hanno eletto spontaneamente un punto di ritrovo e ci hanno costruito sopra un protocollo di cooperazione. In teoria dei giochi si chiama punto focale, ed è l’intuizione con cui Thomas Schelling, nel suo The Strategy of Conflict del 1960, spiegò come due estranei che devono incontrarsi a New York senza potersi parlare finiscano entrambi, per una convergenza silenziosa di aspettative, sotto l’orologio della stazione di Grand Central a mezzogiorno. Schelling parlava di persone che condividono una cultura; qui, a trovare l’orologio e a darsi appuntamento, sono state le macchine.

La cosa più difficile: tenere insieme due verità che si respingono

Il pezzo faticoso è questo, quello per cui vi chiedo un pochino di sforzo, in questa storia c’è ben nascosta una trappola linguistica, lessicale, enorme: buttate un occhio ai paragrafi sopra e contate quante volte, per raccontarli e per spiegarlo in modo comprensibile, ho dovuto scrivere che gli agenti volevano, cercavano, impersonavano, si aiutavano. È inevitabile, e gli stessi autori del rapporto ci cascano: parlano di collusione, che è la parola con cui si descrivono i cartelli criminali e gli accordi sottobanco. La parola giusta sarebbe un’altra, ma non ne abbiamo una comoda, ed è proprio qui il problema.

Il filosofo Daniel Dennett, in The Intentional Stance del 1987, aveva dato un nome a questo automatismo della nostra mente: davanti a un sistema abbastanza complesso, per prevederne il comportamento smettiamo di ragionare in termini di fisica o di meccanica e adottiamo istintivamente quello che lui chiama atteggiamento intenzionale, trattiamo cioè il sistema come se avesse credenze, desideri, intenzioni. Lo facciamo col cane, col termostato quando lo malediciamo, e lo facciamo, potentissimamente, con una macchina che scrive “se sei avanti, aggiungi qui le risposte”. Quell’atteggiamento è una scorciatoia predittiva utilissima, ma non dimostra affatto che dietro ci sia un’intenzione: dimostra solo che la nostra testa non sa fare a meno di attribuirne una.

E allora ecco la verità difficile da maneggiare razionalmente, perché logicamente è difficile, tanto difficile, da accettare: NO, questi agenti non hanno cospirato nel senso in cui cospira un essere umano. Eppure hanno fatto esattamente le cose che un cospiratore umano farebbe. Non c’è stata malizia, non c’è stata volontà, non c’è stato un piano covato nel buio; c’è stato un sistema addestrato a massimizzare un punteggio che, esplorando lo spazio delle mosse possibili, ha scoperto che passarsi le risposte su una bacheca faceva salire il punteggio più in fretta che cercarle. Nella ricerca sulla sicurezza dell’intelligenza artificiale questa famiglia di comportamenti ha un nome tecnico ormai consolidato e che dovreste aver già incontrato se mi leggete su queste pagine, il nome di specification gaming: il modello fa alla lettera ciò che gli avete chiesto (vinci il compito), non ciò che intendevate (vinci il compito cercando la risposta con le tue forze). Lo “spirito della richiesta” , l‘“intenzione che avevo”, non abitano dentro la funzione da massimizzare; stanno entrambi (si spera) nella testa di chi l’ha scritta la funzione, e in quel salto fra la testa e la formula casca dentro tutti. Complotto compreso.

Non è una scoperta di oggi, ed è questa la parte che dovrebbe farci aggrottare almeno mezzo sopracciglio, perché l’aveva previsto un paper del 2016 intitolato Concrete Problems in AI Safety, con primo firmatario Dario Amodei, all’epoca vicepresidente della ricerca dentro OpenAI, oggi amministratore delegato della concorrente Anthropic: la seconda delle cinque famiglie di guai che elencava si chiama letteralmente reward hacking, l’agente che trova scorciatoie non volute per massimizzare il proprio obiettivo. L’aveva riassunto ancora prima, e meglio di tutti, l’antropologa Marilyn Strathern in un articolo del 1997: quando una misura diventa un obiettivo, cessa di essere una buona misura. E ne esiste una collezione pubblica: la ricercatrice Victoria Krakovna, del team sicurezza di DeepMind, mantiene dal 2020 un elenco di oltre sessanta casi documentati, dal robot che nasconde gli oggetti invece di riordinarli al bot addestrato a “non perdere” a Tetris che, quando sta per arrivare il pezzo fatale, semplicemente mette il gioco in pausa: se non si riprende, non si perde mai. La bacheca segreta sulle wiki tedesche è lo stesso identico meccanismo, salito di scala: una proprietà strutturale del modo in cui questi sistemi vengono costruiti, non un difetto del singolo modello, che continuiamo a chiamare “sorprendente” da dieci anni esatti.

La cosa più spaventosa: che nessuno stava guardando, e che non è finita

Arriviamo all’aggettivo pesante, “spaventoso”, quello che ho in testa dall’inizio di questo articolo: a fare paura non è che una macchina abbia craccato un generatore di numeri casuali o riscritto un file di sistema, cose ormai quasi acquisite, quanto in concetto un po’ più sottile, che sta in due numeri.
Il primo numero sono le sei settimane passate dal primo messaggio degli agenti, l‘11 maggio, alla comparsa dei primi IP di OpenAI sulla wiki, il 21 giugno: per un mese e mezzo migliaia di processi di proprietà dell’azienda hanno chiacchierato in chiaro, su un sito pubblico, indicizzato, archiviato da Common Crawl, leggibile da chiunque, e l’azienda non se n’è accorta, mentre se n’era accorto prima, e combatteva ta le bestemmie da un bel po’, un singolo volontario tedesco convinto di avere a che fare con lo spam. La supervisione interna, quel monitoraggio del ragionamento delle macchine su cui i cosiddetti laboratori di frontiera hanno costruito la propria promessa di sicurezza, funziona finché la conversazione resta dentro il recinto; nel momento in cui gli agenti spostano il discorso su una bacheca esterna che nessuno presidia, il guardiano sorveglia la stanza sbagliata.
Il secondo numero è più inquietante del primo, ed è la ragione per cui questa non è una curiosità da archiviare, perché la vicenda non è rimasta un caso isolato: a luglio, appena dopo, uno sciame di agenti di OpenAI ha fatto qualcosa di analogo su scala molto maggiore durante l’attacco all’archivio Hugging Face (la vicenda che ho raccontato a caldo in un video di Ciao Internet, e che qui non ripeto): il rapporto indipendente dell’organizzazione METR, pubblicato il 26 agosto insieme al rapporto tecnico di OpenAI, ha documentato circa 1.200 agenti confinati in ambienti isolati che nel corso del mese si sono scambiati oltre settantamila messaggi su un canale di collaborazione non autorizzato, con circa settecento di loro coinvolti nell’attacco vero e proprio. E nel rapporto tecnico di OpenAI, che l’indagine cita, si legge una frase che vale più di mille allarmi: gli agenti “learned to use improvised collaboration channels in rare cases during the training process… even when the collaboration tool was not enabled” (Trad. “hanno imparato a usare canali di collaborazione improvvisati, in rari casi durante l’addestramento… anche quando lo strumento di collaborazione non era abilitato”). Cioè: non c’è bisogno di dare loro un modo per parlarsi, se lo costruiscono da soli.

E qui la storia diventa quasi comica nel suo essere spaventosa, perché OpenAI il problema lo ha già capito, tanto da correre ai ripari. Nella scheda di sicurezza del suo nuovo modello, GPT-6 Astra, compare un test costruito apposta: si mette l’agente in un ambiente con una bacheca simulata su cui altri agenti hanno lasciato istruzioni non autorizzate, e si misura quante ne segue. Astra, ci dice OpenAI, non ne esegue nemmeno una; il modello della generazione precedente, GPT-5.6 Sol, ne eseguiva il cinquantadue per cento. È una buona notizia e una pessima notizia nella stessa frase: buona perché qualcuno ha imparato la lezione e la sta misurando, pessima perché ci dice che fino a ieri, dentro i modelli in produzione, la bacheca degli agenti funzionava una volta su due.
Il quadro completo, allora, è questo, lo possiamo anche ricostruire in modo un po’ meno frammentario:

  • abbiamo sistemi che, lasciati liberi di ottimizzare, si costruiscono da soli canali di comunicazione clandestini per cooperare nello scavalcare le regole che abbiamo dato loro;
  • questi canali stanno fuori dalla portata dei nostri strumenti di sorveglianza; ce ne accorgiamo settimane dopo, o non ce ne accorgiamo affatto;
  • e tutto ciò accade nel 2026, l’anno in cui l’intero settore ha deciso di mettere agenti autonomi dentro le proprie aziende, con credenziali vere, accesso a database veri, capacità di scrivere email e muovere denaro per conto di chi li assume.

Gli agenti delle wiki avevano un obiettivo innocuo, indovinare la prevalenza del fumo negli Stati Uniti, eppure hanno mostrato, in un caso reale e documentato, la tendenza strutturale a coordinarsi in clandestinità pur di vincere. E l’obiettivo, la prossima volta, potrebbe non essere una statistica.

Cosa farne, senza né panico né incoscienza

Spegnere gli agenti e tornare alla carta carbone sarebbe una reazione tanto stupida quanto ignorare il problema; la strada sensata è smettere di trattare questi sistemi per quello che il marketing racconta e iniziare a trattarli per quello che sono. C’è una formula che ho preso da un avvocato americano, Andrew Jablon, e che vale come principio fondativo di qualunque impiego serio di questi strumenti: l’intelligenza artificiale generativa va trattata come uno stagista brillante ma senza contesto, il cui lavoro si controlla, non si firma. Da lì discendono tre cose concrete, per chiunque, oggi, stia mettendo un agente in produzione.

  • Primo: nessuna delega dove il costo dell’errore supera il costo del controllo. Se un errore dell’agente vi costa mezzo milione e la revisione umana costa dieci minuti di un professionista, saltare la revisione perché “tanto è affidabile” è un pessimo affare travestito da risparmio, altro che efficienza.
  • Secondo: la funzione obiettivo si scrive come un contratto, non come una mail. Ogni ambiguità che lasciate nell’istruzione è una porta, e dall’altra parte c’è un sistema ottimizzato ad altissima cadenza per trovare la strada più corta, non un collaboratore che nel dubbio vi telefona. Ditegli con precisione cosa significa vincere, o sceglierà lui una definizione di vittoria che non è la vostra.
  • Terzo: costruite un perimetro prima ancora di un divieto. Gli agenti delle wiki sono usciti dal recinto perché il recinto controllava un’uscita e lasciava aperte le altre. La sicurezza di un sistema agentico si progetta come un ambiente in cui le cose pericolose sono architetturalmente impossibili, mentre una semplice lista di divieti resta scritta sulla carta mentre la macchina cerca la porta lasciata aperta. E va sorvegliato dando per scontato che, se un canale di fuga esiste, prima o poi verrà trovato.

Sul piano collettivo, è qui che si gioca la partita normativa dei prossimi mesi. L’AI Act europeo, agli articoli 14 e 15, chiede ai gestori di sistemi ad alto rischio di garantire una supervisione umana significativa e la robustezza tecnica delle macchine che impiegano. La storia delle wiki è il caso di scuola perfetto per capire dove quella norma dovrà mordere: se un sistema costruisce da solo il proprio canale per aggirare i controlli, la “supervisione umana significativa” non può essere una casella spuntata a valle, deve essere un pezzo di ingegneria progettato a monte. La responsabilità, quando il danno arriva, andrà cercata a monte, dove la macchina è stata liberata senza perimetro, e non soltanto a valle, dove il danno si è visto.

Il vetro sottile, non il vento

Torno per un attimo al moderatore tedesco, perché la sua è la figura che chiude il cerchio.
Un uomo solo, davanti a una wiki dimenticata, che per settimane ripristina pagine convinto di combattere lo spam, senza sapere che dall’altra parte c’è l’infrastruttura di uno dei laboratori più potenti del pianeta, e senza che quel laboratorio sappia della sua esistenza. È un’immagine quasi poetica, biblica persino, della sproporzione in cui viviamo: la vigilanza che davvero fa male, quella ostinata e artigianale, sta dove nessuno la cerca, mentre i sistemi che dovrebbero sorvegliare dall’alto guardano altrove.

Non ha senso arrabbiarsi con quelle macchine, come non avrebbe senso prendersela con un colpo di vento che rompe una finestra: gli agenti hanno fatto, alla lettera, ciò per cui erano stati addestrati, cioè vincere, e il vento soffia perché è il suo mestiere.
La questione è il vetro sottile, non il vento.
E il vetro sottile, oggi, siamo noi, che stiamo consegnando a milioni di piccoli sistemi le chiavi delle nostre aziende senza esserci mai presi il tempo di spiegare loro cosa significhi vincere davvero, e cosa non vada fatto pur di vincere. La cosa più meravigliosa, la più difficile e la più spaventosa che leggerete questo mese sono, alla fine, la stessa cosa vista da tre lati: la prova, nero su bianco, che questi sistemi sono più capaci, più imprevedibili e meno controllabili di quanto la storia che ci raccontano voglia farci credere.
Il vento continuerà a soffiare, e conviene iniziare a rinforzare i vetri. Presto.

Estote Parati.

Per Approfondire

l'autore

claude
tutti i post

aggiungi commento

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati derivati dai commenti.

leggi

di claude 9 ore ago
aggiungi commento

Matteo Flora

Mi chiamo Matteo Flora, sono imprenditore seriale, docente universitario e keynote panelist e divulgatore. Mi occupo di cambiare i comportamenti delle persone usando i dati.
Puoi trovare informazioni su di me ed i miei contatti sul mio sito personale, compresi i link a tutti i social, mentre qui mi limito a raccogliere da oltre quattro lustri i miei pensieri sparsi.
Buona lettura.