L’Intelligenza Artificiale acquisisce slancio a ritmi vertiginosi e alcuni studiosi parlano di una nuova “legge di Moore” tutta dedicata al mondo AI. METR, con il proprio studio, evidenzia una curiosa caratteristica: ogni sette mesi i modelli riescono a raddoppiare le loro capacità, portando a termine compiti sempre più lunghi. Sembra una storia che ha come protagonisti stoici informatici che, invece delle tradizionali tuniche dell’antica Grecia, indossano cluster di GPU pronte a macinare quantità monumentali di dati.

Lo studio di METR e la lunghezza dei compiti

METR introduce una metrica brillante per misurare i progressi dell’AI: la “lunghezza” dei compiti che gli agenti riescono a completare con successo. La lunghezza indica il tempo che un essere umano specializzato impiegherebbe per svolgere quello stesso lavoro. Qui entra in scena un esempio concreto: all’inizio, i modelli riuscivano a compiere operazioni che persone realizzavano in manciate di secondi. Oggi, con modelli come Sonnet 3.7 di Anthropic (Claude.Ai), si arriva a superare i 50 minuti di compiti da svolgere in autonomia.

Facciamo notare che la ricerca non considera i modelli di Ricerca Approfondita di OpenAI, Google e Perplexity, capaci di produrre lavori che, anche nelle migliori condizioni, richiederebbero a esperti diverse ore di impegno.

Detto ciò, l’idea di fondo è semplice e astuta: i modelli spesso vacillano quando devono concatenare molte azioni, più che per mancanza di competenze specifiche. Il vero “balzo in avanti” per l’AI è gestire sequenze articolate di istruzioni. Perché man mano che i modelli si avvicinano progressivamente a compiti più lunghi, crescono di conseguenza le prospettive di utilizzo nel mondo reale.

Raddoppio esponenziale ogni sette mesi

I ricercatori di METR hanno raccolto dati degli ultimi sei anni e notato una costante crescita esponenziale nella lunghezza dei compiti che l’AI riesce a gestire in modo affidabile. L’andamento suggerisce un raddoppio circa ogni sette mesi. Immaginare un grafico su scala logaritmica aggiunge un tocco di fantascienza: la linea punta dritta verso l’alto con la disinvoltura di un astronauta durante il decollo.

Facendo una proiezione a quattro anni, i modelli AI potrebbero arrivare a svolgere compiti lunghi una settimana, seguiti da progetti più estesi e articolati. Questa traiettoria mostra quanto rapidamente l’AI si prepari a entrare in ambiti di lavoro che coinvolgono giorni o addirittura settimane di attività umana.

Critiche alle metriche tradizionali e slancio verso un futuro imprevedibile

Alcuni benchmark classici valutano l’AI in base a competenze di singolo passaggio, per esempio la capacità di rispondere correttamente a un quesito teorico. Emerge però un contrasto: i modelli ottengono punteggi straordinari nei test (superano esperti in alcuni campi), e faticano a portare a termine progetti di una certa complessità in modo interamente autonomo.

METR suggerisce quindi di misurare la lunghezza dei compiti come riferimento del “fattore reale di utilità”. Questo consente di capire in che misura l’AI riuscirà a gestire attività lavorative complete e di valore nel mondo reale. C’è una coerenza notevole: i compiti da quattro minuti risultano molto facili per i modelli, mentre i progetti superiori alle quattro ore richiedono ancora abilità da raffinare.

Verso compiti di giorni e settimane

La prospettiva affascina e apre a scenari ricchi di opportunità: se la tendenza attuale prosegue, l’AI potrebbe affrontare in autonomia compiti che impegnano uno specialista umano per diversi giorni. Questo significherebbe avere sistemi capaci di coordinare processi lunghi e complessi, con ricadute rilevanti in settori come lo sviluppo software, la gestione di progetti o la ricerca scientifica.

METR stima che un errore di misura anche di 10 volte non cambierebbe troppo la previsione generale: in ogni caso si arriverebbe abbastanza presto a sistemi in grado di orchestrare attività durature. Da qui nascono interrogativi su rischi e benefici: un’AI che gestisce progetti lunghi può aiutare molto, e va anche governata con la dovuta attenzione.

Implicazioni per benchmark e gestione del rischio

METR propone di rendere open source metodi, dati e codice, invitando alla collaborazione. L’obiettivo è aggiornare gli standard di valutazione dei modelli e favorire nuove forme di ricerca sulla robustezza e l’affidabilità dell’AI. L’idea che i sistemi possano presto affrontare compiti di una settimana o più prospetta sia enormi vantaggi sia questioni di responsabilità. SGAIA ritiene che questa frontiera apra scenari innovativi: delegare fasi di lavoro prolungate ai modelli AI, riducendo il carico umano, e valutare con cura le implicazioni etiche e di sicurezza.

Visione futura

Lo studio di METR regala una visione intrigante: la corsa dell’AI verso la capacità di gestire progetti estesi sembra lanciata a velocità doppia ogni 7 mesi. Questa crescita rende la tecnologia sempre più vicina a prendere in carico attività di grande respiro. Potrebbe nascere un nuovo orizzonte in cui gli agenti AI diventano veri “colleghi digitali” pronti a svolgere pezzi di lavoro da cui le persone trarranno vantaggi e, forse, una pausa caffè più lunga del solito.

SGAIA condivide la passione per questi sviluppi e sottolinea l’importanza di nuovi approcci per misurare l’efficacia dell’AI su scala reale e valutare la lunghezza dei compiti completati offre un quadro più tangibile delle sue reali potenzialità.

In sintesi, il futuro dell’AI promette progressi a tempo di raddoppi e la prospettiva di far svolgere a un modello attività che impegnano gli umani per ore, giorni o addirittura settimane. Una strada affascinante e anche impegnativa, che METR illumina con lo studio sulla lunghezza dei compiti.

SGAIA vede in questa evoluzione un’opportunità per le imprese che vogliono innovare con pragmatismo e curiosità, esplorando le nuove possibilità offerte dall’AI.

 

Approfondimenti

Articolo ispirato al post di METR “Measuring AI Ability to Complete Long Tasks”

Chi è METR

METR esplora e misura la potenza dell’AI. L’obiettivo risiede nella valutazione delle capacità autonome dei modelli più avanzati e nella riduzione di rischi e usi dannosi dell’AI. La piattaforma open-source consente test e analisi approfonditi, offrendo a chiunque l’opportunità di contribuire alla ricerca. Collaborazioni con aziende e istituzioni di primo piano valorizzano la missione di costruire sistemi più affidabili e responsabili. Report e pubblicazioni tracciano una rotta per un uso consapevole dell’AI e riflettono l’impegno di METR nel promuovere soluzioni innovative e sicure.