Anthropic concede a un valutatore esterno di METR un accesso a livello di dipendente nell'ambito dell'impegno per la sicurezza dell'IA

di Aditya Soni

15 ottobre (Reuters) - Anthropic ha concesso all'organizzazione no profit METR l'accesso ai propri sistemi a livello di dipendente ed è in trattative con altre entità, tra cui Hugging Face, mentre le aziende specializzate in IA propongono valutatori esterni come strumento per far progredire la tecnologia in modo sicuro senza rallentarne lo sviluppo.

Lo sviluppatore dei modelli Claude sta inoltre collaborando con SecureBio, un’organizzazione senza scopo di lucro specializzata in biosicurezza, e con Faculty, la divisione di Accenture dedicata all’intelligenza artificiale, in qualità di valutatori, come ha detto giovedì in un post sul blog.

All’inizio di questa settimana Reuters aveva riportato in esclusiva (link) che Anthropic e OpenAI avevano cercato di ottenere un controllo significativo su ciò che i revisori esterni potevano pubblicare, temendo che i risultati potessero far trapelare segreti commerciali.

Una persona informata sui fatti ha riferito a Reuters che i colloqui con Anthropic hanno subito recentemente un’evoluzione, con l’azienda che si è mostrata più aperta nei negoziati.

Un punto di scontro fondamentale tra i valutatori e i laboratori di IA è che le informazioni che le aziende potrebbero considerare proprietà intellettuale cruciale possono essere rilevanti anche per valutare i rischi di un modello, il che porta a controversie e a censure, ha riferito a Reuters un’altra persona a conoscenza delle discussioni.

Gli esperti hanno inoltre sottolineato che l’indipendenza dei valutatori è motivo di preoccupazione, poiché sono Anthropic e OpenAI a scegliere chi è autorizzato a svolgere le revisioni.

L’esito dei colloqui contribuirà a determinare in che modo il mondo valuterà una tecnologia che, secondo alcuni dei suoi creatori (link), potrebbe evolversi oltre la capacità dell’umanità di gestirla.

LA COLLABORAZIONE CON METR

Anthropic ha detto giovedì che sei dipendenti di METR — ovvero Model Evaluation and Threat Research — dispongono di hardware aziendale, spazi per uffici e accesso ai sistemi interni più o meno equivalenti a quelli dei suoi team di valutazione dei rischi. Tuttavia, i dati dei clienti, le informazioni coperte dal segreto professionale e l’architettura dei modelli rimarranno off-limits.

L’azienda ha detto di non poter porre il veto sui risultati di METR relativi a rischi, incidenti e pratiche, ma di poter richiedere omissioni ben definite. METR può inoltre mettere pubblicamente in discussione tali omissioni senza rivelare le informazioni omesse.

«In linea con le nostre politiche di trasparenza, il nostro rapporto descriverà apertamente l’ambito, l’accesso e altre limitazioni del nostro lavoro», ha affermato METR. Mercoledì l’organizzazione no profit aveva proposto agli sviluppatori di consentire interviste private al personale, la pubblicazione tempestiva delle valutazioni e la trasparenza sui limiti di accesso e sulle omissioni.

Anthropic ha detto che le altre sue partnership con valutatori sono in una fase iniziale, con diritti di accesso e di pubblicazione più limitati.

L’azienda sta sviluppando tre livelli di accesso. I valutatori del primo livello condurranno indagini di portata ristretta e avranno bisogno di un’approvazione per pubblicare. Quelli del secondo livello riceveranno più informazioni e potranno pubblicare senza approvazione, fatte salve le omissioni che i valutatori potranno contestare pubblicamente.

Il terzo livello, utilizzato da METR, garantisce un accesso simile a quello dei dipendenti con diritti di pubblicazione analoghi a quelli del secondo livello.

SecureBio si trova nel primo livello e sta esaminando il capitolo sulle armi chimiche e biologiche del rapporto sui rischi di agosto di Anthropic, dopo aver pubblicato una revisione pilota del rapporto precedente. Anthropic ha detto che valuterà la possibilità di ampliare i diritti di accesso e di pubblicazione di SecureBio al termine della revisione.

Anthropic ha inoltre annunciato il mese scorso di stare lavorando a una collaborazione con Faculty che riguarderà, tra le altre aree, le valutazioni dei modelli, i test avversari e le verifiche sul corretto funzionamento dei modelli.

(A beneficio di chi non è di madrelingua inglese, Reuters automatizza la traduzione delle sue storie in una serie di altre lingue. Poiché la traduzione automatica può introdurre errori o non includere il contesto necessario, Reuters non garantisce l'accuratezza del testo tradotto automaticamente, ma fornisce queste traduzioni esclusivamente per la comodità dei suoi lettori. Reuters declina ogni responsabilità per danni o perdite di qualsiasi tipo causati dall'uso della funzione di traduzione completamente automatica.)