Anthropic concede a un evaluador externo de METR acceso de nivel de empleado en su apuesta por la seguridad de la IA
Por Aditya Soni
15 oct (Reuters) - Anthropic ha concedido a la organización sin ánimo de lucro METR acceso a sus sistemas a nivel de empleado y está en conversaciones con otras entidades, entre ellas Hugging Face, en un momento en que las empresas de IA recurren a evaluadores externos como forma de hacer avanzar la tecnología de forma segura sin ralentizar su desarrollo.
El desarrollador de los modelos Claude también está colaborando con la organización sin ánimo de lucro dedicada a la bioseguridad SecureBio y con Faculty, la división de IA de Accenture, como evaluadores, según indicó en una entrada de blog publicada el jueves.
Reuters informó en exclusiva a principios de esta semana (link) de que Anthropic y OpenAI habían intentado ejercer un control significativo sobre lo que los revisores externos podían publicar, por temor a que los resultados pudieran filtrar secretos comerciales.
Una persona familiarizada con el asunto declaró a Reuters que las conversaciones con Anthropic habían evolucionado recientemente y que la empresa se había mostrado más abierta en las negociaciones.
Un punto de fricción clave entre los evaluadores y los laboratorios de IA es que la información que las empresas podrían considerar propiedad intelectual crucial también puede ser relevante para evaluar los riesgos de un modelo, lo que da lugar a disputas y censuras, según declaró a Reuters otra persona familiarizada con las conversaciones.
Los expertos también han señalado que la independencia de los evaluadores es motivo de preocupación, ya que son Anthropic y OpenAI quienes eligen quién lleva a cabo las revisiones.
El resultado de las conversaciones ayudará a determinar cómo el mundo examina una tecnología que, según advierten algunos de sus creadores (link), podría estar avanzando más allá de la capacidad de la humanidad para gestionarla.
LA ALIANZA CON METR
Anthropic afirmó el jueves que seis empleados de METR —o Model Evaluation and Threat Research— disponen de hardware de la empresa, espacio de oficina y acceso a los sistemas internos, en condiciones más o menos equivalentes a las de sus equipos de evaluación de riesgos. Sin embargo, los datos de los clientes, la información protegida por el secreto profesional y la arquitectura de los modelos seguirán estando fuera de su alcance.
La empresa ha señalado que no puede vetar las conclusiones de METR sobre riesgos, incidentes y prácticas, pero sí puede exigir que se realicen supresiones de contenido estrictamente definidas. METR también puede cuestionar públicamente dichas supresiones sin revelar la información ocultada.
«En consonancia con nuestras políticas de transparencia, nuestro informe describirá abiertamente el alcance, el acceso y otras limitaciones de nuestro trabajo», afirmó METR. La organización sin ánimo de lucro había propuesto el miércoles que los desarrolladores permitieran entrevistas privadas con el personal, la publicación oportuna de las evaluaciones y la transparencia sobre los límites de acceso y las supresiones.
Anthropic señaló que sus otras colaboraciones con evaluadores se encuentran en una fase inicial, con derechos de acceso y publicación más limitados.
La empresa está desarrollando tres niveles de acceso. Los evaluadores del primer nivel llevarán a cabo investigaciones de alcance limitado y necesitarán autorización para publicar. Los del segundo nivel recibirán más información y podrán publicar sin autorización, siempre que se apliquen supresiones que los evaluadores puedan cuestionar públicamente.
El tercero, utilizado por METR, ofrece un acceso similar al de los empleados, con derechos de publicación parecidos a los del segundo nivel.
SecureBio se encuentra en el primer nivel y está revisando el capítulo sobre armas químicas y biológicas del informe de riesgos de agosto de Anthropic, tras haber publicado una revisión piloto del informe anterior. Anthropic ha indicado que considerará ampliar los derechos de acceso y publicación de SecureBio tras la revisión.
Anthropic también anunció el mes pasado que está trabajando en una colaboración con Faculty que abarca evaluaciones de modelos, pruebas adversarias y valoraciones sobre si los modelos se comportan según lo previsto, entre otras áreas.
(En beneficio de las personas cuya lengua materna no es el inglés, Reuters automatiza la traducción de algunos artículos a otros idiomas. Dado que la traducción automática puede cometer errores o no incluir el contexto necesario, Reuters no se hace responsable de la exactitud del texto traducido automáticamente, sino que proporciona estas traducciones únicamente para conveniencia de sus lectores. Reuters no se hace responsable de los daños o pérdidas —del tipo que sean— causados por el uso de la función de traducción automática.)