El 'Airbnb' de la inferencia: 'startups' que pagan por alquilar el ordenador para IA cuando no se usa
Las \'startups\' Far Labs y Evolving Edge están planteando un nuevo tipo de modelo de negocio en el que se quiere aprovechar la potencia de procesamiento sobrante de los miles de ordenadores de sobremesa locales de todo el mundo alquilándola a empresas de Inteligencia Artificial (IA) para la inferencia como alternativa distribuida a los centros de datos.
Este modelo de negocio está emergiendo como consecuencia directa de las exigencias de los centros de datos que, además de ser utilizados por su vasta capacidad de procesamiento para el entrenamiento de los modelos de IA, también se usan para la inferencia, que es utilizar el modelo \'LLM\' ya entrenado para responder a las consultas habituales que se hacen con ChatGPT, Claude, Gemini y otros \'chatbots\', como recoge IEEE Spectrum.
Es decir, que \'startups\' como Far Labs, con sede en Abu Dabi, y Evolving Edge, en Austin (Texas), quieren convertirse en el \'Airbnb\' de la inferencia para aliviar la demanda computacional de los centros de datos mediante una red distribuida mundial que además tendría el aliciente de ofrecer beneficios a los usuarios que alquilen sus portátiles, GPU u ordenadores de sobremesa.
Cabe decir que el \'boom\' de la IA está provocando la construcción de centros de datos masivos que suelen acabar dañando a las comunidades locales al elevar el precio de la electricidad, drenar las fuentes de agua y causar daños y ruido en el entorno en el que se edifican.
Aquí es donde entran en juego estas plataformas, que se centran en modelos pequeños y de código abierto y se limitan a la inferencia, y no al entrenamiento, que sigue exigiendo miles de GPU sincronizadas y físicamente contiguas en un centro de datos porque la latencia entre equipos separados lo hace inviable.
Se basan en canalizar tareas reales de inferencia de clientes entre los equipos de los particulares, y resuelven la seguridad del anfitrión (el equipo que se alquila) aislando cada trabajo en un entorno cerrado (\'sandbox\'), con comunicación cifrada y límites estrictos de acceso a CPU, GPU, memoria y almacenamiento.
Este concepto recuerda a las antiguas redes P2P y a proyectos como SETI@Home, que ya aprovechaban los ordenadores domésticos inactivos para una tarea común.
LAS DOS PLATAFORMAS
Por un lado está Far AI de Far Labs que, aunque no está operativa de momento, se prevé que se lance en las próximas semanas como una experiencia que se basa en \'software\' propio y que ofrecería una latencia de 100 ms o menos, unos ingresos estimados de 4,41 dólares al mes y hasta un 233 % sobre el coste eléctrico, según la compañía.
Y por otro lado está Evolving Edge, en fase más avanzada que Far Labs al contar con una beta abierta. Su funcionamiento se basa en Ray, un \'framework\' de código abierto habitual en los centros de datos convencionales, con la misión de distribuir las tareas.
Su enfoque es la transparencia y el código abierto, y se presenta como la alternativa "social" a los centros de datos. Su director ejecutivo, John Federico, sostiene que su red podría perder 100 de 250.000 nodos y seguiría funcionando. Es otro de sus matices positivos, ya que su operatividad no dependería de un centro de datos que, si se cae, provocaría una caída total de los servicios, como sucedió el año pasado con Amazon Web Services.
Ahora bien, según Tom\'s Hardware, que recoge este nuevo enfoque como modelo alternativo, las cifras de coste y latencia que prometen ambas compañías son afirmaciones sin comprobar hasta que las plataformas operen a escala.
En este sentido, cabe recordar el caso de Pearl, una red que prometió convertir la minería de criptomonedas en trabajo de IA. Según un estudio preliminar publicado en arXiv, la realidad de esa red fue bien distinta: el equivalente a 320.000 tarjetas gráficas haciendo cálculos sin utilidad.