#Tecnología. La literatura científica empieza a criticar la obsesión de #escala en el desarrollo de la #IA, porque al final, ese camino exige un crecimiento de la capacidad de cómputo que crece más rápido que el rendimiento de los modelos. La clave real de su éxito es que es intensivo en #capital pues requiere concentraciones masivas y siempre crecientes de #hardware y una demanda en crecimiento continuo de #electricidad, por lo que apunta hacia un #monopolio global... y atrae a los inversores.
«Con la creciente atención e inversión en los enfoques recientes de IA, como los modelos de lenguaje a gran escala, la narrativa de que cuanto más grande es el sistema de IA, más valioso, poderoso e interesante es cada vez más vista como sentido común. Pero, ¿en qué se basa esta suposición y cómo medimos el valor, el poder y el rendimiento? ¿Y cuáles son las consecuencias colaterales de esta carrera hacia una escala cada vez mayor? Aquí, examinamos las tendencias de escala actuales y las compensaciones en múltiples ejes y refutamos dos suposiciones comunes subyacentes al paradigma de IA de "cuanto más grande, mejor": 1) que el rendimiento mejorado es producto de una mayor escala, y 2) que todos los problemas interesantes abordados por la IA requieren modelos a gran escala. Más bien, argumentamos que este enfoque no solo es frágil científicamente, sino que tiene consecuencias indeseables. Primero, no es sostenible, ya que sus demandas de cómputo aumentan más rápido que el rendimiento del modelo, lo que lleva a requisitos económicos irrazonables y una huella ambiental desproporcionada. Segundo, implica centrarse en ciertos problemas a expensas de otros, dejando de lado aplicaciones importantes, por ejemplo, la salud, la educación o el clima. Por último, exacerba la concentración de poder, que centraliza la toma de decisiones en manos de unos pocos actores y amenaza con quitarle poder a otros en el contexto de la configuración de la investigación sobre IA y sus aplicaciones en toda la sociedad»,
https://arxiv.org/abs/2409.14160
«Con la creciente atención e inversión en los enfoques recientes de IA, como los modelos de lenguaje a gran escala, la narrativa de que cuanto más grande es el sistema de IA, más valioso, poderoso e interesante es cada vez más vista como sentido común. Pero, ¿en qué se basa esta suposición y cómo medimos el valor, el poder y el rendimiento? ¿Y cuáles son las consecuencias colaterales de esta carrera hacia una escala cada vez mayor? Aquí, examinamos las tendencias de escala actuales y las compensaciones en múltiples ejes y refutamos dos suposiciones comunes subyacentes al paradigma de IA de "cuanto más grande, mejor": 1) que el rendimiento mejorado es producto de una mayor escala, y 2) que todos los problemas interesantes abordados por la IA requieren modelos a gran escala. Más bien, argumentamos que este enfoque no solo es frágil científicamente, sino que tiene consecuencias indeseables. Primero, no es sostenible, ya que sus demandas de cómputo aumentan más rápido que el rendimiento del modelo, lo que lleva a requisitos económicos irrazonables y una huella ambiental desproporcionada. Segundo, implica centrarse en ciertos problemas a expensas de otros, dejando de lado aplicaciones importantes, por ejemplo, la salud, la educación o el clima. Por último, exacerba la concentración de poder, que centraliza la toma de decisiones en manos de unos pocos actores y amenaza con quitarle poder a otros en el contexto de la configuración de la investigación sobre IA y sus aplicaciones en toda la sociedad»,
https://arxiv.org/abs/2409.14160
arXiv.org
Hype, Sustainability, and the Price of the Bigger-is-Better Paradigm in AI
With the growing attention and investment in recent AI approaches such as large language models, the narrative that the larger the AI system the more valuable, powerful and interesting it is is...
#Tecnología. Más sobre la crisis de #escala de los actuales métodos para mejorar la #IA (útiles sobre todo para crear #monopolio sobre la concentración de #capital en #hardware).
https://www.nytimes.com/2024/12/19/technology/artificial-intelligence-data-openai-google.html
https://www.nytimes.com/2024/12/19/technology/artificial-intelligence-data-openai-google.html
NY Times
Is the Tech Industry Already on the Cusp of an A.I. Slowdown?
Companies like OpenAI and Google are running out of the data used to train artificial intelligence systems. Can new methods continue years of rapid progress?
DeepSeek, el modelo «ligero» y abierto de #IA desarrollado en #China es visto en #EEUU como una amenaza, en la medida en que la mejora de software reduce la urgencia y los niveles de objetivos de #China a la hora de desarrollar una industria de #semiconductores capaz de sostener la parte de #hardware de la carrera de la #IA con #EEUU.
En #EEUU a día de hoy, las nuevas tecnologías se juzgan por cómo impactarán en la #GuerraComercial, no por qué nuevos productos o servicios surgirán a partir de ellas.
https://www.cnbc.com/2025/01/24/how-chinas-new-ai-model-deepseek-is-threatening-us-dominance.html
En #EEUU a día de hoy, las nuevas tecnologías se juzgan por cómo impactarán en la #GuerraComercial, no por qué nuevos productos o servicios surgirán a partir de ellas.
https://www.cnbc.com/2025/01/24/how-chinas-new-ai-model-deepseek-is-threatening-us-dominance.html
CNBC
How China’s new AI model DeepSeek is threatening U.S. dominance
A lab out of China has ignited panic in Silicon Valley after releasing impressive AI models more cheaply and with less-powerful chips than U.S. giants.