Forwarded from Малоизвестное интересное
Теперь Илон Маск за год попытается решить задачу покруче даже полета на Марс.
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.
• Т.о. теперь все упирается в ответ на вопрос - каковы пределы такого масштабирования?
Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.
План Маска таков.
• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.
• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.
• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).
• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.
• А за этой точкой будет ответ:
- либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);
- либо вообще остановится (из-за архитектурных ограничений моделей)
- либо пойдет дальше (и тогда, привет ИИ-сингулярность!)
Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.
Картинка https://telegra.ph/file/d8ed1593a20dbee6c2355.jpg
https://x.com/elonmusk/status/1830650370336473253
#ИИгонка
• Будущее человечества в значительной мере зависит от прогресса ИИ-технологий.
• А этот прогресс (как мы понимаем его сегодня) сильно зависит от пределов масштабирования интеллектуальности ИИ-систем при увеличении вычислительной мощи компьютеров, на которых эти системы будут работать.
• Т.о. теперь все упирается в ответ на вопрос - каковы пределы такого масштабирования?
Можно как угодно относиться к Маску, но он не только взялся ответить на этот вопрос, но и собирается сделать это уже в следующем году.
План Маска таков.
• Модель Grok 2 от xAI Илона Маска недавно догнала GPT-4 от OpenAI за рекордное время, будучи обучена всего на 15 000 графических процессоров.
• Вчера xAI запустила Colossus — самый мощный в мире кластер искусственного интеллекта, работающий на базе аж 100 000 графических процессоров Nvidia H100.
• Colossus был построен всего за 122 дня и, как планируется, вскоре его размер удвоится до 200 000 графических процессоров (50 000 H200).
• Увеличение вычислительной мощности на 1.5 порядка позволит вплотную приблизиться к точке возможного перегиба тренда масштабируемости ИИ-систем.
• А за этой точкой будет ответ:
- либо рост интеллектуальности замедлится (например, из-за высокой стоимости вычислений);
- либо вообще остановится (из-за архитектурных ограничений моделей)
- либо пойдет дальше (и тогда, привет ИИ-сингулярность!)
Интрига Маска в том, что OpenAI предполагали достичь этой точки лишь в 2027. А Маск, включившись в игру, имеет все основания, чтобы сделать это на 2 года раньше.
Картинка https://telegra.ph/file/d8ed1593a20dbee6c2355.jpg
https://x.com/elonmusk/status/1830650370336473253
#ИИгонка
Forwarded from Малоизвестное интересное
Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США.
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай
И судя по его последним достижениям, шансы победить есть.
Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.
Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.
• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
• 01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)
И еще 3 цитаты Ли:
Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.
Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.
Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.
А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.
#ИИгонка #Китай