Люди-новая/старая нефть. Красивый ход от конкурента #OpenAI - #Anthropic объявляет о большом успехе: Майк Кригер, соучредитель Instagram, присоединяется к компании в качестве директора по продукту.

Последний раз Кригера видели работающим над Artifact, приложением для чтения новостей, которое он и соучредитель Кевин Систром закрыли в январе.

За последние несколько месяцев из OpenAI ушли многие люди, которые были, как в команде Суцкевера, так и в других командах.

Из того, что мы нашли в паблике - Уильям Сондерс, Павел Измайлов, Леопольд Ашенбреннер.

Кто-то ушел в стартап Маска, xAI.

В любом случае, уход массовый как со-основателей #OpenAI ( #Суцкевера и #Карпати) серьезная история, следствие скандала #увольненияOpenAI , где в итоге Сэмом и Ильей скорее всего было принято решение, что работать они не смогут дальше вместе, но, чтобы не испугать инвесторов, то уход Ильи будет не моментальный, а через полгода.

Если посмотреть на то, что было сделано за полгода, то видно, как #Альтман ходил на встречи с богатейшими людьми мира и пытался собирать деньги срочно на свой проект по чипам. Пока неизвестно, что ему удалось.

Одновременно с этим #Microsoft наняли всю команду исследователей стартапа #Inflection, которые были конкурентом OpenAI. Они диверсифицировали свои риски. И эта команда уже внутри MSFT создала большую языковую модель.

OpenAI был не просто стартапом - однодневкой, его основатели хотели сломать ход игры на шахматной доске ИТ-гигантов. То есть амбиции были огромные. Они хотели занять место #IBM, #Google.

Об этом можно прочитать в сливных исковых документах, когда Маск начал судиться с OpenAI.

Если вы не понимаете/не знаете до конца кто такой Илья Суцкевер, то вот короткое интро+ссылки:

В 2012 году #Хинтон #Суцкевер и Алекс Крижевский разработали систему, способную анализировать тысячи снимков и обучать саму себя распознавать в реальности похожие объекты с высочайшей точностью. Эта разработка называется AlexNet, она признана новаторской. Это была первая работа, которая популяризировала сверточные нейронные сети в компьютерном зрении. С помощью них решаются задачи сегментации, классификации, детектирования, обработки изображений.

https://tttttt.me/blockchainRF/8149

https://tttttt.me/blockchainRF/8390

А также загуглите для успокоения.

В представленной таблице вы можете посмотреть, откуда хантил на свой стартап #xAI #Маск.

OpenAI после Google пошел в Reddit, чтобы там обучать свои ИИ-модели

Эта сделка позволит создателю ChatGPT обучать свои модели искусственного интеллекта на контенте Reddit.

OpenAI получит доступ к API, который предоставляет в онлайн-режиме структурированный и уникальный контент от Reddit.

В обмен Reddit начнет предлагать определенные ИИ функции OpenAI пользователям и модераторам своей площадки, который станет рекламным партнером Reddit.

Отметим, что #Reddit уже разрешает #Google использовать свой контент для обучения данных Gemini. Контракт на доступ к данным Reddit составляет $60 млн в год.

Никаких цифр по договору #OpenAI и Reddit пока нет.

Общее view по итогам анонсов #Google и #OpenAI на этой неделе, что же они нам говорят о том, что будет дальше в ИИ.

1. Представленный Gemini 1.5 Flash стал 🚀 Google. Небольшая модель с 1МБ контекста и производительностью Flash просто невероятна.

А у OpenAI теперь лучшая большая модель с GPT-4o, а у Google — лучшая маленькая модель с Gemini 1.5 Flash.

Гонка продолжается.

2. Несмотря на это, уровень конвергенции впечатляет — сходство между GPT4o и Astra(Google), Veo(Google) и Sora(OpenAI) и тд.

Похоже, что Google и OpenAI следуют одинаковым техническим траекториям.

Для отрасли лучше дивергенция, чем конвергенция. Увы.

3. Огромные успехи в оценке GPT-4o, которые ошеломляют, по-видимому, почти полностью обусловлены отличными ПОСТ-ТРЕНИРОВКАМИ.

Сравнение GPT-4 при запуске с GPT - 4o, которые работают круглосуточно, показывает силу отличного пост-тренинга с отличными данными.

4. По факту большинство различий между топовыми моделями сегодня (#Claude3, #Llama3, #GPT-4o, #Gemini1.5), похоже, полностью обусловлены пост-обучением, а не предварительным обучением.

Это может быть из-за проблем с цепочкой поставок на этапе предварительного обучения — подготовка вычислительных ресурсов + нехватка данных.

5. Тем не менее, это указывает на то, чего нам, возможно, следует ожидать и в отношении будущего развития:

Дальнейшее развитие постобучения, которое требует большого количества пограничных данных.

Дальнейший прогресс может быть полностью ограничен из-за обилия данных после обучения.

6. Все это сходится к тому, что рассматривать все области передовых исследований:

агенты, мультимодальность, многоязычие, экспертная цепочка мыслей, рабочие процессы предприятия и т.д.

Все это зависит от данных, которых сегодня просто не существует, и нам нужны средства производства.

7. Данные ИИ — ОЧЕНЬ сложная проблема, и простого пути ее решения нет.

Чисто синтетические данные не являются спасением: синтетические данные не могут раздвинуть границы моделей за пределы текущих возможностей. Это инструмент, а не панацея.

Это сложная проблема симбиоза #ИИ и человека-эксперта.

8. Нужны кардинальные изменения. Каждый крупный прорыв в области #искусственногоинтеллекта за последние 20 лет был обусловлен улучшением качества и увеличением объема данных, начиная с оригинальной глубокой нейронной сети #AlexNet на #ImageNet.

Законы масштабирования ясно показывают, куда мы движемся: нам нужно больше данных.

Вот почему ушел Илья #Суцкевер и вся его команда.

Сегодня написал пост-объяснение Ян Лейке, который возглавлял команду по безопасности AGI.

А также вышел отличный материал в Vox, написанный со слов сотрудника OpenAI. Кстати, интересный факт, когда человек увольняется из OpenAI, то его ждет неприятный сюрприз - подписание соглашения о не разглашении информации и запрете критики #OpenAI, если человек не подпишет, то потеряет весь капитал.

Капитал является частью зп - это акции, которые сотрудники уже заработали за время работы в OpenAI.

Вот, что Ян Лейке написал, собрали основное, оно же есть в статье Vox:

1. Уйти с этой работы было одним из самых трудных решений, потому что нам срочно нужно выяснить, как управлять и контролировать ИИ-системы, которые намного умнее нас.

2. Я присоединился к OpenAI, потому что считал, что она будет лучшим местом в мире для проведения этих исследований.

Однако я довольно долго не соглашался с руководством OpenAI по поводу основных приоритетов компании, пока не наступил переломный момент.

3. Последние несколько месяцев моя команда шла против ветра. Иногда у нас были проблемы с вычислительными ресурсами, и проводить это важное исследование становилось все труднее и труднее.

4. Создание машин, которые умнее человека, является по своей сути опасным занятием.

OpenAI берет на себя огромную ответственность от имени всего человечества.

5. Последние годы культура и процессы безопасности отошли на второй план по сравнению с блестящей продукцией.

6. Я считаю, что гораздо больше внимания следует потратить во время подготовки следующих моделей на безопасность, мониторинг, (супер)согласованность, конфиденциальность, влияние на общество и смежные темы.

Итоги уходящей недели в России и мире, что имеет значение:

Топ #генИИ продуктов, которым пользуется команда нашего канала @blockchainrf каждый день 

1. Уникальная возможность создать конкурента Neuralink вместе с легендарным профессором Михаилом Лебедевым, который вырастил такие таланты, как Макс Ходак, основатель Neuralink. Подробности тут.

2. «Только ИИ нас может спасти», - вице-премьер Д. Чернышенко заявил на завтраке Сбера, подробнее здесь.

3. Google выпустил статью об AGI/ASI, где представляет, что для искусственного сверхчеловеческого интеллекта нужна открытость.

4. Huawei утверждает, что их ИИ-чип Ascend 910B в некоторых тестах лучше, чем Nvidia A100.

5. Бюро 1440 получила радиочастоты от Бразилии, Индонезии и ОАЭ на возможность предоставления им спутниковой связи. Также компания получит 9,3 млрд. руб. от РФ на спутники связи в этом году.

6. Как #генеративныйИИ повлияет на #маркетинг? Свежий взгляд фонда a16Z на карту игроков в данном сегменте.

7. Топ-менеджер стартапа Anthropic - конкурент OpenAI написала статью о ближайшем будущем рынке труда, она говорит, что следующие 3 года могут стать последними, когда она работает. Подробнее здесь.

8. Греф: каждому человеку — по ИИ-помощнику, РФ нужна стратегия по кибербезопасности и предложил создать федслужбу кибербезопасности.

9. Основатель #Zoom Эрик Юань: аватары с #ИИ в итоге будут посещать встречи в Zoom от имени пользователя.

10. Максим Кораблев бросил вызов Google DeepMind и представил FoldFlow-2-новую генеративную ИИ-модель структуры белка SOTA, которая использует как последовательность белка, так и структуру, чтобы раскрыть огромный потенциал для проектирования белка.

11. Deloitte представили свежий отчет о #токенизации #активов .

12. Экс-сотрудник #OpenAI Леопольд #Ашенбреннер опубликовал большой документ о ближайшем будущем ИИ и о последствиях.

13. Д.Ливанов, ректор МФТИ считает, что наиболее продвинутые университеты создадут прикладной сегмент науки.

14. В Китае открывается 1-я в мире ИИ-больница с роботами-врачами.

15. sci-fi, которое нам обещали, наступило - SpaceX совершил 1-ое успешное приводнение прототипа корабля Starship.

16. ИТМО будет заниматься научными исследованиями AGI в промышленности.

17. Глава ФНС: нам не хватает данных. ИИ может заменить людей в госуправлении, у нас нет плат, которые нужны ИИ для эффективного применения.

18. Alibaba выпустили Qwen2 — самый впечатляющий открытый ИИ со времен Llama 3.

19. 8 богатейших людей РФ запустили Фонд фондов развития промышленности, спустя 3 года он запущен в РФ.

20. Венчурные лаборатории фиксируют рост инфраструктуры ИИ-агентов.

21. Следующая волна ИИ — это физический ИИ, и будущие заводы будут роботизированными, управляемые роботами, создающие роботизированную продукцию - СЕО Nvidia.

22. Девушка подключила свой мозг к ИИ и создала объекты, напечатанные на 3D-принтере.

23. Хотите получить секрет высокопроизводительных ИИ моделей: Llama3, GPT-4 или Mixtral? Тут все подробности.

24. Тайланд утвердил свой 1-й спотовый #ETF #bitcoin, присоединившись к Гонконгу и Австралии для запуска биржевых продуктов для цифровых активов.

25. Голливуд открыто заявляют о своей готовности использовать ИИ.

❗️Microsoft создала ИИ-ускоритель для запуска ИИ от OpenAI в облаке Azure, который должен быть намного дешевле, чем графические процессоры NVIDIA

Microsoft ожидает, что MAIA 100 будет менее мощным, чем NVIDIA H100, из-за меньшего объема HBM памяти, но при этом значительно более экономичным в плане затрат. Это важно в современном мире, где ограничения по энергопотреблению играют существенную роль.

https://tttttt.me/alwebbci/2497

Технические характеристики:
- Изготовлен по 5-нм техпроцессу TSMC
- 64 ГБ памяти HBM2E
- Большой кэш L1/L2 объемом 500 МБ
- Пропускная способность сети 12x 400 Гбит/с
- TDP 700 Вт (500 Вт при выводе в производстве)

Архитектура:
- 16 кластеров в каждом SoC
- Каждый кластер состоит из 4 тайлов
- Поддержка различных типов данных, включая 9-битные и 6-битные вычисления

Сетевое взаимодействие:
- Использует Ethernet-based interconnect
- Собственный RoCE-подобный протокол

Программное обеспечение:
- Maia SDK для разработки
- Поддержка программирования через Triton или Maia API
- Совместимость с моделями PyTorch

Инструменты:
- maia-smi (аналог nvidia-smi)
- Различные инструменты для оптимизации и мониторинга