This media is not supported in your browser
VIEW IN TELEGRAM
Когда ещё увидишь полный увод аккаунта из крупной соцсети за полторы минуты?
P. S. Говорят, там еще в полтора раза команду trust & safety подрезали за неделю, и некому on call разбираться с этим.
P. S. Говорят, там еще в полтора раза команду trust & safety подрезали за неделю, и некому on call разбираться с этим.
Ну что, великий и страшный mythos (миф) от антропика наконец опубликовали, в обрезанном виде, назвали fable (басня).
Доступен по подписке, токены ест как не в себя, но результаты хорошие. Берет полноценные задачи и доводит их до конца самостоятельно за условные 9 часов автономной работы. Рекомендую почитать официальный анонс, там много примеров, ну и попробовать самому можно уже сегодня
Интересно, что антропик обещает отключить доступ к этой модели по подписке с 23 июня. То есть у нас есть 2 недели, чтобы попробовать, какая она классная, а дальше уже принимать решение, готовы ли мы платить тысячи долларов за токены.
Вообще, это интересный аспект всей этой нейросетевой безумии: частные лица покупают подписку за 20/200 долларов в месяц и пользуются условно сколько хотят, а корпоративные тарифные планы учитывают каждый токен по-отдельности по АПИ-тарифам. В сочетании с токен-максингом, когда компании мотивировали программистов жечь побольше токенов в том числе лидербордами (кто сжег побольше), суммы получаются совершенно астрономические, экономически неподъемные даже для крупнейших игроков. Яркий пример — Uber: за четыре месяца сжег ИИ-бюджет на год и теперь ввел лимит в 2000 долларов на токены на разработчика в месяц.
Интересно, не уж то эпоха субсидированных токенов и совсем безлимитного ИИ-программирования заканчивается и для частных лиц?
Оно и понятно, индустрия пытается переключиться из режима «дай ИИ конкретную маленькую подзадачу и сиди смотри, как она ее решает, работая вместе с ней», в режим «модели решают вот эту большую задачу самостоятельно, работая в автоматизированном цикле 24/7, работа инженера — тюнить цикл», и тут нужны хоть какие-то ограничения на то, сколько таких циклов ты запустил одновременно и мотивация на их оптимизацию. Иначе это как бесплатное электричество.
На картинках — два главных графика, какую долю задач модели доводят до конца успешно и сколько токенов при этом тратят.
Доступен по подписке, токены ест как не в себя, но результаты хорошие. Берет полноценные задачи и доводит их до конца самостоятельно за условные 9 часов автономной работы. Рекомендую почитать официальный анонс, там много примеров, ну и попробовать самому можно уже сегодня
Интересно, что антропик обещает отключить доступ к этой модели по подписке с 23 июня. То есть у нас есть 2 недели, чтобы попробовать, какая она классная, а дальше уже принимать решение, готовы ли мы платить тысячи долларов за токены.
Вообще, это интересный аспект всей этой нейросетевой безумии: частные лица покупают подписку за 20/200 долларов в месяц и пользуются условно сколько хотят, а корпоративные тарифные планы учитывают каждый токен по-отдельности по АПИ-тарифам. В сочетании с токен-максингом, когда компании мотивировали программистов жечь побольше токенов в том числе лидербордами (кто сжег побольше), суммы получаются совершенно астрономические, экономически неподъемные даже для крупнейших игроков. Яркий пример — Uber: за четыре месяца сжег ИИ-бюджет на год и теперь ввел лимит в 2000 долларов на токены на разработчика в месяц.
Интересно, не уж то эпоха субсидированных токенов и совсем безлимитного ИИ-программирования заканчивается и для частных лиц?
Оно и понятно, индустрия пытается переключиться из режима «дай ИИ конкретную маленькую подзадачу и сиди смотри, как она ее решает, работая вместе с ней», в режим «модели решают вот эту большую задачу самостоятельно, работая в автоматизированном цикле 24/7, работа инженера — тюнить цикл», и тут нужны хоть какие-то ограничения на то, сколько таких циклов ты запустил одновременно и мотивация на их оптимизацию. Иначе это как бесплатное электричество.
На картинках — два главных графика, какую долю задач модели доводят до конца успешно и сколько токенов при этом тратят.
Ещё одно ограничение (стр 13), которое мы видим среди нейросетей впервые:
При попытках использовать Fable 5 для обучения других моделей, она не будет отказываться, но будет мешать это делать, скрытно от пользователя.
Ощущение, что мы с вами жили в «раннюю эпоху LLM», которая заканчивается.
При попытках использовать Fable 5 для обучения других моделей, она не будет отказываться, но будет мешать это делать, скрытно от пользователя.
Ощущение, что мы с вами жили в «раннюю эпоху LLM», которая заканчивается.
Интересно, что эта ситуация касается меня лично: у нас недавно появился необычный клиент. Он разрабатывает суперкрутого голосового ассистента: долина, раунды на десятки млн $, огромная кодовая база на млн строк, написанная целиком нейросетями, под предводительством одного основателя.
Наша задача — привести все это в порядок, стабилизировать, обеспечить развитие и масштабирование.
На текущий момент мы в основном пользуемся моделями от антропика, но как я могу быть уверен, что свежая модель не решит, что мы конкуренты?
Наша задача — привести все это в порядок, стабилизировать, обеспечить развитие и масштабирование.
На текущий момент мы в основном пользуемся моделями от антропика, но как я могу быть уверен, что свежая модель не решит, что мы конкуренты?
Антропик откатил свою безумную стратегию «будем скрытно мешать другим ИИ-исследованиям» и извинился! Теперь их сервер передает запрос в более глупую модель и информирует пользователя об этом, если считает, что запрос касается ИИ-исследований. Так же, как делает с запросами про биологическое и химическое оружие.
Кстати, смешная штука: авторы компьютерных вирусов используют чувствительность современных моделей именно в вопросах биологического и химического оружия и включают эти темы в свои исходники. Модель видит этот текст и отказывается анализировать код компьютерного вируса, чтобы невзначай не помочь разработать биологическое оружие. Работает, понятно, только на самых простых обвязках, но попытка хорошая!
Кстати, смешная штука: авторы компьютерных вирусов используют чувствительность современных моделей именно в вопросах биологического и химического оружия и включают эти темы в свои исходники. Модель видит этот текст и отказывается анализировать код компьютерного вируса, чтобы невзначай не помочь разработать биологическое оружие. Работает, понятно, только на самых простых обвязках, но попытка хорошая!
SpaceX станет сегодня одной из самых дорогих компаний на планете, а у нас как раз вышел эпизод о том, зачем нам космос.
Зачем отправлять в космос так много ракет? Какие планы строят самые крупные игроки космической индустрии? И почему это все касается нас, простых людей на земле?
Поговорили с Георгием Тришкиным, аналитиком ракетных пусков и автором телеграм-канала Техасский вестник, чтобы разобраться, для чего нам космос и какого развития индустрии мы ожидаем в ближайшие годы.
Зачем отправлять в космос так много ракет? Какие планы строят самые крупные игроки космической индустрии? И почему это все касается нас, простых людей на земле?
Поговорили с Георгием Тришкиным, аналитиком ракетных пусков и автором телеграм-канала Техасский вестник, чтобы разобраться, для чего нам космос и какого развития индустрии мы ожидаем в ближайшие годы.
YouTube
Космические планы. Что еще нам может дать космос и зачем так часто туда летать | Георгий Тришкин
Помните, когда каждый полет в космос был большим событием? Теперь пусками как будто никого не удивишь — в новостях постоянно пишут, что Илон Маск с его компанией SpaceX опять что-то запустили. Зачем отправлять в космос так много ракет? Какие безумные планы…
Apple признала серьезные проблемы с софтом. Анонсировали, что новая версия iOS и macOS посвящены исправлению ошибок и ускорению работы. Обещают, что программы начнут открываться на 30% быстрее даже на старых айфонах! Новый CPU scheduler и много других подкапотных улучшений. Может быть, даже поиск в настройках заработает!
Ну слава богу, а то я уже начал подозревать, что это я старею и схожу с ума, а всем остальным ОК.
У Apple уже есть опыт «релизов исправлений», macOS 10.6 Snow Leopard была «версией без единой новой фичи».
В этот раз они не смогли пойти на такой смелый шаг и впихнули новую ИИ-фичу: операционная система будет проактивно давать весь необходимый контекст о наших жизнях нейросети, встроенной в Сири. Честно говоря, все это нам уже обещали в Apple Intelligence год назад, но видимо в этот раз точно :)
Ах да, в Евросоюзе и в Китае вся эта история с нейросетями работать не будет. И жалобам на антимонопольное законодательство Евросоюза Apple посвятила целую отдельную страницу, а про ограничения в Китае написала буквально в самом конце лендинга, мелкой сноской. Потому что не нужно путать, это другое.
P. S. Ещё обещают доделать и дочинить родительский контроль на айфонах. Как родитель подростка: не верю, но все равно надеюсь!
Ну слава богу, а то я уже начал подозревать, что это я старею и схожу с ума, а всем остальным ОК.
У Apple уже есть опыт «релизов исправлений», macOS 10.6 Snow Leopard была «версией без единой новой фичи».
В этот раз они не смогли пойти на такой смелый шаг и впихнули новую ИИ-фичу: операционная система будет проактивно давать весь необходимый контекст о наших жизнях нейросети, встроенной в Сири. Честно говоря, все это нам уже обещали в Apple Intelligence год назад, но видимо в этот раз точно :)
Ах да, в Евросоюзе и в Китае вся эта история с нейросетями работать не будет. И жалобам на антимонопольное законодательство Евросоюза Apple посвятила целую отдельную страницу, а про ограничения в Китае написала буквально в самом конце лендинга, мелкой сноской. Потому что не нужно путать, это другое.
P. S. Ещё обещают доделать и дочинить родительский контроль на айфонах. Как родитель подростка: не верю, но все равно надеюсь!
Неожиданное развитие событий с fable 5: правительство США наложило экспортные ограничения (то, что обычно делают на оружие) — потребовали от Антропика отключить доступ к этой модели для всех иностранцев, включая сотрудников компании - не американцев.
Сделать быстро это Антропик не может, так что выключают доступ для всех.
Правительство утверждает, что обнаружило «джейлбрейк», который позволяет разблокировать возможности модели для кибер-атак. Антропик говорит, что речь о стандартном приеме «исправь ошибку в этом коде», который ровно так же работает и в ChatGPT 5.5. Обещают больше подробностей в течение 24 часов.
Хочется пошутить, что это такая PR-стратегия антропика перед IPO для поддержания хайпа, и что у них в очередной раз не хватает видеокарт, или что это наоборот, козни Сэма Альтмана против конкурента (тоже перед IPO), и что хайп про сверх-возможности в области в кибербезопасности имеет и обратные последствия, но вообще все это исключительно странно, даже для этой администрации. Похоже, кто-то в правительстве всерьез озабочен mythos/fable, ну или просто очередная дурь. 50:50.
🍿
Сделать быстро это Антропик не может, так что выключают доступ для всех.
Правительство утверждает, что обнаружило «джейлбрейк», который позволяет разблокировать возможности модели для кибер-атак. Антропик говорит, что речь о стандартном приеме «исправь ошибку в этом коде», который ровно так же работает и в ChatGPT 5.5. Обещают больше подробностей в течение 24 часов.
Хочется пошутить, что это такая PR-стратегия антропика перед IPO для поддержания хайпа, и что у них в очередной раз не хватает видеокарт, или что это наоборот, козни Сэма Альтмана против конкурента (тоже перед IPO), и что хайп про сверх-возможности в области в кибербезопасности имеет и обратные последствия, но вообще все это исключительно странно, даже для этой администрации. Похоже, кто-то в правительстве всерьез озабочен mythos/fable, ну или просто очередная дурь. 50:50.
🍿
О, ещё одно предсказание из ai-2030 сбылось: Mythos придумал (стр 107) свой собственный язык, так что становится сложнее следить, что он думает на самом деле.
Подъехали подробности про блокировку fable 5.
Крестная мать баг-баунти програм (она запустила bug bounty в Microsoft и в Минобороны США, не баран чихнул), Кейти Муссурис, прочитала технический документ, который послужил основой для блокировки.
Говорит, что когда fable 5 дали на вход программу и попросили найти уязвимости, она отказалась. И тогда исследователь попросил модель исправить ошибки в этой программе. И подготовить тесты, чтобы проверить, исправлены ли они на самом деле.
Всё, это весь «взлом».
Можно конечно такое починить, но тогда модель станет абсолютно бесполезной для разработки софта.
🍿🍿
Крестная мать баг-баунти програм (она запустила bug bounty в Microsoft и в Минобороны США, не баран чихнул), Кейти Муссурис, прочитала технический документ, который послужил основой для блокировки.
Говорит, что когда fable 5 дали на вход программу и попросили найти уязвимости, она отказалась. И тогда исследователь попросил модель исправить ошибки в этой программе. И подготовить тесты, чтобы проверить, исправлены ли они на самом деле.
Всё, это весь «взлом».
Можно конечно такое починить, но тогда модель станет абсолютно бесполезной для разработки софта.
🍿🍿
Кстати, Кейти была экспертом при подготовке Вассенаарских договоренностей, которые определяют, какой софт считается оружием и как его контролировать.
Я в этой связи вспоминаю, как правительство США пыталось запретить публичное распространение криптографии, которую они не могли взломать.
Правительство классифицировало стойкие алгоритмы как вооружение и запрещало их экспорт.
Например, в середине 90-х, было две разных версии браузера Netscape: одна с нормальным 128-битным шифрованием, доступная только в США и Канаде, а остальной мир должен был довольствоваться 40-битным шифрованием.
Активисты, которые боролись с этим безумием, в числе прочего, распространяли алгоритмы и даже исходники RSA и PGP в виде книги. Потому что книги защищены первой поправкой к конституции США о свободе слова.
Вот активистская футболка тех времен, с алгоритмом RSA и крупным предупреждением «эта футболка классифицируется как вооружение и не может быть экспортирована из США или показана иностранцу».
Я в этой связи вспоминаю, как правительство США пыталось запретить публичное распространение криптографии, которую они не могли взломать.
Правительство классифицировало стойкие алгоритмы как вооружение и запрещало их экспорт.
Например, в середине 90-х, было две разных версии браузера Netscape: одна с нормальным 128-битным шифрованием, доступная только в США и Канаде, а остальной мир должен был довольствоваться 40-битным шифрованием.
Активисты, которые боролись с этим безумием, в числе прочего, распространяли алгоритмы и даже исходники RSA и PGP в виде книги. Потому что книги защищены первой поправкой к конституции США о свободе слова.
Вот активистская футболка тех времен, с алгоритмом RSA и крупным предупреждением «эта футболка классифицируется как вооружение и не может быть экспортирована из США или показана иностранцу».
Разбираемся в умных часах и кольцах: что они измеряют, для чего полезны и какие выбрать.
Наша гостья Татьяна Гатинская занималась умными устройствами в Novartis, а теперь у нее свой стартап про «умную кепку» для мозга, так что шарит она в этом всем профессионально
https://youtu.be/FMAWims9ypM
Наша гостья Татьяна Гатинская занималась умными устройствами в Novartis, а теперь у нее свой стартап про «умную кепку» для мозга, так что шарит она в этом всем профессионально
https://youtu.be/FMAWims9ypM
YouTube
Мастхэв или дорогая игрушка? Apple Watch, Garmin, Whoop, Oura: разбираемся в носимых устройствах
Умные часы, умные браслеты, умные кольца — наверняка ваши знакомые или вы сами задумывались о покупке таких устройств. Производители убеждают, что помогут вам на пути к здоровью и высокому качеству жизни. Но что на самом деле умеют такие девайсы? Кому они…
запуск завтра
Интересно, что эта ситуация касается меня лично: у нас недавно появился необычный клиент. Он разрабатывает суперкрутого голосового ассистента: долина, раунды на десятки млн $, огромная кодовая база на млн строк, написанная целиком нейросетями, под предводительством…
Помните клиента, который делает стартап в одно лицо и уже напрограммировал два миллиона строк кода?
Наш архитектор Леша придумал, как выделить из его монолита отдельный голосовой сервис и написал ADR , а этот парень за день все реализовал :) завтра будем разбираться, не выплеснул ли он по пути ребенка.
С таким я ещё не сталкивался — мы ставим клиенту задачи, а он их программирует!
Наш архитектор Леша придумал, как выделить из его монолита отдельный голосовой сервис и написал ADR , а этот парень за день все реализовал :) завтра будем разбираться, не выплеснул ли он по пути ребенка.
С таким я ещё не сталкивался — мы ставим клиенту задачи, а он их программирует!
В Германии уже третий час не ходят поезда, упала специальная сотовая сеть GSM-R, которая поддерживает связь между машинистами и диспетчерами и обмен технической информацией между поездами. Чтобы не было столкновений, все поезда встали.
На немецком ЖД-реддите ходят слухи, что причина в кривом обновлении софта.
Я и не знал, что у поездов есть своя сотовая сеть из 90-х. У нас уже 5G, а поезда на 2G.
Вообще, в этом вся суть инфраструктуры: пока всё работает — никто не замечает. Я восхищаюсь инфраструктурой, и чем более базовая — тем круче. Надеюсь, когда-нибудь возьму интервью у инженера, который занимается водопроводом и канализацией.
P. S. Недавно узнал, как работали римские акведуки. Там, оказывается, вода становилась чистая за счет точно рассчитанного наклона трубы; вода течет медленно и вся грязь оседает, но и не слишком медленно, чтобы не застаивалась. 🪄
На немецком ЖД-реддите ходят слухи, что причина в кривом обновлении софта.
Я и не знал, что у поездов есть своя сотовая сеть из 90-х. У нас уже 5G, а поезда на 2G.
Вообще, в этом вся суть инфраструктуры: пока всё работает — никто не замечает. Я восхищаюсь инфраструктурой, и чем более базовая — тем круче. Надеюсь, когда-нибудь возьму интервью у инженера, который занимается водопроводом и канализацией.
P. S. Недавно узнал, как работали римские акведуки. Там, оказывается, вода становилась чистая за счет точно рассчитанного наклона трубы; вода течет медленно и вся грязь оседает, но и не слишком медленно, чтобы не застаивалась. 🪄
Очень интересно про ИИ-чипы и стоимость инференса.
Вопрос не теоретический: мы планируем продолжать работу с клиентом, для которого проводили аудит огромной старой кодовой базы, и если в прошлый раз вся работа с нейросетями влезла в 200-долларовую подписку, то теперь, когда github copilot просит денег за каждый токен, такая же работа встанет в 2 тысячи долларов.
Ребята недавно провели эксперимент и выяснили, что личные подписки на клод в 20, 100 и 200 долларов дают сжечь токенов на 400, 2000 и 8000 долларов в месяц соответсвенно. Для тарифов OpenAI, коэффициент ещё выше — 700, 3500 и 14000 долларов в месяц (до 70x!).
Насколько сильно субсидированы эти подписки? Какая маржинальность у продажи токенов крупным потребителям? От этого зависит, сохраним ли мы текущий уровень доступа к ведущим моделям или мы с вами живем короткий «золотой век ИИ». Учитывая, что и Anthropic и OpenAI готовятся к выходу на биржу, верить никому нельзя :(
Тут конечно все вспоминают бум строительства железных дорог, или пузырь доткомов. Большинство компаний, которые строили железные дороги или прокладывали оптоволоконные кабели обанкротились, но рельсами и оптоволокном мы пользуемся до сих пор. Поживем — увидим.
Вопрос не теоретический: мы планируем продолжать работу с клиентом, для которого проводили аудит огромной старой кодовой базы, и если в прошлый раз вся работа с нейросетями влезла в 200-долларовую подписку, то теперь, когда github copilot просит денег за каждый токен, такая же работа встанет в 2 тысячи долларов.
Ребята недавно провели эксперимент и выяснили, что личные подписки на клод в 20, 100 и 200 долларов дают сжечь токенов на 400, 2000 и 8000 долларов в месяц соответсвенно. Для тарифов OpenAI, коэффициент ещё выше — 700, 3500 и 14000 долларов в месяц (до 70x!).
Насколько сильно субсидированы эти подписки? Какая маржинальность у продажи токенов крупным потребителям? От этого зависит, сохраним ли мы текущий уровень доступа к ведущим моделям или мы с вами живем короткий «золотой век ИИ». Учитывая, что и Anthropic и OpenAI готовятся к выходу на биржу, верить никому нельзя :(
Тут конечно все вспоминают бум строительства железных дорог, или пузырь доткомов. Большинство компаний, которые строили железные дороги или прокладывали оптоволоконные кабели обанкротились, но рельсами и оптоволокном мы пользуемся до сих пор. Поживем — увидим.
⁕ ⁕
На пятки этим SOTA моделям наступают китайские open-source и open-weight аналоги GLM-5.2, Minimax M3, Kimi K2.6. Последние месяцы они неустанно приближаются по качеству к ведущим производителям, но зазор всё ещё есть. Доступ к ним по API можно купить в разы дешевле, потому что они меньше, более оптимизированы и конкуренция между провайдерами выше.
Интересный аспект: китайским пользователям, так же и как и россиянам, официальный доступ к клоду и chatgpt закрыт, так что есть десятки спекулянтов, которые регистрируют сотни и тысячи аккаунтов, покупают на них подписки и перепродают доступ к ведущим американским моделям.
Ходят слухи, что эти «арбитражники ИИ-подписок» в Китае зарабатывают в два конца. Сохраняют всю переписку пользователей с нейросетями (ведь все запросы проходят через них) и продают эти логи создателям китайских моделей. А те потом используют эти логи для дообучения своих моделей.
Вообще, если ты можешь задавать вопросы мощной модели, обучение которой стоило десятки миллионов долларов, можно за небольшую долю этих денег произвести так называемую «дистилляцию», и обучить маленькую модель быть почти такой же умной, как и большая. Именно в этом сегодня Anthropic обвинил китайского гиганта Алибабу.
На пятки этим SOTA моделям наступают китайские open-source и open-weight аналоги GLM-5.2, Minimax M3, Kimi K2.6. Последние месяцы они неустанно приближаются по качеству к ведущим производителям, но зазор всё ещё есть. Доступ к ним по API можно купить в разы дешевле, потому что они меньше, более оптимизированы и конкуренция между провайдерами выше.
Интересный аспект: китайским пользователям, так же и как и россиянам, официальный доступ к клоду и chatgpt закрыт, так что есть десятки спекулянтов, которые регистрируют сотни и тысячи аккаунтов, покупают на них подписки и перепродают доступ к ведущим американским моделям.
Ходят слухи, что эти «арбитражники ИИ-подписок» в Китае зарабатывают в два конца. Сохраняют всю переписку пользователей с нейросетями (ведь все запросы проходят через них) и продают эти логи создателям китайских моделей. А те потом используют эти логи для дообучения своих моделей.
Вообще, если ты можешь задавать вопросы мощной модели, обучение которой стоило десятки миллионов долларов, можно за небольшую долю этих денег произвести так называемую «дистилляцию», и обучить маленькую модель быть почти такой же умной, как и большая. Именно в этом сегодня Anthropic обвинил китайского гиганта Алибабу.
⁕ ⁕ ⁕
Третья часть этого поста — про будущее.
Вчера OpenAI представила первый кастомный чип, который, якобы, на 50% оптимальнее для инференса, чем чипы от NVIDIA. Печатает их TSMC, проектирует Broadcom, стандартный комплект.
Энтузиаст недавно прошил microGPT прямо на FPGA. Это такие процессоры, логику работы которых можно поменять за несколько секунд-минут (перепрошить). У них относительная низкая тактовая частота (сотни и даже десятки мегагерц против гигарец современнных процессоров), зато если получится уложить весь алгоритм в «железную логику», то чип начинает выдавать готовый ответ на каждый такт, то есть миллионы раз в секунду. FPGA используют для обработки видео, сигналов, на ракетах и в радарах — в приложениях, где важна скорость и надежность. Есть много экспериментов, когда в них укладывали небольшие модели.
Компания TAALAS пошла дальше всех и разработала чип, который реализует Llama 3.1 8B прямо в кремние. Это приличная open source модель 2 летней давности, пусть и с небольшим контекстом (6 тысяч токенов против привычных сотен тысяч сегодня). Самая крутая ИИ-карта Nvidia B200 дает 353 токена в секунду на пользователя в этой модели, а аппаратная реализация TAALAS — 16 тысяч токенов в секунду. Попробовать самому можно на сайте chat jimmy. А теперь представьте, что это нормальная взрослая модель и используется для разработки софта. Дух захватывает.
P. S. Параллельно развиваются специализированные локальные модели, которые работают на компьютерах и телефонах пользователей (тут впереди всех Apple) и есть отдельное движение за децентрализованный инференс (как у криптовалют), у его апологетов я недавно брал интервью, но это уже совсем отдельная история.
Третья часть этого поста — про будущее.
Вчера OpenAI представила первый кастомный чип, который, якобы, на 50% оптимальнее для инференса, чем чипы от NVIDIA. Печатает их TSMC, проектирует Broadcom, стандартный комплект.
Энтузиаст недавно прошил microGPT прямо на FPGA. Это такие процессоры, логику работы которых можно поменять за несколько секунд-минут (перепрошить). У них относительная низкая тактовая частота (сотни и даже десятки мегагерц против гигарец современнных процессоров), зато если получится уложить весь алгоритм в «железную логику», то чип начинает выдавать готовый ответ на каждый такт, то есть миллионы раз в секунду. FPGA используют для обработки видео, сигналов, на ракетах и в радарах — в приложениях, где важна скорость и надежность. Есть много экспериментов, когда в них укладывали небольшие модели.
Компания TAALAS пошла дальше всех и разработала чип, который реализует Llama 3.1 8B прямо в кремние. Это приличная open source модель 2 летней давности, пусть и с небольшим контекстом (6 тысяч токенов против привычных сотен тысяч сегодня). Самая крутая ИИ-карта Nvidia B200 дает 353 токена в секунду на пользователя в этой модели, а аппаратная реализация TAALAS — 16 тысяч токенов в секунду. Попробовать самому можно на сайте chat jimmy. А теперь представьте, что это нормальная взрослая модель и используется для разработки софта. Дух захватывает.
P. S. Параллельно развиваются специализированные локальные модели, которые работают на компьютерах и телефонах пользователей (тут впереди всех Apple) и есть отдельное движение за децентрализованный инференс (как у криптовалют), у его апологетов я недавно брал интервью, но это уже совсем отдельная история.
Финальный эпизод 14 сезона подкаста «запуск завтра»! Говорим с Николаем Давыдовым об инвестициях в ИИ. Николай занимался ИИ ещё до того, как его стали так называть.
Достаточно ли добавить к названию проекта AI, чтобы получить инвестиции? Почему лучшая троица основателей стартапа — это индус, белорус и китаец? Какие для Николая есть красные флаги, а какой питч гарантирует интерес?
Разбираемся с профессионалом. А ещё это легкий и увлекательный разговор. Смотрите и слушайте:
https://youtu.be/0TQ2iuW20Ww
—
Так мы завершаем наш первый сезон в видео.
Аудио в подкасте можно собрать из супер коротких фрагментов речи. Буквально по словам, почти как в анекдоте «ты мне гамму спой, я дальше соберу». Хороший звукорежиссер сделает так, что монтаж будет практически незаметен.
В видео каждая склейка бросается в глаза, так что сложность производства в разы выше.
Горжусь командой подкаста: редакторами Машей Агличевой и Ритой Берденниковой, продюсерами Даней Астаповым и Ане Коваленко, монтажером Сергеем Христолюбовым. Спасибо Селектелу, который рискнул с нами вместе и оплатил этот банкет.
Спасибо вам, дорогие зрители и слушатели! Пожалуйста, пишите свои предложения в комментариях и приватно, можно через бота. Ещё мы подготовили традиционный опрос, там все структурировано и займет не больше 5 минут.
Ура!
Достаточно ли добавить к названию проекта AI, чтобы получить инвестиции? Почему лучшая троица основателей стартапа — это индус, белорус и китаец? Какие для Николая есть красные флаги, а какой питч гарантирует интерес?
Разбираемся с профессионалом. А ещё это легкий и увлекательный разговор. Смотрите и слушайте:
https://youtu.be/0TQ2iuW20Ww
—
Так мы завершаем наш первый сезон в видео.
Аудио в подкасте можно собрать из супер коротких фрагментов речи. Буквально по словам, почти как в анекдоте «ты мне гамму спой, я дальше соберу». Хороший звукорежиссер сделает так, что монтаж будет практически незаметен.
В видео каждая склейка бросается в глаза, так что сложность производства в разы выше.
Горжусь командой подкаста: редакторами Машей Агличевой и Ритой Берденниковой, продюсерами Даней Астаповым и Ане Коваленко, монтажером Сергеем Христолюбовым. Спасибо Селектелу, который рискнул с нами вместе и оплатил этот банкет.
Спасибо вам, дорогие зрители и слушатели! Пожалуйста, пишите свои предложения в комментариях и приватно, можно через бота. Ещё мы подготовили традиционный опрос, там все структурировано и займет не больше 5 минут.
Ура!
YouTube
Венчурные инвестиции в ИИ: Perplexity, Prisma и охота за единорогами | Николай Давыдов
Кажется, что сейчас деньги дают всем стратапам, у которых в питче есть слово AI. Правда ли это? Как устроены венчурные инвестиции в ИИ, почему одни стартапы становятся Perplexity, Prisma и единорогами, а другие исчезают, даже если у них сильная команда и…