не успел отгреметь скандал с PanGu и Qwen; а уже подоспел новый: появился некий человек, который утверждает, что работает над PanGu в ужасных условиях (6 дней в неделю, отдельно от семьи в другом городе) - выдержка из его письма на первой картинке; для сравнения привел вторую картинку, которая описывает ситуацию в офисе xAI; противостояние в сфере ИИ не снижает накала
👀8👍2🤣2🎃2
сегодня вместо традиционного субботнего мема порекомендую отличный рассказ моей знакомой на актуальную тему "обучения ифритов для перевода со староиберийского на полихтонский"
🔥2👍1
сегодня второй выпуск подкаста "Капитанский мостик", он посвящен важным новостям прошедшей недели; делаем его я и Дмитрий Колодезев; видео тут:
VK Video
YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
VK Video
YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
🔥5👌1
коллеги из Google выпустили статью с интересной идеей: вернуться к концепции encoder-decoder (недавно такую модель выпустил Microsoft); суть подхода изложена на первой картинке - берем готовую декодерную модель, в их случае Gemma, и инициализируем все веса декодировщика из нее, веса кодировщика также берутся из декодерной модели, кроме весов внимания, которое учится с нуля; в качестве преимущества подхода заявляется возможность создания несбалансированных моделей с большим кодировщиком и маленьким декодировщиком
на второй картинке представлены результаты; PT - это набор стандартных датасетов, типа SuperGLUE, а IT - инструкционных; и вот тут для меня начинаются проблемы - получается, что модель 9+2B хуже, чем обычная 9B; этот аспект авторы как-то обошли стороной (показал стрелочками); интересно, что на SuperGLUE этого эффекта не наблюдается (нижняя часть второй картинки)
@valuableai
на второй картинке представлены результаты; PT - это набор стандартных датасетов, типа SuperGLUE, а IT - инструкционных; и вот тут для меня начинаются проблемы - получается, что модель 9+2B хуже, чем обычная 9B; этот аспект авторы как-то обошли стороной (показал стрелочками); интересно, что на SuperGLUE этого эффекта не наблюдается (нижняя часть второй картинки)
@valuableai
🔥5🤔4
очень разумное высказывание от CEO Mistral Артура Менша: он сказал, что AGI - это чисто маркетинговый ярлык (тут я подпишусь), а также сказал, что единственная разумная метрика - это длительность агентного исполнения, то есть время, которое LLM может выполнять задачу без внешнего контроля; это определение агентности мне тоже импонирует; приятно видеть, что не только я выступаю против хайпа
@valuableai
@valuableai
🔥22👍13❤1
у меня для вас новый комикс: GPU Hammer
в этой работе коллеги обнаружили, что можно путем постоянного "дергания" GDDR добиться порчи памяти; под дерганием понимается, что происходят очень частые чтения и записи; засчет этого можно добиться того, что у соседнего приложения в памяти, которое работает на той же GPU, могут переключиться биты, что приведет к катастрофическому падению качества (вторая картинка)
понятно, что это лечится банальным контролем четности (ECC), но это приводит к замедлению до 10% при обращениях к памяти, а также к тому, что часть памяти будет отведена на контрольные биты, примерно 6%; из забавного, RTX 3080 этой атаке не поддалась
@valuableai
в этой работе коллеги обнаружили, что можно путем постоянного "дергания" GDDR добиться порчи памяти; под дерганием понимается, что происходят очень частые чтения и записи; засчет этого можно добиться того, что у соседнего приложения в памяти, которое работает на той же GPU, могут переключиться биты, что приведет к катастрофическому падению качества (вторая картинка)
понятно, что это лечится банальным контролем четности (ECC), но это приводит к замедлению до 10% при обращениях к памяти, а также к тому, что часть памяти будет отведена на контрольные биты, примерно 6%; из забавного, RTX 3080 этой атаке не поддалась
@valuableai
🔥3👍1
вышла интересная (философская) статья про исламскую этику для AI; казалось бы, зачем огород городить, разве этика не универсальна? но, как показывает практика, нет, и отличия могут быть существенными, о чем написаны, я думаю, кубометры литературы; в этой статье конкретно говорится о том, что этические предустановки могут быть разными, а именно отличными от предустановок западноевропейских (христианских?)
тут кстати высказаться на тему алаймента; (нужно оговориться, что есть два разных понятия, которые принято называть словом алаймент - 1) процесс дообучения, включающий в себя д. с учителем (SFT) и д. с подкреплением (RLxF), безотносительно его цели, и 2) цель дообучения в виде модели, которая "правильно" отвечает на вопросы; я сейчас про второе) так вот алаймент на мой взгляд уместно было бы называть катехизацией; катехизация - это обучение прежде всего детей основам христианского вероучения в виде вопросов и ответов; хотя в свете вышеизложенного термин может быть не самый удачный
@valuableai
тут кстати высказаться на тему алаймента; (нужно оговориться, что есть два разных понятия, которые принято называть словом алаймент - 1) процесс дообучения, включающий в себя д. с учителем (SFT) и д. с подкреплением (RLxF), безотносительно его цели, и 2) цель дообучения в виде модели, которая "правильно" отвечает на вопросы; я сейчас про второе) так вот алаймент на мой взгляд уместно было бы называть катехизацией; катехизация - это обучение прежде всего детей основам христианского вероучения в виде вопросов и ответов; хотя в свете вышеизложенного термин может быть не самый удачный
@valuableai
👍7❤2😁2🤔1
пишут, что теперь Gemini будет иметь доступ к истории переписки (например, в Telegram 😱) и истории звонков
это, кстати, не первый раз, многие уже забыли, почти ровно 8 лет назад был аналогичный скандал - Google использовал содержимое писем для персонализации рекламы; в тот раз под давлением общественности такая практика была (официально) прекращена, но в этот раз, думаю, не получится
я бы не стал говорить о какой-то особой зловредности Google в этой ситуации, все это на мой взгляд проявление того, что доступные данные закончились, теперь остались только те данные, которые были исключены ранее, например, по этическим соображениям
@valuableai
это, кстати, не первый раз, многие уже забыли, почти ровно 8 лет назад был аналогичный скандал - Google использовал содержимое писем для персонализации рекламы; в тот раз под давлением общественности такая практика была (официально) прекращена, но в этот раз, думаю, не получится
я бы не стал говорить о какой-то особой зловредности Google в этой ситуации, все это на мой взгляд проявление того, что доступные данные закончились, теперь остались только те данные, которые были исключены ранее, например, по этическим соображениям
@valuableai
💯4👎1
коллеги, уникальная возможность, мы сейчас в поисках человека к нам в команду, но - важно - вакансия в первую очередь не про текст, а про звук и картинки
вот тут полное описание вакансии, там же можно откликнуться или напрямую написать на почту нашему рекрутеру Алене: a.ostroushko@mts.ai
@valuableai
вот тут полное описание вакансии, там же можно откликнуться или напрямую написать на почту нашему рекрутеру Алене: a.ostroushko@mts.ai
@valuableai
🔥8❤1😱1
всем привет, сегодня третий выпуск подкаста "Капитанский мостик", он как всегда посвящен важным новостям прошедшей недели; ведем его уже традиционно я и Дмитрий Колодезев; видео тут:
VK Video
YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
@valuableai
VK Video
YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
@valuableai
🔥8
пришло вот такое сообщение:
ждем такое же у нас
@valuableai
14 июля робот успешно проехал по второй линии метро Шэньчжэня, самостоятельно загрузившись в поезд и доставив товары в магазины 7-Eleven, расположенные на станциях метро, без участия человека.
Используя системы планирования на базе искусственного интеллекта и многосенсорную навигацию, роботы могут планировать оптимальные маршруты доставки, избегать пешеходов и самостоятельно управлять посадкой в поезда и навигацией по станциям.
«Раньше магазины на станциях метро в основном полагались на наземный транспорт для пополнения запасов, часто сталкиваясь с такими проблемами, как пробки в часы пик и трудности с парковкой», — сказал Ли Яньнянь, управляющий магазином 7-Eleven на станции Ванься. «Если бы удалось полностью внедрить роботизированную доставку, это значительно помогло бы сократить расходы на доставку и потери времени».
ждем такое же у нас
@valuableai
🔥13
Андрей Карпаты выдал базу про промт-инженеров, которые теперь не промт, а вовсе даже контекст-инженеры (первая картинка); мое мнение, что перепридумывать название совершенно не обязательно: в конце концов бухгалтера нынче спокойно используют компьютеры вместо счетов, и ничего; но по сути замечание правильное, промт-инженеры, как профессия, эволюционировали, расширили свою область ответственности
в связи с вышеизложенным, хочу привести пример из статьи на Хабре, в которой архитектор-проектировщик говорит, что ИИ не может сейчас помочь в его профессии, т.к. для моделей очень мало данных, на которых учиться из конкретной задаче, и очень большое количество нормативных ограничений (вторая картинка); я же думаю, что можно положиться на перенос знаний из других областей, нужно только научиться правильно подавать данные в VLM - сами схемы, СНиПы, требования заказчика и т.д.; кстати, первый бенчмарк на понимание схем уже появился
@valuable
в связи с вышеизложенным, хочу привести пример из статьи на Хабре, в которой архитектор-проектировщик говорит, что ИИ не может сейчас помочь в его профессии, т.к. для моделей очень мало данных, на которых учиться из конкретной задаче, и очень большое количество нормативных ограничений (вторая картинка); я же думаю, что можно положиться на перенос знаний из других областей, нужно только научиться правильно подавать данные в VLM - сами схемы, СНиПы, требования заказчика и т.д.; кстати, первый бенчмарк на понимание схем уже появился
@valuable
👍9❤5🔥4