как сейчас принято говорить, пу-пу-пу; подозреваю, что масштаб проблемы в разы больший; хотя рассчитано на самых ленивых ревьюверов, но я уже говорил, это труд неблагодарный, так что многие стремятся его спихнуть на LLM
😁17
Microsoft выкатили модель MAI-DxO (видео ее работы идет первым), внутри она собирает консилиум из агентов для принятия решения о постановке диагноза (вторая картинка); хочу обратить внимание на то, что они делают анализ затрат, а мы с коллегами проводили конкурс, где такая задача была поставлена (и даже решена!) для легочных заболеваний, еще три года назад; коллеги из Сеченовского университета этим продолжают заниматься, насколько я понимаю
👍10❤1
интересное происходит, Huawei опенсорснула свою PanGu, а почти сразу после этого появились непонятные люди, которые назвали себя HonestyAGI, и написали, что PanGu - это копия Qwen; сейчас репозиторий с кодом недоступен, я не догадался его сохранить для истории, так что есть только скрины из репорта
насколько эта история правдива, я не берусь сказать, какая-то она мутная: с одной стороны предположить, что Huawei взяли Qwen для тренировки своей модели - это очень похоже на правду, в конце концов у нас Яндекс и Т-банк так сделали; с другой стороны, принципиальным отличием является то, что Huawei позиционировала свою модель, как натренированную с нуля на своих процессорах, и этот релиз должен был стать их рекламой
в общем пиар не особо получился, по крайней мере за пределами Китая; хотя я не специалист по пиару, так что может все нормально: крупные компании много раз садились в лужу, но это не мешало им дальше существовать, достаточно вспомнить Tay от Microsoft
насколько эта история правдива, я не берусь сказать, какая-то она мутная: с одной стороны предположить, что Huawei взяли Qwen для тренировки своей модели - это очень похоже на правду, в конце концов у нас Яндекс и Т-банк так сделали; с другой стороны, принципиальным отличием является то, что Huawei позиционировала свою модель, как натренированную с нуля на своих процессорах, и этот релиз должен был стать их рекламой
в общем пиар не особо получился, по крайней мере за пределами Китая; хотя я не специалист по пиару, так что может все нормально: крупные компании много раз садились в лужу, но это не мешало им дальше существовать, достаточно вспомнить Tay от Microsoft
🤔4👍3💯3
тут пришло две связанных одной темой, но отличающихся последствиями новости: с одной стороны - в Мариинском театре состоялась премьера оперы, которая была дописана с участием ИИ; с другой - группу Velvet Sundown подозревают в том, что вся их музыка сгенерированная
так и хочется написать "два мира - два Шапиро", но это - мем времен раннего палеозоя, нынче такие не в моде, поэтому я ограничился заглавной картинкой
если серьезно, то на мой взгляд все сводится к давней мудрости "красота - в глазах смотрящего"; ИИ - это инструмент для человека (композитора в этом случае); если пользоваться аналогией с землекопанием, то сначала копали руками (ручкой на бумаге), потом стали лопатой (ПО), а сейчас появились экскаваторы (ИИ)
в конце концов, как мы знаем, между созданием ИИ и созданием музыки не такая большая разница
так и хочется написать "два мира - два Шапиро", но это - мем времен раннего палеозоя, нынче такие не в моде, поэтому я ограничился заглавной картинкой
если серьезно, то на мой взгляд все сводится к давней мудрости "красота - в глазах смотрящего"; ИИ - это инструмент для человека (композитора в этом случае); если пользоваться аналогией с землекопанием, то сначала копали руками (ручкой на бумаге), потом стали лопатой (ПО), а сейчас появились экскаваторы (ИИ)
в конце концов, как мы знаем, между созданием ИИ и созданием музыки не такая большая разница
👍13❤2
не успел отгреметь скандал с PanGu и Qwen; а уже подоспел новый: появился некий человек, который утверждает, что работает над PanGu в ужасных условиях (6 дней в неделю, отдельно от семьи в другом городе) - выдержка из его письма на первой картинке; для сравнения привел вторую картинку, которая описывает ситуацию в офисе xAI; противостояние в сфере ИИ не снижает накала
👀8👍2🤣2🎃2
сегодня вместо традиционного субботнего мема порекомендую отличный рассказ моей знакомой на актуальную тему "обучения ифритов для перевода со староиберийского на полихтонский"
🔥2👍1
сегодня второй выпуск подкаста "Капитанский мостик", он посвящен важным новостям прошедшей недели; делаем его я и Дмитрий Колодезев; видео тут:
VK Video
YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
VK Video
YouTube
присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai)
🔥5👌1
коллеги из Google выпустили статью с интересной идеей: вернуться к концепции encoder-decoder (недавно такую модель выпустил Microsoft); суть подхода изложена на первой картинке - берем готовую декодерную модель, в их случае Gemma, и инициализируем все веса декодировщика из нее, веса кодировщика также берутся из декодерной модели, кроме весов внимания, которое учится с нуля; в качестве преимущества подхода заявляется возможность создания несбалансированных моделей с большим кодировщиком и маленьким декодировщиком
на второй картинке представлены результаты; PT - это набор стандартных датасетов, типа SuperGLUE, а IT - инструкционных; и вот тут для меня начинаются проблемы - получается, что модель 9+2B хуже, чем обычная 9B; этот аспект авторы как-то обошли стороной (показал стрелочками); интересно, что на SuperGLUE этого эффекта не наблюдается (нижняя часть второй картинки)
@valuableai
на второй картинке представлены результаты; PT - это набор стандартных датасетов, типа SuperGLUE, а IT - инструкционных; и вот тут для меня начинаются проблемы - получается, что модель 9+2B хуже, чем обычная 9B; этот аспект авторы как-то обошли стороной (показал стрелочками); интересно, что на SuperGLUE этого эффекта не наблюдается (нижняя часть второй картинки)
@valuableai
🔥5🤔4
очень разумное высказывание от CEO Mistral Артура Менша: он сказал, что AGI - это чисто маркетинговый ярлык (тут я подпишусь), а также сказал, что единственная разумная метрика - это длительность агентного исполнения, то есть время, которое LLM может выполнять задачу без внешнего контроля; это определение агентности мне тоже импонирует; приятно видеть, что не только я выступаю против хайпа
@valuableai
@valuableai
🔥22👍13❤1
у меня для вас новый комикс: GPU Hammer
в этой работе коллеги обнаружили, что можно путем постоянного "дергания" GDDR добиться порчи памяти; под дерганием понимается, что происходят очень частые чтения и записи; засчет этого можно добиться того, что у соседнего приложения в памяти, которое работает на той же GPU, могут переключиться биты, что приведет к катастрофическому падению качества (вторая картинка)
понятно, что это лечится банальным контролем четности (ECC), но это приводит к замедлению до 10% при обращениях к памяти, а также к тому, что часть памяти будет отведена на контрольные биты, примерно 6%; из забавного, RTX 3080 этой атаке не поддалась
@valuableai
в этой работе коллеги обнаружили, что можно путем постоянного "дергания" GDDR добиться порчи памяти; под дерганием понимается, что происходят очень частые чтения и записи; засчет этого можно добиться того, что у соседнего приложения в памяти, которое работает на той же GPU, могут переключиться биты, что приведет к катастрофическому падению качества (вторая картинка)
понятно, что это лечится банальным контролем четности (ECC), но это приводит к замедлению до 10% при обращениях к памяти, а также к тому, что часть памяти будет отведена на контрольные биты, примерно 6%; из забавного, RTX 3080 этой атаке не поддалась
@valuableai
🔥3👍1
вышла интересная (философская) статья про исламскую этику для AI; казалось бы, зачем огород городить, разве этика не универсальна? но, как показывает практика, нет, и отличия могут быть существенными, о чем написаны, я думаю, кубометры литературы; в этой статье конкретно говорится о том, что этические предустановки могут быть разными, а именно отличными от предустановок западноевропейских (христианских?)
тут кстати высказаться на тему алаймента; (нужно оговориться, что есть два разных понятия, которые принято называть словом алаймент - 1) процесс дообучения, включающий в себя д. с учителем (SFT) и д. с подкреплением (RLxF), безотносительно его цели, и 2) цель дообучения в виде модели, которая "правильно" отвечает на вопросы; я сейчас про второе) так вот алаймент на мой взгляд уместно было бы называть катехизацией; катехизация - это обучение прежде всего детей основам христианского вероучения в виде вопросов и ответов; хотя в свете вышеизложенного термин может быть не самый удачный
@valuableai
тут кстати высказаться на тему алаймента; (нужно оговориться, что есть два разных понятия, которые принято называть словом алаймент - 1) процесс дообучения, включающий в себя д. с учителем (SFT) и д. с подкреплением (RLxF), безотносительно его цели, и 2) цель дообучения в виде модели, которая "правильно" отвечает на вопросы; я сейчас про второе) так вот алаймент на мой взгляд уместно было бы называть катехизацией; катехизация - это обучение прежде всего детей основам христианского вероучения в виде вопросов и ответов; хотя в свете вышеизложенного термин может быть не самый удачный
@valuableai
👍7❤2😁2🤔1
пишут, что теперь Gemini будет иметь доступ к истории переписки (например, в Telegram 😱) и истории звонков
это, кстати, не первый раз, многие уже забыли, почти ровно 8 лет назад был аналогичный скандал - Google использовал содержимое писем для персонализации рекламы; в тот раз под давлением общественности такая практика была (официально) прекращена, но в этот раз, думаю, не получится
я бы не стал говорить о какой-то особой зловредности Google в этой ситуации, все это на мой взгляд проявление того, что доступные данные закончились, теперь остались только те данные, которые были исключены ранее, например, по этическим соображениям
@valuableai
это, кстати, не первый раз, многие уже забыли, почти ровно 8 лет назад был аналогичный скандал - Google использовал содержимое писем для персонализации рекламы; в тот раз под давлением общественности такая практика была (официально) прекращена, но в этот раз, думаю, не получится
я бы не стал говорить о какой-то особой зловредности Google в этой ситуации, все это на мой взгляд проявление того, что доступные данные закончились, теперь остались только те данные, которые были исключены ранее, например, по этическим соображениям
@valuableai
💯4👎1
коллеги, уникальная возможность, мы сейчас в поисках человека к нам в команду, но - важно - вакансия в первую очередь не про текст, а про звук и картинки
вот тут полное описание вакансии, там же можно откликнуться или напрямую написать на почту нашему рекрутеру Алене: a.ostroushko@mts.ai
@valuableai
вот тут полное описание вакансии, там же можно откликнуться или напрямую написать на почту нашему рекрутеру Алене: a.ostroushko@mts.ai
@valuableai
🔥8❤1😱1