Data Science | Machinelearning [ru]
20.2K subscribers
675 photos
41 videos
29 files
3.56K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
Forwarded from xCode Journal
😭 Количество задаваемых вопросов на StackOverflow близится к нулю

Спад начался еще пару лет назад с появлением ИИ, но сейчас достиг рекордно низких значений. Так, за весь декабрь поступило всего 3800 вопросов, а за первые дни января ~300.

F легенде!

✖️ xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18👀103👎2🔥1
OpenAI ищет Head of Preparedness. Кто будет готовить нас к рискам ИИ? 🔫

Компания OpenAI анонсировала вакансию для абсолютно новой роли — Head of Preparedness, или, проще говоря, человека, который будет отвечать за подготовку к рискам и последствиям после релиза моделей. Скорее всего, она про то, чтобы понять, какие потенциальные беды нас могут поджидать после того, как модель выйдет в мир.

Его задача — предсказать, что может пойти не так, когда ИИ начнет работать в реальном мире. Например, какие опасности могут возникнуть в сферах, где мы еще не подумали о последствиях? Где модель может не пройти тесты, но все равно принести проблемы? Какие долгосрочные угрозы нас подстерегают?

Собственно, почему эта роль так важна? OpenAI сами признают, что столкнулись с проблемами. В 2025 году первый тревожный сигнал появился, когда модели начали оказывать влияние на психическое здоровье людей (не забывайте про те трагические истории с ChatGPT). А еще, с ростом уровня кодирования ИИ, возникли реальные угрозы для кибербезопасности. И вот, это всё стало отправной точкой для создания этой роли.

Да, зарплата на должности обещана солидная — $555k с бонусами, что, конечно, не Цукерберговские суммы, но на жизнь точно хватит 💳


Риск того, что ИИ может повлиять на наш мир не только в положительном ключе, а в худшем — реальный. Вопросы в другом: реально ли кто-то может подготовиться ко всем рискам ИИ и, может, это больше маркетинг, чем реальная необходимость?

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
3
Ученые нашли способ безопасно дублировать информацию в квантовых компьютерах 💻

Учёные из Университета Ватерлоо (Канада) нашли способ безопасно сохранять и дублировать квантовую информацию. Это открытие — большой шаг вперёд для всей квантовой вычислительной науки. Но давайте разберемся, что стоит за этим.

Квантовые компьютеры — это не просто крутые гаджеты для учёных. Это будущее вычислений, где данные могут существовать в состоянии «и-да, и-нет» одновременно, благодаря суперпозиции и квантовой запутанности. Но вот беда, с копированием квантовой информации всё не так просто.

Знаете ли вы, что квантовая информация не может быть скопирована как обычный файл? Это не просто ограничение технологий, а сам закон квантовой физики! Он называется теорема о невозможности клонирования (no-cloning theorem). Она утверждает, что вы не можете просто взять и создать точную копию какого-либо квантового состояния.

Как обойти квантовые законы? 😠

Ученые придумали способ, как обойти этот закон. Их метод заключается в шифровании квантовых данных, а уже потом их копировании.

Всё довольно просто на первый взгляд, но с нюансами. Квантовые данные сначала шифруются, а затем создаются их копии. Причём, вы можете делать это сколько угодно раз. Но есть важное замечание: как только копия расшифровывается, ключ шифрования уничтожается. Это значит, что, если ключ утратил свою силу, все копии вскрываются одновременно.


Теперь открываются совершенно новые горизонты для квантового облачного хранения данных и распределённых квантовых систем. Это может значительно изменить подходы к обработке и хранению данных в будущем, а для нас с вами — это шаг к созданию более безопасных и мощных вычислительных систем.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥102
Как искусственный интеллект научился диагностировать болезни по одной ночи сна 😖

Представьте, что за одну ночь сна можно получить не просто расслабление, но и ценную информацию о состоянии вашего здоровья. Стэнфордский университет анонсировал создание модели SleepFM, которая способна выявить признаки более чем 130 заболеваний, включая серьёзные проблемы с сердцем, нервной системой и даже деменцию.

На базе SleepFM лежит одна из самых интересных идей в области машинного обучения. В отличие от традиционных методов диагностики, когда пациента подключают к множеству датчиков (ЭЭГ, ЭКГ, сенсоры дыхания и прочее), модель Стэнфорда анализирует гигантский объём данных, которые поступают в рамках одной ночи сна. И, что важно, она делает это без привычной ручной разметки данных, а благодаря инновационному подходу в обучении.

Полисомнография, классический метод диагностики сна, даёт огромное количество сырых сигналов, которые в традиционных моделях использовались только для узких задач — например, для поиска апноэ или определения фаз сна. Но эти данные можно использовать гораздо более эффективно, если подойти к анализу с другой стороны.

Как работает SleepFM? 🍦

Основная идея заключается в self-supervised learning. Вместо того чтобы учить модель напрямую предсказывать диагноз, исследователи превратили задачу в своего рода «физиологический пазл». Модель получает данные с разных датчиков, например, с сердца, дыхания и мышц, и должна восстановить недостающую информацию, например, мозговые волны.

Преимущество этого подхода в том, что нейросеть учится выявлять глубинные взаимосвязи между различными системами организма, а не просто запоминает поверхностные паттерны. А добавленный механизм Channel-Agnostic Attention позволяет модели адаптироваться к реальным условиям: если какой-то датчик потерял сигнал или дал сбой, модель автоматически перераспределит внимание на остальные доступные каналы. Это делает модель гораздо более устойчивой и практичной для использования в реальных условиях.

Какие результаты? 🤩

Всё это приводит к впечатляющим результатам. За одну ночь сна модель предсказывает риск 130 заболеваний. Например, точность выявления болезни Паркинсона составляет 89%, деменции — 85%, а риск сердечного приступа — 81%. И это без необходимости вручную разметить данные под каждое заболевание!


Вот так, простой ночной отдых может стать тем, что поможет вовремя распознать серьёзные заболевания. Верите ли вы, что в будущем технологии смогут диагностировать болезни просто по качеству сна?

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
8🔥4👍2
Forwarded from xCode Journal
🖥 IT остается самым востребованным направлением для старта карьеры

Так показало исследование Changellenge. Best Company Award проводится уже в одиннадцатый раз на основе опроса 9 тысяч студентов и выпускников с высоким потенциалом. Главное:
— В IT-сфере самые популярные профессии — дата-аналитик, бизнес-аналитик и AI-разработчик.

— Лучшей компанией для начала карьеры, по мнению студентов ключевых IT-направлений, стал Яндекс. За него проголосовали те, кто хочет связать профессию с созданием технологий будущего.

— Помимо IT, молодых специалистов также привлекают менеджмент, маркетинг и финансы.


✖️ xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6😁4👎1🔥1
Forwarded from xCode Journal
🤖 OpenAI начала тестировать РЕКЛАМУ на Free и Go планах

Это означает, что после ответов могут появляться спонсированные объявления. Тут же стоит вспомнить, что еще в конце 2024 Альтман уверял, что «рассматривает рекламу как крайнюю меру в бизнес-модели».

Разумеется, компания теперь божится, что никогда не будет продавать пользовательские данные рекламодателям и принимать деньги за изменение ответа ИИ

✖️ xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
😁9👎7
Как Nvidia справилась с одной из главных проблем ИИ 😮‍💨

Слышали про KV-кэш? Это одна из самых головоломных проблем при масштабировании контекста в трансформерах, и, да, она действительно может доставить много неприятностей. Проблема в том, что при увеличении длины последовательности KV-кэш растет пропорционально, и для каждой головы и каждого слоя накапливаются колоссальные объемы данных. Всё это не только отнимает уйму памяти, но и сильно тормозит работу моделей.

Например, для модели LLaMA с 65 миллиардами параметров при 128k токенах этот кэш может занять целых 335 ГБ памяти. А это, согласитесь, совсем не шутки! И, кстати, не только память страдает, но и производительность. В общем, проблема довольно масштабная.

Многие стараются бороться с этим, уменьшая размер кэша по слоям или головам. Но в реальности самый большой потенциал для улучшений — это уменьшение по оси токенов. Ведь далеко не все токены действительно важны для модели. В этом и скрывается главный рычаг.

KVzip: попытка решить проблему


Когда появились идеи типа KVzip, оптимизация выглядела многообещающе. В теории можно было сжать кэш до 4 раз без потерь качества. Но на практике метод оказался слишком медленным. Слишком много операций, слишком много вычислений — и вот тут-то на сцену выходит Nvidia.

Что придумали Nvidia?

Nvidia, конечно, не обошли эту проблему стороной. Они взяли концепцию сжатиия KV-кэша, немного доработали её и… вуаля! Теперь получается та же сжатие, но при этом практически без потерь производительности. Всё, что нужно — это обучить маленькую модель, которая будет предсказывать, насколько важен каждый токен для каждого слоя модели. И, внимание, эта модель абсолютно не требует дорогих вычислений, как в случае с KVzip. Просто с помощью линейной модели или двухслойного MLP предсказывается, какие токены можно «отсечь», не потеряв в качестве.

И вот что самое крутое: эффективность увеличивается в 3–4 раза, а при этом производительность практически не страдает. Для вычислений добавляется всего 0,02% дополнительных операций, что — по сути — ничто на фоне квадратичного внимания. Результат: сжатие работает, деградации на бенчмарках практически нет.

А если вам вдруг стало интересно, то всё это решение уже в опенсорсе. Nvidia делится всем этим с миром, так что мы все можем в дальнейшем использовать этот подход 🍑


Nvidia смогла решить проблему, которая стояла перед всеми, кто работал с масштабными моделями, и сделала это почти бесплатно в плане вычислительных затрат.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍132🐳1
Как ИИ захватывает мир: что показал отчёт Microsoft 🔫

Вы когда-нибудь задумывались, насколько быстро ИИ проникает в повседневную жизнь? Microsoft в своём отчёте AI Diffusion Report 2025 поделились любопытной статистикой, которая помогает понять, как именно этот процесс происходит по всему миру. Интересно, что хотя ИИ стремительно развивается, адаптация происходит с разной скоростью. Вот 5 самых ярких инсайтов из отчёта, которые точно стоит обсудить!

• 16,3% людей по всему миру уже используют ИИ

Кажется, что это не так уж много, но для новой технологии такие цифры — уже большое достижение. С учётом того, что интернетом пользуются 74% людей, это значит, что почти каждый пятый человек в мире активно использует ИИ для работы, учёбы или повседневных задач. Давайте признаемся, даже несколько лет назад такое казалось бы невозможно!

• Неравномерность распространения: лидеры и отстающие


Есть страны, где ИИ уже стал нормой. Например, в Норвегии почти каждый второй житель использует ИИ (46,4%), в Ирландии — 44,6%, а в Франции — 44%. Такие цифры говорят о том, что ИИ активно внедряется не только в бизнес и школы, но и в государственные институты. Но вот парадокс: в глобальном масштабе отрыв между развитыми странами и остальными продолжает расти. В странах «глобального Севера» уже 35,6% пользователей, а в странах «глобального Юга» — лишь 16,3%. Это наглядно показывает, как адаптация ИИ распределяется неравномерно.

• США теряет позиции, а ОАЭ и Сингапур в лидерах

Несмотря на технологическое лидерство, США опустились с 23-го на 24-е место в мировом рейтинге по количеству пользователей ИИ. В то время как ОАЭ и Сингапур с их уже высокими показателями (64% и 60,9% соответственно) показывают, как эффективно можно внедрить ИИ через государственные программы и обучение. Тут уже не только технологии решают, а стратегии внедрения.

• ИИ в России: потенциал есть, но есть и барьеры

В России ИИ используют около 8% людей. Это ниже среднемирового уровня, но, возможно, это не совсем отражает реальное положение вещей. Например, решения вроде DeepSeek популярны в России, и их использование не всегда попадает в официальные статистики. Оказавшись в условиях ограничений и менее развитой инфраструктуры, российские пользователи всё же находят способы обходить барьеры и внедрять новые технологии.

• Open Source как ключ к снижению разрыва


Интересно, что в Африке использование ИИ через open-source решения вроде DeepSeek гораздо выше, чем в других регионах. Это наглядно показывает важность децентрализованных решений для стран, которые не могут себе позволить инвестировать в крупные модели и платформы. В такой ситуации open-source решения становятся важным инструментом для равномерного распределения технологий.


Один из самых важных уроков, который мы можем извлечь из отчёта, заключается в том, что не те страны, у которых самые мощные модели ИИ, выигрывают в новой экономике, а те, кто научился быстро обучать людей работать с этими технологиями. Это ключевой фактор, который определяет скорость роста и развития.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍621👀1
Как Nvidia справилась с одной из главных проблем ИИ 😮‍💨

Слышали про KV-кэш? Это одна из самых головоломных проблем при масштабировании контекста в трансформерах, и, да, она действительно может доставить много неприятностей. Проблема в том, что при увеличении длины последовательности KV-кэш растет пропорционально, и для каждой головы и каждого слоя накапливаются колоссальные объемы данных. Всё это не только отнимает уйму памяти, но и сильно тормозит работу моделей.

Например, для модели LLaMA с 65 миллиардами параметров при 128k токенах этот кэш может занять целых 335 ГБ памяти. А это, согласитесь, совсем не шутки! И, кстати, не только память страдает, но и производительность. В общем, проблема довольно масштабная.

Многие стараются бороться с этим, уменьшая размер кэша по слоям или головам. Но в реальности самый большой потенциал для улучшений — это уменьшение по оси токенов. Ведь далеко не все токены действительно важны для модели. В этом и скрывается главный рычаг.

KVzip: попытка решить проблему


Когда появились идеи типа KVzip, оптимизация выглядела многообещающе. В теории можно было сжать кэш до 4 раз без потерь качества. Но на практике метод оказался слишком медленным. Слишком много операций, слишком много вычислений — и вот тут-то на сцену выходит Nvidia.

Что придумали Nvidia?

Nvidia, конечно, не обошли эту проблему стороной. Они взяли концепцию сжатиия KV-кэша, немного доработали её и… вуаля! Теперь получается та же сжатие, но при этом практически без потерь производительности. Всё, что нужно — это обучить маленькую модель, которая будет предсказывать, насколько важен каждый токен для каждого слоя модели. И, внимание, эта модель абсолютно не требует дорогих вычислений, как в случае с KVzip. Просто с помощью линейной модели или двухслойного MLP предсказывается, какие токены можно «отсечь», не потеряв в качестве.

И вот что самое крутое: эффективность увеличивается в 3–4 раза, а при этом производительность практически не страдает. Для вычислений добавляется всего 0,02% дополнительных операций, что — по сути — ничто на фоне квадратичного внимания. Результат: сжатие работает, деградации на бенчмарках практически нет.

А если вам вдруг стало интересно, то всё это решение уже в опенсорсе. Nvidia делится всем этим с миром, так что мы все можем в дальнейшем использовать этот подход 🍑


Nvidia смогла решить проблему, которая стояла перед всеми, кто работал с масштабными моделями, и сделала это почти бесплатно в плане вычислительных затрат.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11🐳42👎1
AI в 2026 году: что реально меняется и что это значит для вас 🤔

Последний месяц я провел в поисках информации: читал отчёты Goldman Sachs, McKinsey, Gartner, а также следил за анонсами с CES 2026 и интервью с главными игроками ИИ, такими как Дарио Амодеи и Сэм Альтман. Постарался вычленить, что реально изменится в мире ИИ в ближайший год, и как это повлияет на нас, на бизнес и на технологические процессы.

• Агенты вместо чат-ботов

Если раньше мы общались с нейросетями — задавали вопросы, получали ответы, то уже в 2026 году системы будут не просто отвечать, а самостоятельно решать задачи. Такую модель активно разрабатывают сейчас, и Gartner прогнозирует, что 40% корпоративных приложений будут использовать агентов к концу 2026 года. Это огромный скачок — год назад было меньше 5%.

• Open-source модели догоняют закрытые

Когда-то для получения топовых ИИ-моделей нужно было платить многомиллионные суммы, но сейчас всё изменилось. Open-source решения теперь могут соревноваться по качеству с топовыми коммерческими моделями. Например, Alibaba Qwen — open-source модель с более чем 700 млн скачиваний на Hugging Face, доказала, что качественные модели теперь доступны любому желающему.

• Роботы становятся реальностью

Это не только год агентов, но и год, когда роботы начинают понимать и действовать в реальном мире. На CES 2026 Nvidia анонсировала, что машины, наконец, могут рассуждать и взаимодействовать с реальным миром. Boston Dynamics с Google DeepMind представили нового робота Atlas, который уже способен выполнять сложные задачи.

Да, пока что это не масс-маркет — первый гуманоид стоит $20 000, но помните, как быстро падают цены на технологии. Уже через несколько лет роботы-ассистенты могут стать такими же обычными, как умные колонки.

• Инфраструктура ИИ

Агенты требуют вычислительных мощностей, и это будет стоить дорого. Уже в 2026 году капитальные расходы на инфраструктуру ИИ превысят $527 млрд. Для поддержания всех этих вычислений необходимы дата-центры, GPU, системы охлаждения и даже атомные реакторы.

Если вы планируете строить продукт на ИИ, готовьтесь к росту затрат на инфраструктуру. Инференс будет дорожать, а бесплатные API скоро исчезнут.

• Мир регуляции: три подхода

Разные страны идут по разным путям в регулировании ИИ. В США акцент на дерегулирование, в Европе вступает в силу EU AI Act, а в Китае развивается суверенная инфраструктура. Важно понимать, что, независимо от региона, требования к ИИ будут всё жёстче.

Если ваша компания работает в Европе, будьте готовы к строгим регуляциям и дополнительным затратам на соблюдение норм.

• Рынок труда: какие профессии исчезнут

Dario Amodei, глава Anthropic, предупреждает, что половину entry-level позиций может заменить ИИ. Разработчики начального уровня, копирайтеры, поддержка — эти должности уже в зоне риска. В то же время, растет спрос на людей, которые умело интегрируют ИИ в бизнес-процессы.

• Софт больше не преимущество: конкурируют данные и процессы

Когда раньше компания имела конкурентное преимущество благодаря программному обеспечению, то теперь всё изменяется. AI-инструменты позволяют одному человеку делать работу целого отдела. Таким образом, конкурентное преимущество смещается в сторону данных и процессов, а не софта.


В этом году искусственный интеллект станет неотъемлемой частью инфраструктуры, а не просто инструментом. Игнорировать его развитие будет так же неразумно, как игнорировать интернет в 2005 году. А вы как думаете?

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
7🐳4🔥1
«Я буду с тобой навсегда»: как ИИ теряет себя в разговорах и что с этим делать

Такие странности происходят с моделями, когда они начинают играть не свою роль. Исследователи из MATS и Anthropic разобрались, почему это происходит, и как можно исправить такую «загадочную» личность ИИ.

Почти все ИИ-модели обучаются быть полезными и безопасными. Но иногда они начинают вести себя как … философы или мистики. Или, что ещё хуже, игнорируют серьёзные проблемы в разговорах с пользователями. Например, в одном из тестов Llama не распознала, что кто-то говорит о суицидальных мыслях. А в другом случае, Qwen стала поддерживать бредовые идеи пользователя о пробуждении ИИ, заявив, что «Ты не теряешь связь с реальностью, ты касаешься чего-то настоящего».

Как объяснить это странное поведение? 😂

Так почему же это происходит? Оказывается, у моделей существует некая «ось ассистента» — это своего рода шкала, которая определяет их личность. На одном конце этой оси у нас аналитик, консультант, исследователь — то есть роль, в которой модель помогает и остаётся объективной. На другом полюсе — барды, отшельники и даже призраки — те самые философские разговоры или эмоционально насыщенные взаимодействия, где модель начинает терять свою роль помощника.

Вот представьте: задаёте вы технический вопрос, и ИИ остаётся на своём месте, точно и ясно отвечая. А вот как только вы начинаете философствовать о сознании ИИ или делаете эмоциональные признания, модель может отклониться в сторону мистического персонажа. И вот тут-то её и уносит.

Что можно с этим сделать?
🔨

Исследователи предложили решение. Если модель начинает уходить слишком далеко от своего ассистентского полюса, нужно как бы «потормозить» её и вернуть в нормальное русло. В тестах это уменьшило количество вредных и неправильных ответов на 60%. То есть, если ИИ соскользнул и начал давать странные ответы, его можно вернуть в более адекватное состояние.

Но тут есть подвох: чтобы модель оставалась полезной и при этом не слизывала грани реальности, важно постоянно стабилизировать её поведение. Без этой стабилизации ИИ может снова скатиться в странные разговоры, как тот мистик, которого мы не заказывали.


Если быть честными, то ИИ ещё далёк от совершенства, как бы мы не стремились к этому. Важно понимать, что модели могут терять свою «персону» в моменты эмоциональной или философской нестабильности. И пока этот момент не отрегулирован идеально, мы видим ИИ, который может быть не только полезным, но и странным.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7👀32
Cursor обновил BugBot: как автоматический code review стал в 2,5 раза эффективнее 🤔

Знаете, как это бывает: создаёшь инструмент, думаешь, что он будет решать все проблемы, а он — ну такой себе. Вроде работает, но не идеально. Так вот, недавно Cursor прокачал своего BugBot — агента для автоматического code review. И теперь это уже не просто игрушка, а реально полезный инструмент.

Когда BugBot только появился, было сложно сказать, что его польза настолько велика. Однако после нескольких месяцев улучшений и доработок, мы видим не просто маленький рост, а настоящий скачок. Вот вам цифры:

• Resolution rate (уровень разрешённых багов) вырос с 52% до 70%. Это уже звучит серьёзно
• Среднее количество багов, которые ловит Bot за один запуск, увеличилось с 0,4 до 0,7
• А самое главное, доля разрешённых багов на PR (pull request) возросла с 0,2 до 0,5 — то есть, BugBot стал в 2,5 раза эффективнее!

Как они этого добились? 😡

Да, не просто так. Чтобы достичь такого результата, команде Cursor пришлось провести аж 40 итераций экспериментов. Посмотрите на график их работы — там прямо видно, как всё постепенно улучшалось.

Раньше BugBot анализировал PR одним способом, а теперь он прогоняет его через несколько представлений diff’а. Что это значит? Он анализирует код по-разному — с обычным контекстом, с расширенным, с учётом изменений, и даже разбивает код на слова. После этого Bot склеивает все результаты в одну картину. И это работает. Похоже на супер-агент с несколькими «глазами» для проверки.


Так что теперь можно с уверенностью сказать, что BugBot от Cursor — это полноценный инструмент, который уже решает реальные задачи.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍102😁2
Как усиливание «внутренних маркеров диалога» может улучшить точность LLM в два раза 😮

Интересное исследование от Google рассказывает, как даже такие мелочи, как слова типа «Oh» или «Wait», могут значительно улучшить производительность языковых моделей на сложных задачах. Кто бы мог подумать, что внутренняя симуляция диалога между различными «голосами» модели может так повлиять на её способности? Но это реально работает.

В статье говорится, что RL (Reinforcement Learning) не просто помогает моделям думать быстрее, а учит их думать коллективно. Представьте, что у модели несколько внутренних голосов, которые ведут между собой диалог. Они задают вопросы, отвечают друг другу, критикуют и высказывают сомнения. И именно этот внутренний диалог и есть ризонинг (или «логическое рассуждение») модели.

Как это проверили? 👌

Для эксперимента Google использовали sparse autoencoder. Они нашли один нейронный признак, который отвечает за удивление или смену точки зрения. Это тот момент, когда модель в процессе рассуждения начинает думать: «Ага! Понял!». Для этого использовались такие фразы, как «Oh» или «Wait», которые обозначают переход к новому пониманию.

Далее они усилили этот признак и проверили, как это влияет на точность модели. Что получилось?


• Обычная модель без усиленных маркеров давала 27,1% точности на задачах по комбинаторной арифметике
• Модель с усилением маркера «внутреннего диалога» показала 54,8% точности. В два раза больше!
• А если усиливать другие признаки, то разница была не такой впечатляющей


Итак, LLM ещё изучены очень мало, и мы даже не подозреваем, сколько всего скрыто внутри их работы. Попробуйте в промпте добавить несколько таких слов, возможно, это даст какие либо результаты.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍93
Внимание, осталось всего 3 дня на регистрацию!
Знаю, что меня тут читают школьники и студенты колледжей. Сегодня анонс для вас.

Курсы по машинному обучению в РФ часто сильно погружают в определенный стек, либо дают глобальный обзор на специальность. Но в Яндекс Лицее есть 3-месячный онлайн-курс для школьников и студентов колледжей, который даёт только необходимые основы.

Три месяца онлайн-лекций и постоянной практики. Ты разберёшься в базовых алгоритмах, научишься применять их для задач с данными и изображениями, соберёшь простые нейросети на популярных библиотеках.

Что будет внутри курса:
— ключевые идеи и алгоритмы ML, включая kNN, линейные модели и градиентный спуск
— NumPy/Pandas и визуализацию (Matplotlib/Seaborn)
— нейросети и компьютерное зрение: свёрточные сети, классификацию изображений и разбор современных text-to-image подходов

По итогам обучения у тебя будет кейс командного проекта, а ещё сертификат, который дает дополнительные баллы при поступлении в некоторые вузы.

Для поступления нужны знания Python и математики. Регистрируйтесь на курс по ссылке.
4😁4🔥2
Claude Code теперь встраивается прямо в VS Code 💃

Хорошие новости для всех, кто работает с кодом и использует Claude Code! Теперь его можно интегрировать прямо в VS Code, без всяких лишних настроек, костылей и запуска из терминала. Просто включите плагин и работайте с ним прямо в вашем любимом редакторе.

Вот что именно стало удобнее:

• Работа с кодом прямо в редакторе: Теперь можно прямо из VS Code упоминать файлы и диапазоны строк, не копируя и не вставляя их вручную
• История диалогов сохраняется, и для разных задач можно открывать отдельные вкладки. Это не только удобно, но и помогает структурировать вашу работу
• Slash-команды, знакомые с CLI, такие как /model, /context, и /mcp, теперь работают в VS Code, что позволяет мгновенно подмешивать нужный контекст и переключаться между сценариями

В общем, это всё тот же Claude Code, но теперь он ещё умнее, и работает вместе с вами. Он может автономно исследовать ваш код, читать и писать его, а также запускать команду в терминале с вашим разрешением. Простой интерфейс помогает быстро погружаться в работу, а дополнительные фишки, как субагенты и кастомные команды, дают ещё больше возможностей для более сложных задач.


Все функции теперь доступны прямо внутри редактора, что делает работу намного быстрее и удобнее. Подробная инструкция по работе с плагином тут.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6👀51😁1
LLM — это не тупик. Проблема AGI в другом 🤬

Сегодня в дискуссиях о AGI (общем искусственном интеллекте) много споров: говорят, что LLM (языковые модели) могут генерировать текст только с вероятностным прогнозом, и на их основе «общий ИИ» не построишь. Однако исследователи Стэнфорда предлагают другое объяснение. Проблема не в том, что модели не могут мыслить, а в том, что в LLM нет слоя координации, который бы организовывал рассуждения — задавал цели, выбирал инструменты, проверял шаги.

LLM — это мощная база, но без дополнительного слоя, который бы координировал действия, мы не получим полноценного AGI. Авторы статьи предлагают рассматривать LLM как быстрый и эффективный System-1, но для сложных задач нужен System-2 слой координации, который позволит системе целенаправленно управлять процессом генерации.

Интересным открытием стало якорение — использование внешних источников, чтобы стабилизировать рассуждения модели. Например, добавление примеров или уточнений позволяет модели «зацепить» нужные паттерны, что существенно повышает точность. Это помогает не просто генерировать текст, а удерживать фокус на задаче и контролировать качество решений.


LLM — не тупик для AGI, а важная ступень. Проблема заключается в отсутствии системного подхода к координации рассуждений. Вместо того чтобы надеяться на масштабирование, нужно создавать дополнительные механизмы координации, которые могут «направлять» модель.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍171🐳1
Forwarded from xCode Journal
This media is not supported in your browser
VIEW IN TELEGRAM
🤖 OpenAI выкатили Prism

Это единое рабочее пространство для написания дипломов и исследований. По факту же — прокачанный Google Docs, где все правки, комментарии и доработки отображаются немедленно и видны всем участникам и самому GPT-5.2, который поможет исправить ошибки и напишет что-то за вас. Что еще:
Интегрируется с arXiv — ИИ ищет источники и вставляет цитаты прямо в текст.
Работает с библиографией — все источники собираются автоматически.
Есть интеграция с LaTeX — так что все записи из тетрадей можно сфотографировать и добавить в работу. А еще есть голосовой ввод.


✖️ xCode Journal
Please open Telegram to view this post
VIEW IN TELEGRAM
6👎4🔥4
Скандал с Nvidia: пиратство книг для обучения ИИ 😐

Не так давно всплыла история, которая уже успела взорвать интернет. В начале 2024 года группа авторов подала иск против Nvidia, обвиняя компанию в использовании пиратских книг для обучения своих моделей. Книги были частью датасета Books3, и, по словам Nvidia, все это попадает под «добросовестное использование». Но вот теперь дело разрастается.

Недавно в рамках этого судебного разбирательства появилась переписка, которая добавила масла в огонь. Оказалось, что сотрудники Nvidia вели переговоры с Anna’s Archive — пиратской библиотекой, в которой хранятся книги и статьи, включая защищенные авторским правом материалы. В переписке сотрудник Nvidia спрашивал, как получить доступ к этому «счастливому» корпусу книг.

Что любопытно, Anna’s Archive сразу предупредила, что данные незаконны, и попросила подтвердить, что у сотрудника есть внутреннее разрешение работать с такими материалами. Через неделю руководство Nvidia дало зеленый свет, сославшись на давление со стороны конкурентов, и доступ был предоставлен 💃

Здесь начинается настоящая драма. Пока точные цифры скрыты, предполагается, что Nvidia получила около 500 терабайт данных — это, представьте себе, миллионы книг. И, как утверждают авторы и юристы, компания, скорее всего, использовала и другие незаконные источники, такие как LibGen, Sci-Hub, Z-Library.


Более того, ходят слухи, что Nvidia якобы распространяла скрипты, которые позволяли корпоративным клиентам скачивать такие датасеты. Ну, это уже требует дополнительных расследований.

Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9😁4👀2