Data Secrets
77.3K subscribers
6.03K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Media is too big
VIEW IN TELEGRAM
«Я хочу себе частную LLM»: в сообществе внезапно завирусился момент из интервью Мэттью Макконахи

«Мне нужна частная LLM, содержащая только мои любимые книги, мои заметки и статьи. Чтобы я мог спросить у нее что-нибудь, и она отвечала, исходя исключительно из этой информации, без влияния внешнего мира. И по мере разговоров она бы узнавала обо мне еще больше»


Пост в X с цитатой залетел на миллионы просмотров, и мнения разделились максимально (кто бы подумал, что такое количество споров вызовет голивудский актер):

– Одни говорят, что такое уже давно есть и называется Notebook LM.

– Кто-то утверждает, что NotebookLM – совсем не то, а Мэттью озвучил идею, о которой они думали и мечтали годами.

– Третьи взывают к здравому смыслу и утверждают, что создать такую LLM технически невозможно, и Макконахи абсолютно не понимает, о чем говорит (откровенно говоря, он и не обязан).

Ближе всего к правде – последнее. Конечно, мы не знаем, что имел в виду актер. Может быть, NotebookLM и правда есть то, что он описывает.

Но если нет, то пока что такая сеть может существовать только в виде вашего собственного мозга. L в аббревиатуре LLM – это Large. Чтобы трансформер заговорил, ему нужны громадные объемы текста. Вряд ли у кого-либо найдется столько любимых книг, заметок и статей. Так что прости, Мэттью, такого еще не изобрели.

Чтобы быть царем зверей, мало вести себя по царски. Надо иметь собственную LLM 🚬
Please open Telegram to view this post
VIEW IN TELEGRAM
3😁32660🔥5516👍13🤔8👏44🤨2🐳1
OpenAI в ближайшие недели запустит несколько новых «ресурсоемких» продуктов

Об этом написал Альтман. Он сообщил, что на поддержку этих новинок потребуется много компьюта, так что изначально они будут доступны только в тарифе Pro или за отдельную плату.

Наша цель по-прежнему – максимально снижать стоимость ИИ и делать наши сервисы доступными для как можно большего числа людей, и мы уверены, что со временем этого добьемся.

В то же время мы хотим изучить, что возможно, если использовать большие объёмы вычислений по сегодняшним ценам на модели для реализации интересных новых идей.


SORA 2?
Новый Computer Use агент?
Моделька которая выиграла IMO и ICPC?

Ваши предположения?
👍5829🤔219😁8🕊3🔥1
Ученые из европейских университетов взяли трансформер и сделали из него симулятор здоровья, который может предсказывать болезни на 20 лет вперед

Наткнулись тут на крайне интересную статью в Nature. Исследователи рассказывают о своей модели Delphi-2M, которая берет медицинскую историю человека и учится предсказывать, что с ним будет дальше.

Очень похоже на LLM, только вместо токенов – состояния здоровья. Диагнозы, служебные токены вроде пола, BMI, курения и алкоголя, история лечения. В сумме в словаре 1258 состояния. И, ровно как и LLM, модель обучена по предыдущей последовательности предсказывать следующие токены: в этом случае, будущие болезни и смерть.

Немного изменен только лосс. Тут учитывается не только кросс-энтропия, но и Log-likelihood для предсказания времени до события. Обучали на огромном объеме данных: истории почти 403к человек из базы UK Biobank. Проверяли на 1.9 млн пациентов из Дании.

Что в итоге (напоминаем, что в модельке всего 2 миллиона параметров):

– ROC-AUC ≈ 0.76 в среднем по >1000 заболеваниям. То есть модель действительно неплохо понимает, у кого болезнь появится, а у кого нет. Это на горизонте 10 лет, дальше AUC чуть падает до 0.7.
– 97% диагнозов имеют AUC > 0.5 – адекватное покрытие.
– И главное: AUC = 0.97 для смерти. Это пока не черное зеркало, и точное время до смерти модель не определяет (ну, точнее, плохо). Но она почти идеально отделяет тех, кто умрёт в ближайшем будущем (несколько лет), от тех, кто не умрёт.

Метрики хорошие, но есть нюанс. Biobank – это в основном здоровые белые британцы 40–70 лет. И, естественно, модель такие перекосы тоже перенимает. Так что пока не универсально. Но подход занятный.
😁107👍794828🔥21👀5🤯42
Если вам в этот осенний понедельник требовалось профессиональное вдохновение, то вот оно: Джефф Дин отвечает на вопрос "Каково быть Сomputer Scientist"

Вот что ведущий ученый Google DeepMind и создатель MapReduce и TensorFlow написал в ответ на эмейл обычной школьницы, которая обратилась к нему просто в рамках учебного проекта:

Привет, Loa,
Я не знаю, в каком ты сейчас классе, но для моего ответа это не так важно. Мне безумно нравится быть Computer Scientist!

Написание ПО – это как постоянное решение головоломок, больших и маленьких, которые тебе нужно продумать и найти лучший способ решить. Твоя работа может использоваться сотнями, тысячами, миллионами или даже миллиардами людей и приносить им настоящую пользу (подумай обо всех крупных сервисах в интернете – от поиска, электронной почты и видеошеринга до карт, перевода и AI-систем).

Я работаю с потрясающими коллегами, они умны, проницательны, амбициозны и дружелюбны. Они постоянно учат меня чему-то новому. Кроме того, я могу работать из разных мест: чаще всего из офиса, иногда из дома, а иногда даже из уютного кафе.

Если тебе нравится математика, логика и поиск наилучших решений задач, тебе определённо стоит рассмотреть компьютерные науки как карьерный путь.


Учитель информатики, которого мы заслужили
2307👍54🔥22🦄10😍6😁5🤨3👌1🗿1
OpenAI заключили масштабное партнерство с Nvidia

Главное: Nvidia инвестирует в стартап 100 миллиардов долларов. Еще раз: 100 миллиардов долларов. Но не просто так, конечно, а железом.

Вместе они планируют построить датацентров как минимум на 10 гигаватт (соответсвенно расчет – 10 миллиардов на ГВт). Это миллионы GPU. В общем, Nvidia теперь полноценный стратегический поставщик вычислений для Альтмана.

Первый кластер на платформе NVIDIA Vera Rubin планируется запустить во второй половине 2026 года.

Буквально историческая сделка

openai.com/index/openai-nvidia-systems-partnership/
314471🤯20😁11🫡8👀64🔥2
Уровень веры в ИИ: Андрей Карпаты

«Каждый раз, когда кто-то делает фото или видео, и я случайно оказываюсь на заднем плане, я люблю помахать AGI, который увидит меня через 30 лет»


Когда у тебя уже не фотопленка, а датасет
1141😁43🔥29👍16🗿12🤯21👨‍💻1
Google выпустили инструмент "Learn Your Way". Это персонализированный репетитор, который поможет вам усвоить любую тему

Система считывает ваши увлечения, а затем любую тему объясняет так, чтобы вам было понятно и интересно. Например, если вы любите баскетбол и должны выучить законы Ньютона, то все примеры начинают строится вокруг бросков и дриблинга. Если вы художник и изучаете экономику, то всё сведется к галерейным аукционам и арт-рынкам.

Но на этом персонализация не заканчивается. Learn Your Way также умеет:

– Создавать майндмэпы, если вам удобнее воспринимать информацию визуально
– Генерировать аудиоуроки, если хотите слушать, а не читать
– Рисовать всякие интерактивные штуки (типа временных шкал, по которым можно тыкать)
Задавать вопросы и делать тесты, которые меняются в зависимости от того, что вы делаете неправильно

Внутри работает мультиагентная система LearnLM на базе Gemini 2.5 Pro. Даже есть специальный агент для рисования обучающих иллюстраций.

Тестировали систему на 60 чикагских студентах в возрасте от 15 до 18 лет. Им дали 40 минут на то, чтобы поизучать незнакомую им всем тему: одна группа просто читала PDFки, другая работала с LYW. Итог: через 5 дней те, кто работал с PDF, помнили материал на 67%, а те, кто учил с Learn Your Way – на 78%. Кроме того, 100% студентов, работавших с ИИ, чувствовали себя более комфортно и заинтересованно по ходу задания.

А еще систему по нескольким специальным критериям оценивали профессионалы из области образования. Получилась довольно положительная картина (скрин 2).

Тулза пока работает в режиме эксперимента, но попробовать уже можно тут. А вот здесь лежит статья

Резко захотелось поучиться
214937👍29❤‍🔥15🔥9🤔3😁1
Большая коалиция из 10 Нобелевских лауреатов, 70 компаний и бывших глав государств подписала требование о введении глобальных «красных линий» для ИИ

Об этом стало известно сегодня на заседании Генеральной Ассамблеи ООН. Всего требование подписало 200 человек: бизнесмены, политики, ученые. Среди них Джеффри Хинтон, Йошуа Бенджио и Войцех Заремба (соучредитель OpenAI).

Кратко о содержании:

– Подписанты требуют ввести международные юридически обязывающие «красные линии» для развития и применения ИИ. Это нужно, чтобы исключить глобальные риски для человечества: массовую безработицу, искусственные пандемии, нарушение прав человека и тд.

– Конкретный список таких «красных линий» не приведен, но предлагают, например, запрет на использование ИИ для производства оружия, организации массовых атак, несанкционированное реплицирование ИИ-систем (в том числе без участия человека) и все такое.

– Государства должны (в кавычках) договориться о таких правилах до конца 2026 года, а также нужно создать независимый международный орган для мониторинга соблюдения законов и оперативной оценки угроз.

Вот такой вот внушительный прецедент. На данный момент это самая крупная подобная петиция. Посмотрим, что выйдет.

https://red-lines.ai/
1😁12760🔥3322👍209🗿53🤔2🤯1
В честь сделки с Nvidia Альтман написал новое эссе под названием "Изобилие интеллекта"

Оно небольшое, поэтому прямо тут приведем перевод полностью с небольшими сокращениями:

Рост использования AI-сервисов поражает, и мы ожидаем, что в будущем он станет ещё более стремительным.

По мере того как ИИ становится умнее, доступ к нему может стать не только ключевым драйвером экономики, но и со временем – базовым правом человека. Почти каждый захочет, чтобы у него было больше ИИ, работающего на его благо.

Чтобы обеспечить миру необходимые мощности для инференса и обучения всё более совершенных моделей, мы закладываем фундамент для масштабного роста AI-инфраструктуры.

Если ИИ сохранит текущую траекторию развития, нас ждут невероятные возможности. Например, с 10 гигаваттами вычислительных мощностей ИИ может найти способ вылечить рак или создать персонализированное обучение для каждого ребёнка на Земле. Но если мощности будут ограничены, придётся выбирать, что важнее. Никто не хочет делать такой выбор – значит, нужно строить.

Наша цель проста: создать фабрику, которая сможет выпускать по гигаватту новых AI-мощностей каждую неделю. Это невероятно сложная задача, требующая инноваций на всех уровнях – от чипов и энергетики до строительства и робототехники. Мы уже активно работаем над этим и верим, что это возможно. В нашем понимании, это может стать самым важным инфраструктурным проектом в истории.

В ближайшие месяцы мы поделимся планами и расскажем о партнёрах, а позже о том, как будем финансировать проект. Ведь рост вычислительных мощностей – ключ к росту дохода, и у нас есть несколько нестандартных идей.


Про выбор между раком и образованием мысль интересная. Но главное, что мы извлекаем из текста: OpenAI собирается строить самый масштабный конвейер мощностей, какой только можно представить.

Как это будет выглядеть, пока не до конца понятно, но один гигаватт в неделю – это 52 гигаватта в год. А это значит, что примерно (расчеты на коленке) к 2035 ИИ будет потреблять уже столько же энергии, сколько потребляет вся Америка.

А – амбиции
913418😁14👍10🔥4
Новые модели Qwen: уровень GPT-5 и Grok 4 от китайцев

В этот раз лаборатория показала сразу несколько моделей:

Основная: Qwen3-Max, новый флагман лабы. Есть варианты Instruct (без ризонинга) и Thinking. Instruct перебивает на бенчах Claude Opus 4 Non-thinking. А вариант с ризонингом – вообще что-то: уровень GPT-5 и Grok4 Heavy на AIME25 (100%), HMMT25 (100%) и GPQA (85%). Весов пока нет, но в чате можно попробовать бесплатно.

Qwen3-VL – новая vision-language модель, которая опережает Gemini 2.5 Pro. Также есть варианты с ризонингом и без. Например, модель можно использовать как Computer Use агента или как Visual Coding агента (аля напиши сайт с дизайном, как на картинке). И, кстати, модель не супер массивная: MoE на 235В с 22 авктивными. Веса.

Обновленный Qwen3-Coder. Добавили мультимодальность + прокачали метрики. На SWE-Bench теперь выбивает почти 70% (это, опять же, примерно уровень Opus 4 и GPT-5).

Кажется, это R1-moment для Qwen. Все модели уже можно попробовать в чате chat.qwen.ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥19234👍2697❤‍🔥4😁3🤔2👌1🦄1😎1