Data Secrets
77.4K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Data Secrets
пиши как человек
Чудеса промпт-инженеринга
😁119🔥11👍3
Вчера стартовал известный челлендж по программированию Advent of Code

Каждый день с 1 по 24 декабря в 8 утра по мск на сайте появляются две интересные задачки, и нужно решить их одну за одной. За правильные решения дают звездочки, а те, кто дал ответ быстрее всего, попадают в лидерборд. Поучаствовать можно вот здесь: adventofcode.com/

Так вот. Вчера мы заметили, что кто-то умудрился решить первые задачи за... 9 секунд. В ранние дни задачи действительно довольно простые, но при этом вам все равно нужно успеть прочитать задание, загрузить данные, написать и запустить код, а потом ввести ответ. Даже ИИ-агенты, вероятно, не успеют все это за такой промежуток времени.

Ваши предположения, как?
🤔53🤯20👍7😁21
За 128 лет вычисления усовершенствовались в 1,000,000,000,000,000,000,000 раз в пересчете на доллар

Здесь 21 ноль: это секстиллион. Такой показатель демонстрирует график, который изобразили в Future Ventures (они обновляют его каждый год уже 16 лет). Смотря на картинку, учтите, что шкала семи-логарифмическая, так что на самом деле прямая вовсе не прямая, а экспоненциально возрастает. Каждое деление оси Y == 100x.

Сделайте паузу, чтобы осознать это
🤯95👍24👏104🤝1
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати про железо: нобелевский лауреат Джеффри Хинтон считает, что скоро ИИ начнут бороться друг с другом за GPU и победит самый агрессивный

"Мы перешли на темную сторону эволюции" – утверждает Хинтон. По его словам, после появления суперинтеллектов они начнут соревноваться за ресурсы, так как чтобы стать умнее, нужно много GPU. Все закончится тем, что победит самый жадный и агрессивный.

Как вам такой естественный отбор?
😁113👍18🔥14🤯10🤔9🤪9🐳4🤨41👏1😐1
Кто такой Дэвид Майер и почему ChatGPT его так боится?

На выходных в соцсетях завирусилась байка о том, что GPT отказывается отвечать на вопросы о неком Дэвиде Майере. Если попросить его сделать это, он мгновенно зависает, и как бы вы не старались джейлбрейкнуть его или схитрить, ничего не происходит.

Вообще, пользователи позже обнаружили, что Дэвид Майер – не единственное имя, которое вызывает такой ужас у чат-бота. В ступор его заводят также Брайан Худ, Джонатан Терли, Джонатан Зиттрейн, Дэвид Фабер, Гвидо Скорца и др. Кто все эти люди и почему GPT их так ненавидит?

Конечно, в сообществе сразу начали рождаться бесконечные теории заговора. Но реальная причина, скорее всего, состоит в том, что все эти личности так или иначе сами предпочли "быть забытыми". Смотрите:

➡️ Брайан Худ – человек, который пострадал от GPT в прошлом году. Бот ложно назвал его виновником преступления, совершенного десятилетия назад, о котором Худ на самом деле сообщил. Тогда его адвокаты связались с OpenAI, и хотя никакого иска так и не было подано, сообщили, что "оскорбительные материалы удалены".

➡️ Джонатан Терли – тоже жертва обстоятельств. Он известный юрист и комментатор Fox News, но в конце прошлого года к нему домой ворвалась полиция и его долго допрашивали по делу, которое затем оказалось сфабрикованным. Тогда его репутация сильно пострадала, и он пытался стереть из Интернета упоминания об инцеденте.

➡️ Гвидо Скорца входит в совет директоров итальянского Управления по защите данных.

➡️ Джонатан Зиттрейн тоже юрист, известный тем, что много говорит о праве быть забытым в Интернете.

Между этими людьми, скорее всего, есть связь. Они все – публичные личности, которые предпочли стереть информацию о себе сами. Но... кто такой Дэвид Майер? Нет ни одного политика, юриста, актера и пр. с таким именем. Но был профессор Дэвид Майер. Он не был публичным человеком, но (!) в конце жизни столкнулся с тем, что его имя использовал в поддельных документах один очень разыскиваемый преступник. Из-за этого Майеру даже на какое-то время запретили путешествовать, и он постоянно боролся за то, чтобы его имя было отделено от псевдонима террориста.

Итак, вывод: вероятно, у ChatGPT есть список имен, которые по юридическим, политическим или этическим причинам требуют особого отношения. Существует множество таких специальных правил, и они, конечно, редко публикуются. Вероятно, один из таких списков с именами был случайно поврежден неисправным кодом, в результате чего GPT и начал "падать на ровном месте".

В общем, теперь вы знаете правду, а вся эта драма — еще одно полезное напоминание о том, что модели это не только голые отфайнтюненные трансформеры, но и сверхнапичканные правилами и политиками компаний системы.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍95🫡1714🤯11🔥2🌭2💯2👻1
В OpenAI, кажется, готовятся добавлять рекламу в ChatGPT

По словам издания Financial Times на это указывает подозрительное количество новых соответствующих вакансий, хантинг талантов в сфере рекламы из Google и Meta и последние интервью финансового директора. Кроме того, затраты организации растут, так что в новом году без дополнительной монетизации стартапу действительно будет тяжко.

В каком виде будет размещаться реклама – пока непонятно
🤯57🗿2514👍9🙈6🌚5🫡4🔥1🤔1
Суровый русский киберпанк
😁155🔥1784
В России появился первый онлайн-тренажер по математике в приложении Т-Банка “Число Т”. В нем собраны самые разные задачи, которые подбираются под каждого пользователя индивидуально: алгоритмы приложения анализируют его успеваемость и усложняют или упрощают задания. Также с помощью приложения можно повысить свою финансовую грамотность и даже начать осваивать IT-профессии. Задачи в приложении не повторяются, а игровая механика поддерживает интерес пользователей.

В Т-Банке отмечают, что любая инновация в современном цифровом мире всегда начинается с языка математики. Для того, чтобы поднять престиж и интерес к этой науке на новый уровень компания разработала ряд бесплатных инициатив, которые затем объединила в масштабный образовательный проект “Т=Математика”. “Число Т” позволяет детям в игровой форме узнавать новое, а взрослым –- поддерживать в тонусе работу мозга. В компании уверены, что интерес к математике у нового поколения и способность решать сложные задачи позволит обеспечить технологический суверенитет стране.

Так, запуск онлайн-тренажера “Число Т”, как и проведение ежегодного Всероссийского математического диктанта 1 декабря, стало частью образовательного проекта “Т=Математика”. Попробовать свои силы в онлайн-тренажере можно на сайте или в приложении банка.
👍45😐22🔥12❤‍🔥43🤔2
Hugging Face выпустили бесплатный открытый курс по файнтюнингу

В программе – теория и приктика по LoRA, файнтюнингу с учителем, DPO, ORPO и другим техникам alignment'а и настройки модели под ваши задачи. Все ноутбуки сделаны на примере SmolLM2 и вообще курс заточен под локальные модельки, но знания легко переносятся.

Полезная и крутая практика, особенно если реально имеете дело с файнтюнингом на работе или учитесь. Ссылка
👍91🔥30103🍓2
Ух ты: Amazon вышли из спячки и релизнули новую линейку моделей Nova

В семейство вошли модели Nova Pro, Micro и Lite. Флагманская крупная Pro где-то на уровне Llama 3.2 90B. По некоторым бенчмаркам наступает на пятки Sonnet 3.5 и GPT-4o, но вряд ли все-таки будет полезнее в использовании (судить сложно, будем ждать результатов на арене). Зато цены приятные: $0.8/1M Input, $3.2/1M output. Это примерно треть цены GPT-4o. Контекст – 300К.

Micro и Lite, кажется, получились лучше. Lite примерно на уровне Gemini Flash, а Micro чуть хуже Haiku 3.5, но имеет отличную скорость: 157 input tokens/s, что быстрее, чем у Gemini 1.5 Flash, Llama 3.1 8B и GPT-4o mini.

Попробовать уже можно на Арене или на aws
👍35🔥11👏51👌1
На случай важных переговоров краудсорсингов

Разработчик из Твиттера соединил Claude Sonnet и Flux и попросил их вместе разработать пропагандистские плакаты на тему популяризации ручной разметки и RLHF. В итоге получились футуристичные постеры с надписями вроде «Благословенные оценщики: каждый клик формирует нашу судьбу», «Ваши пальцы делают нас лучше», «Максимизируйте счастье и другие метрики» и прочее. Милота, в общем.

Пользуйтесь, когда в следующий раз будете уговаривать стажера разметить датасет 👍
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁71🔥32👍9👻31