Джошуа Ачиам, который сейчас занимает должность главы отдела Mission Alignment в OpenAI, дал неочевидный прогноз на развитие ИИ
Он заявил, что, по его мнению, в ближайшее время создастся иллюзия замедления прогресса ИИ. Но на самом деле модели просто будут совершенствоваться в решении длинного ряда узкоспециализированных технических задач, о которых большинство людей не знают и которые им не интересны.
О каких именно задачах речь, Джошуа не уточнил, но абсолютно ясно, что говорит он это не просто так, а комментирует разгоревшуюся шумиху вокруг темы «OpenAI достигли потолка масштабирования моделей» (подробнее в этом посте).
Кроме того, по словам исследователя, в ближайшем будущем ресерчеры также достигнут ключевых, но «невидимых для пользователя» результатов. Например, они повысят надежность ИИ.
Джошуа сравнивает текущий этап развития ИИ с развитием смартфонов с 2007 по 2010, когда от новинки они прошли путь до базового предмета быта человека.
Он заявил, что, по его мнению, в ближайшее время создастся иллюзия замедления прогресса ИИ. Но на самом деле модели просто будут совершенствоваться в решении длинного ряда узкоспециализированных технических задач, о которых большинство людей не знают и которые им не интересны.
О каких именно задачах речь, Джошуа не уточнил, но абсолютно ясно, что говорит он это не просто так, а комментирует разгоревшуюся шумиху вокруг темы «OpenAI достигли потолка масштабирования моделей» (подробнее в этом посте).
Кроме того, по словам исследователя, в ближайшем будущем ресерчеры также достигнут ключевых, но «невидимых для пользователя» результатов. Например, они повысят надежность ИИ.
Джошуа сравнивает текущий этап развития ИИ с развитием смартфонов с 2007 по 2010, когда от новинки они прошли путь до базового предмета быта человека.
👍74❤19🔥8😁8
This media is not supported in your browser
VIEW IN TELEGRAM
А вот, кажется, и первые продукты на основе Realtime API OpenAI: в сети набирает популярность проект одного британского оператора связи, создавшего ИИ-бабушку для телефонных разговоров с мошенниками
Бабуля зависает на линии с отловленными звонками мошенников и начинает пудрить им мозги разговорами про котят, вязание, сад-огород. А когда те просят какие-то реквизиты, может их либо выдумать, либо начать «не понимать» собеседника и задавать миллион вопросов.
В Великобритании такую пенсионерку уже можно подключить себе в качестве сервиса: разработчики утверждают, что она может задерживать мошенников на линии до 40 минут😀
Сами создатели говорят, что система «объединяет несколько моделей». Может и так, но в демо интонации слишком живые и задержка слишком мала, так что если это не черрипикинг, то все же больше похоже на 4o.
Бабуля зависает на линии с отловленными звонками мошенников и начинает пудрить им мозги разговорами про котят, вязание, сад-огород. А когда те просят какие-то реквизиты, может их либо выдумать, либо начать «не понимать» собеседника и задавать миллион вопросов.
В Великобритании такую пенсионерку уже можно подключить себе в качестве сервиса: разработчики утверждают, что она может задерживать мошенников на линии до 40 минут
Сами создатели говорят, что система «объединяет несколько моделей». Может и так, но в демо интонации слишком живые и задержка слишком мала, так что если это не черрипикинг, то все же больше похоже на 4o.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁109👍31❤10🔥5😎1
Вскрылась еще одна проблема масштабирования в LLM: ученые ведущих университетов выяснили, что индустрия не сможет использовать квантование с ростом размера моделей
Квантование – это популярная техника сжатия моделей, то есть сокращения количества требуемых бит информации (квантуют чаще всего параметры). В индустрии квантование часто используют, сначала обучая модели побольше, а затем формируя из них их облегченные варианты.
Так вот выяснилось, что чем больше исходная модель училась и чем больше в ней параметров, тем больше ее портит квантование. Иначе говоря, начиная с некоторого места квантование перестает скейлится и проще просто научить меньшую модель, чем сжимать крупную: глупее она не будет.
На самом деле, проблемы квантования в сообществе замечали и до этого, просто никто не доказывал их эмпирически. Например, многие жаловались на квантованую Llama 3.
Доказанная зависимость может стать еще одной проблемой индустрии. На квантование (как и на дистилляцию), возлагаются сейчас большие надежды, как на методы, которые должны были помочь нам делать из огромных умных моделей их меньшие не менее умные аналоги.
Статья на архив
Квантование – это популярная техника сжатия моделей, то есть сокращения количества требуемых бит информации (квантуют чаще всего параметры). В индустрии квантование часто используют, сначала обучая модели побольше, а затем формируя из них их облегченные варианты.
Так вот выяснилось, что чем больше исходная модель училась и чем больше в ней параметров, тем больше ее портит квантование. Иначе говоря, начиная с некоторого места квантование перестает скейлится и проще просто научить меньшую модель, чем сжимать крупную: глупее она не будет.
На самом деле, проблемы квантования в сообществе замечали и до этого, просто никто не доказывал их эмпирически. Например, многие жаловались на квантованую Llama 3.
Доказанная зависимость может стать еще одной проблемой индустрии. На квантование (как и на дистилляцию), возлагаются сейчас большие надежды, как на методы, которые должны были помочь нам делать из огромных умных моделей их меньшие не менее умные аналоги.
Статья на архив
⚡53👍32❤7😐7👨💻7
Data Secrets
История YOLO: новая большая статья от нашей редакции YOLO или You Only Look Once – это, пожалуй, самая известная архитектура компьютерного зрения. Она знаменита своей скоростью, качеством, а еще богатой историей. Первая версия YOLO вышла еще в 2016 году…
Что почитать, чтобы освежить знания по CV: топ статей из мира компьютерного зрения, которые стоит просмотреть хотя бы один раз
1. ResNets: http://arxiv.org/pdf/1512.03385v1
2. DeConv: http://lxu.me/mypapers/dcnn_nips14
3. GAN: http://arxiv.org/abs/1406.2661
4. Unet: https://arxiv.org/abs/1505.04597
5. Focal Loss: https://arxiv.org/abs/1708.02002
6. ViT: https://arxiv.org/abs/2010.11929
Каждая статья здесь положила начала какой-то из крупных архитектур CV или генеративных моделей. Еще стоит обратить внимание на YOLO (http://arxiv.org/abs/1506.02640), но тут одной статьей не обойдешься, там рассказ длинный. Мы как раз недавно писали большой разбор всей истории этой модели, почитать можно здесь: https://datasecrets.ru/articles/20.
1. ResNets: http://arxiv.org/pdf/1512.03385v1
2. DeConv: http://lxu.me/mypapers/dcnn_nips14
3. GAN: http://arxiv.org/abs/1406.2661
4. Unet: https://arxiv.org/abs/1505.04597
5. Focal Loss: https://arxiv.org/abs/1708.02002
6. ViT: https://arxiv.org/abs/2010.11929
Каждая статья здесь положила начала какой-то из крупных архитектур CV или генеративных моделей. Еще стоит обратить внимание на YOLO (http://arxiv.org/abs/1506.02640), но тут одной статьей не обойдешься, там рассказ длинный. Мы как раз недавно писали большой разбор всей истории этой модели, почитать можно здесь: https://datasecrets.ru/articles/20.
❤42👍17🔥10✍1
У o1 появился опенсорс-конкурент: китайские исследователи выпустили LLaVA-o1
Ресерчеры утверждают, что им удалось добиться ризонинга, аналогичного модели OpenAI, и при этом их модель еще и мультимодальная. Она имеет всего 11В параметров и на усредненных бенчмарках заметно превосходит Gemini Pro 1.5, Llama-3.2V 90B и даже GPT-4o-mini.
В основе лежит Llama-3.2-11B-Vision-Instruct, которую файнтюнили всего на 100к обучающих сэмплов (но не простых). Ключом к SOTA ученые называют новый метод inference time скейлинга и специальное структурирование данных. Весь трейн состоял из синтетики, сгенерированной с помощью GPT-4o и поделенной тегами <SUMMARY>, <CAPTION>, <REASONING> и <CONCLUSION>. Благодаря такому строению модель тоже учится добавлять эти теги в свои ответы и начинает рассуждать ✨поэтапно✨.
Что касается инференса, то здесь исследователи предлагают аналог поиска по лучу. Только анализ тут происходит на уровне этапов (тегов). То есть модель генерирует несколько вариантов ответов для каждого тега, но для перехода на следующий этап отбирается только один из них, на основе которого затем модель и продолжает семлировать токены для следующего тега.
Посмотрим, что будет на арене, а пока вот ссылка на саму статью и на гитхаб
Ресерчеры утверждают, что им удалось добиться ризонинга, аналогичного модели OpenAI, и при этом их модель еще и мультимодальная. Она имеет всего 11В параметров и на усредненных бенчмарках заметно превосходит Gemini Pro 1.5, Llama-3.2V 90B и даже GPT-4o-mini.
В основе лежит Llama-3.2-11B-Vision-Instruct, которую файнтюнили всего на 100к обучающих сэмплов (но не простых). Ключом к SOTA ученые называют новый метод inference time скейлинга и специальное структурирование данных. Весь трейн состоял из синтетики, сгенерированной с помощью GPT-4o и поделенной тегами <SUMMARY>, <CAPTION>, <REASONING> и <CONCLUSION>. Благодаря такому строению модель тоже учится добавлять эти теги в свои ответы и начинает рассуждать ✨поэтапно✨.
Что касается инференса, то здесь исследователи предлагают аналог поиска по лучу. Только анализ тут происходит на уровне этапов (тегов). То есть модель генерирует несколько вариантов ответов для каждого тега, но для перехода на следующий этап отбирается только один из них, на основе которого затем модель и продолжает семлировать токены для следующего тега.
Посмотрим, что будет на арене, а пока вот ссылка на саму статью и на гитхаб
🔥85👍22❤12😐6🫡5🤨2🗿2⚡1💯1
В основе – text-only Mistral Large 2, которую научили понимать картинки, файлы и графики. Бенчмарки модельки хороши (SOTA на MathVista, DocVQA, VQAv2), хоть стартап почему-то и не добавил в них сравнение с китайской Qwen2. В твиттере пишут, что Pixtral ей уступает.
Также разработчики обновили свою чат-платформу Le Chat: туда добавили веб-поиск, Canvas как у OpenAI и генерацию изображений. Попробуйте, там уже можно бесплатно поболтать с новой Pixtral.
Блогпост | Веса
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥29👍18❤6😁2
Второй сезон первой в России школьной олимпиады по промышленной разработке PROD открыт. Об этом объявили Т-Банк совместно с Центральным университетом и факультетом компьютерных наук НИУ ВШЭ
На олимпиаде ученики с 8 по 11 класс смогут пройти тест-драйв профессии программиста: им предстоит решать реальные кейсы ИТ-компаний, взаимодействовать с преподавателями топовых вузов, а также изучать изучать создание программных систем, автоматизацию бизнес-процессов. Участники PROD узнают о работе фронтенд-, бэкенд - и мобильных разработчиков и смогут пройти настоящий тест-драйв профессии программиста. А маскотом олимпиады PROD стал аксолотль – амфибия, символизирующая способность решать сложные задачи в молодом возрасте.
Победители смогут попасть на стажировку в Т-Банк по упрощенному отбору, а также получат льготные условия на обучение в Центральный университет и НИУ ВШЭ.
Регистрация на PROD продлится до 3 декабря.
На олимпиаде ученики с 8 по 11 класс смогут пройти тест-драйв профессии программиста: им предстоит решать реальные кейсы ИТ-компаний, взаимодействовать с преподавателями топовых вузов, а также изучать изучать создание программных систем, автоматизацию бизнес-процессов. Участники PROD узнают о работе фронтенд-, бэкенд - и мобильных разработчиков и смогут пройти настоящий тест-драйв профессии программиста. А маскотом олимпиады PROD стал аксолотль – амфибия, символизирующая способность решать сложные задачи в молодом возрасте.
Победители смогут попасть на стажировку в Т-Банк по упрощенному отбору, а также получат льготные условия на обучение в Центральный университет и НИУ ВШЭ.
Регистрация на PROD продлится до 3 декабря.
❤10😁4🤯4🤔3👾1
У Джеффа Дина подгорело настолько, что он написал об этом целую статью
Немного контекста: в 2020 году в Google сделали модель для дизайна чипов. Четыре года она помогала проектировать TPU, а также предоставлялась для использования партнерам. А в сентябре этого года Google выпустили статью в Nature, в котором рассказали о своем четырехлетнем опыте качественного ИИ-дизайна чипов, дали модели имя AlphaChip и выложили веса модели (подробнее в этом нашем посте).
Прошло пару месяцев и за это время на просторах интернета и научных изданий стали появляться работы о том, что Google все наврали и AlphaChip не работает так, как заявлено. Ну а Джефф Дин, знаменитый исследователь и фактический руководитель проекта, посмотрел-посмотрел на это все, а потом психанул и вместе с коллегами написал огромное опровержение опровержений. Что выясняется:
➡️ Вся история началась со статьи arxiv.org/abs/2302.11014. Авторы утверждали, что они полностью дублируют подход Google, но модель не работает. На самом деле оказалось, что авторы даже близко не повторили референсный пайплайн обучения. Дошло до смешного: они вообще не проводили предобучения, а просто пофайнтюнили архитектуру на мощностях в двадцать раз меньше. "Аналогично можно было оценивать AlphaGo, которая никогда раньше не видела игры в го", – пишет Джефф.
➡️ Дальше – больше. В этом месяце вышла статья-анализ в CACM под авторством Игоря Маркова. В ней он ссылается на статью из пункта один и на некий анонимный неопубликованный материал. Эта статья, как и первая, кстати, не была рецензирована (причины неясны) и полна необоснованных обвинений, который в Nature официально признали чушью. Это уже не говоря о том, что сам Игорь оказался высокопоставленным сотрудником компании Synopsys, которая занимается... правильно, разработкой такой же системы, как AlphaChip, только коммерческой.
➡️ Ну и вишенка: помните неопубликованный анонимный материал, на который ссылался горе-автор статьи в CACM? Угадайте с одного раза, кто оказался его теневым творцом и пытался выдать свои же аргументы за независимое мнение другого исследователя 😀
В общем, детективные романы и скандальньные шоу курят в сторонке. Статью Джеффа полностью можно прочитать здесь (не пожалеете).
Наука – это скучно, говорили они
Немного контекста: в 2020 году в Google сделали модель для дизайна чипов. Четыре года она помогала проектировать TPU, а также предоставлялась для использования партнерам. А в сентябре этого года Google выпустили статью в Nature, в котором рассказали о своем четырехлетнем опыте качественного ИИ-дизайна чипов, дали модели имя AlphaChip и выложили веса модели (подробнее в этом нашем посте).
Прошло пару месяцев и за это время на просторах интернета и научных изданий стали появляться работы о том, что Google все наврали и AlphaChip не работает так, как заявлено. Ну а Джефф Дин, знаменитый исследователь и фактический руководитель проекта, посмотрел-посмотрел на это все, а потом психанул и вместе с коллегами написал огромное опровержение опровержений. Что выясняется:
В общем, детективные романы и скандальньные шоу курят в сторонке. Статью Джеффа полностью можно прочитать здесь (не пожалеете).
Наука – это скучно, говорили они
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73🔥26😁14❤13
Прямо сейчас в Корейском технологическом KAIST проходит крутой курс по генеративным нейросетям, и мы нашли страницу, на которой выкладывают все записи и презентации
Вот ссылка. В программе курса GAN, VAE, диффузионки, дистилляция... В общем, все от А до Я, и базовое, и продвинутое, с особенным упором на актуальные сегодня архитектуры и техники.
На странице также выложен список полезных материалов и полный список статей, которые упоминаются в ходе курса (кладезь!). А еще туда прикреляют ссылки на домашки и блокноты с очень детально объясненным в ридми и откоментированным кодом с семинаров.
Такое сохраняем
Вот ссылка. В программе курса GAN, VAE, диффузионки, дистилляция... В общем, все от А до Я, и базовое, и продвинутое, с особенным упором на актуальные сегодня архитектуры и техники.
На странице также выложен список полезных материалов и полный список статей, которые упоминаются в ходе курса (кладезь!). А еще туда прикреляют ссылки на домашки и блокноты с очень детально объясненным в ридми и откоментированным кодом с семинаров.
Такое сохраняем
❤60👍10🔥10🤯4
Какой-то неравнодушный разработчик сделал на HuggingFace обновляющийся рейтинг авторов постов. Теперь можно видеть самых интересных и популярных авторов (способ сортировки можно выбрать самому: реакции, комментарии, количество постов), проваливаться в их HF-профиль и читать их посты, разборы и туториалы. Красиво!
👍68💅15❤7👏3🏆2
Американо-китайская комиссия по мониторингу экономики и безопасности дала конкрессу США двусмысленные рекомендации по поводу AGI
12 членов независимого совета в конце каждой осени публикуют отчет, в котором обозначают свои рекомендации конгрессу. В этом году первым же пунктом отчета оказалась фраза:
Фигурирование в тексте про ИИ упоминания проекта по военной разработке ядерного оружия, конечно, немного пугает, но интересно также, что Манхэттенский проект не в первый раз за последний месяц всплывает в медиапространстве ИИ-новостей. Недавно также были опубликованы письма из переписки Альтмана и Маска, в которых выясняется, что еще с 2015 года создание «Манхэттенского проекта для ИИ» – настоящая мечта Альтмана.
Есть ли тут связь?
12 членов независимого совета в конце каждой осени публикуют отчет, в котором обозначают свои рекомендации конгрессу. В этом году первым же пунктом отчета оказалась фраза:
"Учредить и профинансировать подобную Манхэттенскому проекту программу, направленную на разработку и достижение AGI"
Фигурирование в тексте про ИИ упоминания проекта по военной разработке ядерного оружия, конечно, немного пугает, но интересно также, что Манхэттенский проект не в первый раз за последний месяц всплывает в медиапространстве ИИ-новостей. Недавно также были опубликованы письма из переписки Альтмана и Маска, в которых выясняется, что еще с 2015 года создание «Манхэттенского проекта для ИИ» – настоящая мечта Альтмана.
Есть ли тут связь?
🤯65❤10😁7👍4🤔3