Google DeepMind на одном из своих выступлений показали график, на котором отражается внимание, уделяемое обучению с подкреплением в моделях ИИ с течением времени.
Судя по графику, сейчас мы в локальном минимуме, а ключ к AGI – это RL🤷♂️
Судя по графику, сейчас мы в локальном минимуме, а ключ к AGI – это RL
Please open Telegram to view this post
VIEW IN TELEGRAM
👍58🤔23😁12🌭3🤯1
Forwarded from XOR
В Wall Street Journal назвали самый короткий и привлекательный путь в IT — стать специалистом по обслуживанию датацентров. Смотрите сами:
🟢 Для большинства должностей не нужна вышка.
🟢 При этом средняя зп в год составляет $75к, но доходит и до шестизначной суммы.
🟢 Еще и зарплаты растут. За 3 года на 43%.
🟢 Количество рабочих мест только увеличивается. За последние 4 года на 18%.
🟢 Нужно много ходить. Героиня статьи «легко делает 10000 шагов за ночь, устраняя различные неполадки». + к здоровью
@xor_journal
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
3😁52❤16🔥13👍3
На ACL показали новую архитектуру быстрых языковых моделей
Статью про новую архитектуру уже успели процитировать Принстонский университет и университет Карнеги-Меллона, а с 11 по 16 августа ребята из лаборатории T-Bank AI Research выступали с ней на ACL – главной NLP’шной конфе мира.
Идея исследования: трансформеры крутые, но медленные, а линейные модели быстрые, но не очень крутые. Как найти между ними баланс? В T-Bank AI Research предложили взять модель Based, которая сочетает в себе обучаемое ядро для линейных трансформеров и короткие свертки, и немного подправить это самое ядро.
Они добавили новые обучаемые параметры и упростили аттеншен. В итоге метрики подскочили, модель стала лучше работать с длинным контекстом и в среднем понимание взаимосвязей в тексте улучшилось на 10%.
Получается, ребятам удалось взять линейную модель и приблизить ее по качеству к трансформеру: скорость, экономия ресурсов и перформанс в одном флаконе. Подробнее об экспериментах и результатах можно прочитать в статье, а вот тут лежит исходный код и доп.материалы.
Статью про новую архитектуру уже успели процитировать Принстонский университет и университет Карнеги-Меллона, а с 11 по 16 августа ребята из лаборатории T-Bank AI Research выступали с ней на ACL – главной NLP’шной конфе мира.
Идея исследования: трансформеры крутые, но медленные, а линейные модели быстрые, но не очень крутые. Как найти между ними баланс? В T-Bank AI Research предложили взять модель Based, которая сочетает в себе обучаемое ядро для линейных трансформеров и короткие свертки, и немного подправить это самое ядро.
Они добавили новые обучаемые параметры и упростили аттеншен. В итоге метрики подскочили, модель стала лучше работать с длинным контекстом и в среднем понимание взаимосвязей в тексте улучшилось на 10%.
Получается, ребятам удалось взять линейную модель и приблизить ее по качеству к трансформеру: скорость, экономия ресурсов и перформанс в одном флаконе. Подробнее об экспериментах и результатах можно прочитать в статье, а вот тут лежит исходный код и доп.материалы.
39👍59🔥23❤11🤯5👀2🤝2
Новая линейка продуктов Apple возможно будет… руками робота
Компания решила зайти на рынок домашних роботов. Говорят, проект разрабатывается уже два года, но в последнее время команда активизировалась. Теперь «несколько сотен» человек по слухам работают над рукой робота, к которой будет прикреплено нечто вроде iPad.
Как это будет работать, пока неясно. Зато ясно, что, учитывая историю Apple с self-driving cars, с робототехникой у них тоже могут возникнуть трудности…
Компания решила зайти на рынок домашних роботов. Говорят, проект разрабатывается уже два года, но в последнее время команда активизировалась. Теперь «несколько сотен» человек по слухам работают над рукой робота, к которой будет прикреплено нечто вроде iPad.
Как это будет работать, пока неясно. Зато ясно, что, учитывая историю Apple с self-driving cars, с робототехникой у них тоже могут возникнуть трудности…
Выходные – самое время почитать и посмотреть что-нибудь полезное. На этот раз составили вам ресурс-лист на тему GPU и CUDA. Ловите:
⚙️ Легендарная книжка Programming Massively Parallel Processors (PMPP). Классика классик. Скачать можно тут.
⚙️ Фундаментально про GPU: видео, чтобы разобраться в базе.
⚙️ Любое видео с YouTube канала CUDA MODE (свежее).
⚙️ Документация Nvidia, куда же без нее.
⚙️ Для продвинутых: CUDA C++ Programming Guide.
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥33❤8
Please open Telegram to view this post
VIEW IN TELEGRAM
😁125❤11🔥6🙈1
А вы знаете, как разрабатывалась PyTorch?
Нет? А документалку от основателей видели? Она длится всего пол часа: создатели сами рассказывают про то, как росла легендарная библиотека.
Идеально на вечер воскресенья😇
Нет? А документалку от основателей видели? Она длится всего пол часа: создатели сами рассказывают про то, как росла легендарная библиотека.
Идеально на вечер воскресенья
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤45🔥24👍13
Forwarded from Data Secrets | Карьера
Рабочие созвоны близко...
Команда специалистов из "Игры престолов" переместилась в мир data science, чтобы завоевать Железный Трон Данных, используя вместо мечей и драконов - ноутбуки и алгоритмы.
Команда специалистов из "Игры престолов" переместилась в мир data science, чтобы завоевать Железный Трон Данных, используя вместо мечей и драконов - ноутбуки и алгоритмы.
1👍42🔥18🦄13🗿6🤯1👌1💘1
This media is not supported in your browser
VIEW IN TELEGRAM
Со всеми этими Strawberry и Grok Google совсем ушли на второй план со своей новой Gemini Live
Презентация продукта прошла на прошлой неделе в четверг, вместе с моделькой показывали новые смартфоны. Правда, на этой презентации у них что-то не работало прямо на сцене, но для Google фейлы не в новинку.
Gemini Live – это ИИ-ассистент, который в теории должен будет быть «живым» и поддерживать прямые трансляции видео и аудио (aka Apple Intelligence). Ну а пока что это просто тул для взаимодействия с приложениями.
Ждем Apple, может они покажут что-то более захватывающее
Презентация продукта прошла на прошлой неделе в четверг, вместе с моделькой показывали новые смартфоны. Правда, на этой презентации у них что-то не работало прямо на сцене, но для Google фейлы не в новинку.
Gemini Live – это ИИ-ассистент, который в теории должен будет быть «живым» и поддерживать прямые трансляции видео и аудио (aka Apple Intelligence). Ну а пока что это просто тул для взаимодействия с приложениями.
Ждем Apple, может они покажут что-то более захватывающее
1❤22👍10🔥5
Media is too big
VIEW IN TELEGRAM
Робототехники из Hugging Face только что выпустили супер подробный туториал о том, как построить и обучить себе робота
Вот репозиторий. Для начала предлагается обучить сетку предсказывать следующее движение робота по данным с камеры. Трейн можете собрать сами, в репе есть туториал.
По этой же ссылке есть информация, откуда заказать детали и как их собрать. Есть даже руководство по тому, как распечатать все необходимое на 3D-принтере.
Также приложены скрипты для визуализации движений двигателя вашего робота. А самое интересное, что код уже адаптирован для того, чтобы собирать все данные для будущего обучения во время непосредственной работы железного.
Домашнего оптимуса прайма заказывали?
Вот репозиторий. Для начала предлагается обучить сетку предсказывать следующее движение робота по данным с камеры. Трейн можете собрать сами, в репе есть туториал.
По этой же ссылке есть информация, откуда заказать детали и как их собрать. Есть даже руководство по тому, как распечатать все необходимое на 3D-принтере.
Также приложены скрипты для визуализации движений двигателя вашего робота. А самое интересное, что код уже адаптирован для того, чтобы собирать все данные для будущего обучения во время непосредственной работы железного.
Домашнего оптимуса прайма заказывали?
1🔥77🤗13❤8👍4👾1
🍎 На случай, если вам не пришла открытка в WhatsApp от бабушки, напоминаем и поздравляем: сегодня Яблочный спас!
В честь праздника в сеть слили все характеристики новых iPhone. Оказалось, что Apple Intelligence будет во всех моделях, а не только в Pro или Pro Max, как многие предполагали. При этом айфонам 15 поколения повезло меньше: там как раз с Apple Intelligence будут совместимы только Pro модели.
И есть еще одно НО: для совместимости оперативка должна превышать 8GB. По идее, более старые 8GB Mac должны вытаскивать, но это не точно. Айфоны также получат новые чипы A18 и A18 Pro для более шустрого инференса.
В честь праздника в сеть слили все характеристики новых iPhone. Оказалось, что Apple Intelligence будет во всех моделях, а не только в Pro или Pro Max, как многие предполагали. При этом айфонам 15 поколения повезло меньше: там как раз с Apple Intelligence будут совместимы только Pro модели.
И есть еще одно НО: для совместимости оперативка должна превышать 8GB. По идее, более старые 8GB Mac должны вытаскивать, но это не точно. Айфоны также получат новые чипы A18 и A18 Pro для более шустрого инференса.
1👍25😁14❤8🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
Смотрите: наглядный прогресс LLM моделей в рейтинге ELO за последние 15 месяцев
Красота
Красота
2❤44🔥17👍8🤓6
This media is not supported in your browser
VIEW IN TELEGRAM
Окружен, но не сломлен: CEO графического редактора Procreate Джеймс Куда заявил, что никогда не будет внедрять ИИ ни в один из продуктов.
За 14 часов ролик собрал 3 млн просмотров и 16 тысяч репостов. Вот что бывает, когда ломаешь систему.
«Я, бл*дь, ненавижу ИИ. Мы тут ценим человеческое творчество».
За 14 часов ролик собрал 3 млн просмотров и 16 тысяч репостов. Вот что бывает, когда ломаешь систему.
3😁107👍41🔥29❤10🗿6🤓3🐳1