Data Secrets
77.3K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
А вы что-нибудь слышали про Ангилью?

Это такой небольшой остров в Карибском море. Его площадь чуть меньше площади Новгорода, там почти нет природных ресурсов, и живет Ангилья только за счет туристов.

Точнее, так было раньше. В конце прошлого века у острова появился национальный домен .ai. Понимаете, куда мы клоним? Начиная с 2009 года в зоне Ангильи появились Stability.ai, X.ai Илона Маска, Character.ai и многие другие стартапы и компании в области ИИ. И спрос продолжает расти.

По данным управляющего доменами острова, в 2017 Ангилья получила от регистрации сайтов миллион долларов, а в 2023 году, по предварительной оценке, доходы составили $25–30 млн.

Повезло, повезло
🔥68👍136😁5
Forwarded from XOR
This media is not supported in your browser
VIEW IN TELEGRAM
У гугла тут вышла пасхалка. Достаточно вбить в браузере:
1.2+(sqrt(1-(sqrt(x^2+y^2))^2) + 1 - x^2-y^2) * (sin (10 * (x*3+y/5+7))+1/4) from -1.6 to 1.6


— получите идеальное пасхальное яйцо.

@xor_journal
75👍18🤩6🗿2😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Миниатюра: компании добавляют ИИ в свои продукты
😁170🔥16👍113❤‍🔥2🤩2
Зачем нанимать тестировщиков, когда можно провести хакатон?

Стартап Cognition – разработчики Devin – провели хакатон для тестирования новых фич сети. Devin – это тот самый программист из коробки, который по метрикам убежал далеко вперед топовых моделей.

Из интересного: это не был привычный багбаунти. Задача участников заключалась в том, чтобы, используя новые фичи Devin, разработать собственные 💃

Что получилось:
– оркестратор для агентов, который может запускать несколько девинов параллельно
– утилита для доступа нейросети к локальной машине и данным
– окружение для 3D-симуляций задач физического моделирования для Devin

И еще много чего другого. Вот такой гениальный хакатон. Кстати, оценка компании менее, чем за полгода достигла $2млрд.
Please open Telegram to view this post
VIEW IN TELEGRAM
34👍18🤯8🔥2👏2
В соцсетях завирусился ролик, в котором девушка шутит про то, что усердно работает для того, чтобы ее муж мог позволить себе терять по $30тыс в месяц на своем AI-стартапе

Однако шутка оказалась не просто шуткой.

В комментариях и Твиттере женщины массово пишут, что ИИ-стартапер – это муж мечты, и они действительно готовы брать на себя все домашние обязанности и плюсом к этому спонсировать партнера, если тот занимается ИИ-стартапом.
🔥65😁48🙈22🤝76👍5
Media is too big
VIEW IN TELEGRAM
Tesla снова показывает своего Optimus

На этот раз он складывает батарейки с конвейера в лоток. Точнее, учится складывать на примере людей.

Рядом с каждым роботом стоит человек в VR-очках. В них с помощью камер и датчиков транслируется то, что «видит» робот.

Человек выполняет движение -> оно переносится на робота -> робот постепенно учится выполнять движение сам.

Схема интересная, но звучит дорого и долго. А ведь Маск пообещал уже к концу 2025 выпустить Optimus в продажу 🌚
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3011🔥5😁3
Воу-воу, коллаб века! Stack Overflow и OpenAI объявили о сотрудничестве. Что будет:

1) В ответах ChatGPT на вопросы, связанные с программированием, будут появляться ссылки на обсуждения с форума.

2) OpenAI поможет Stack Overflow с разработкой ИИ-ассистента OverflowAI.

3) Ну и, конечно, данные. В официальном аннонсе это, мягко говоря, не подчеркивается, но OpenAI будут использовать данные с сайта для обучения своих моделей (как будто раньше они этого не делали).

Кстати, новость понравилась далеко не всем. В соцсетях проскальзывают посты с призывами удалять свой код со Stack Overflow.

Что тут скажешь, любишь сгружать таски ChatGPT, люби и код сеточке жертвовать.
👍67🔥1812🤔6🕊1
This media is not supported in your browser
VIEW IN TELEGRAM
Я и документация PyTorch
😁247🔥2417👍9🙈21
Интересный факт: последняя версия GPT-4 была впервые показана на ужине в доме Билла Гейтса, который уже 4 года официально не имеет отношения к Microsoft.

В 2020 году миллиардер покинул совет директоров компании "для того, чтобы сфокусироваться на филантропии" (на самом деле из-за внебрачной связи с сотрудницей). Однако он до сих пор:

– консультирует руководителей
– нанимает менеджеров
– лично общается с Альтманом


Именно он, а не Наделла, сыграл решающую роль в запуске ИИ-поисковика Bing. Возможно, теперь он будет курировать создание MAI-1 – новой крупнейшей LLM от Microsoft с 500B параметров.

Пока о нейросети известно немного. Возможно, корпорация раскроет карты через две недели на конференции Build.
37🔥9👍6🥰6🤨3
Для тех, кто до сих пор не разобрался, как работает обратное распространение ошибки:
🔥133😁4510👍6🙈1
Ты должен был бороться со злом, а не примкнуть к нему!

Пользователи Интернетов после вчерашней новости о сотрудничестве Stack Overflow с OpenAI начали припоминать, что раньше политика форума в отношении AI была другой.

В частности, в 2022 году они полностью забанили ChatGPT на платформе как «очень вредный инструмент для решения вопросов по программированию».

После этого утекло много воды. ChatGPT бустанулся, а трафик Stack Overflow на фоне этого упал на 50%…

Так может быть, сделка форума с OpenAI – это не наглая продажа данных, за которую сейчас так ругают Overflow, а вынужденное хватание за соломинку?
🤯41😁17👍112
Data Secrets
Привет всем тем, кто хотел поглубже познакомиться с новым хайповым KAN, но осилить статью на 50 страниц с формулами не сумел Для вас, любимые подписчики, мы менее чем за сутки с момента выхода статьи написали на нее обзор! В нем вы найдете: – Легкое и…
Инженеры и исследователи продолжают активно изучать возможности KAN. Самое интересное:

Оптимизированный код для KAN. Авторы статьи сами признавались, что не занимались оптимизацией кода. Работу подхватили разработчики, которые подшаманили имплементацию и сделали ее более эффективной. Получилось в 2 раза быстрее, чем в оригинале.

Трансформер с KAN слоями. Тут и Mixture-of-Experts, и RoPE, и Multihead-attention. Правда, автор код не запускал, но скорее всего скоро найдется кто-то, кто сделает красивый тех.репорт на эту тему.

А если вы еще не разобрались с KAN, то скорее читайте наш разбор, не пожалеете: https://datasecrets.ru/articles/9
👍56🔥1552😁1
За 300
61😁32🔥8🤨4🤔3👍2🗿2😨1
Новые попытки OpenAI создать модель, которая будет распознавать то, что сделала другая их модель

В прошлый раз их исследователи долго боролись с классификатором, распознающим текст, который написал GPT, но тот так и не поддался. True positive завис на 26%, и проект закрыли.

Теперь компания переключилась на картинки. Вчера они анонсировали инструмент, который 98 % cлучаев может верно распознать изображение, сгенерированное DALL-E, даже если оно было аугментировано.

Да-да, именно DALL-E. С другими моделями пока все плохо. Например, для Midjourney true positive уже скатывается до 5-10%.
29👍1511🔥1😁1
Исследователи, которые изобрели LSTM, выкатили «обновление»

Называется архитектура xLSTM и содержит в себе два главных нововведения:

1. Экспоненциальный гейтинг (прочитать про это больше можно тут ) с нормализацией и стабилизацией

2. Измененная структура памяти. Вообще, xLSTM состоит из mLSTM и sLSTM.
– В mLSTM память это больше не скаляр, а матрица, что расширяет возможности сетки хранить информацию и позволяет параллелить обучение.
– В sLSTM не параллелим, зато зашиваем туда новый метод смешивания памяти.

По временной сложности и памяти получается даже эффективнее, чем pure трансформер. Перформанс тоже не подвел (см. график).

С нетерпением ждем код. Оригинал статьи читать тут.
👍41🔥169
Ну, во-первых, это красиво: разработчик создал prettygraph – конструктор text-to-knowledge графов.

Внутри почти ничего интересного: 69 строк бэка на основе одного изящного промпта к gpt-4, да 132 строки фронта.

Проект на вечер, но как же мило выглядит!
🥰75😍19👍131🔥1