This media is not supported in your browser
VIEW IN TELEGRAM
Я и документация PyTorch
😁247🔥24❤17👍9🙈2✍1
Интересный факт: последняя версия GPT-4 была впервые показана на ужине в доме Билла Гейтса, который уже 4 года официально не имеет отношения к Microsoft.
В 2020 году миллиардер покинул совет директоров компании "для того, чтобы сфокусироваться на филантропии" (на самом деле из-за внебрачной связи с сотрудницей). Однако он до сих пор:
Именно он, а не Наделла, сыграл решающую роль в запуске ИИ-поисковика Bing. Возможно, теперь он будет курировать создание MAI-1 – новой крупнейшей LLM от Microsoft с 500B параметров.
Пока о нейросети известно немного. Возможно, корпорация раскроет карты через две недели на конференции Build.
В 2020 году миллиардер покинул совет директоров компании "для того, чтобы сфокусироваться на филантропии" (на самом деле из-за внебрачной связи с сотрудницей). Однако он до сих пор:
– консультирует руководителей
– нанимает менеджеров
– лично общается с Альтманом
Именно он, а не Наделла, сыграл решающую роль в запуске ИИ-поисковика Bing. Возможно, теперь он будет курировать создание MAI-1 – новой крупнейшей LLM от Microsoft с 500B параметров.
Пока о нейросети известно немного. Возможно, корпорация раскроет карты через две недели на конференции Build.
datasecrets.ru
Бил Гейтс продолжает управлять Microsoft даже после отставки | Data Secrets
По словам инсайдеров, именно миллиардер сыграл ключевую роль в партнерстве OpenAI и Microsoft. Возможно, он также курирует разработку новой мощной LLM.
❤37🔥9👍6🥰6🤨3
Ты должен был бороться со злом, а не примкнуть к нему!
Пользователи Интернетов после вчерашней новости о сотрудничестве Stack Overflow с OpenAI начали припоминать, что раньше политика форума в отношении AI была другой.
В частности, в 2022 году они полностью забанили ChatGPT на платформе как «очень вредный инструмент для решения вопросов по программированию».
После этого утекло много воды. ChatGPT бустанулся, а трафик Stack Overflow на фоне этого упал на 50%…
Так может быть, сделка форума с OpenAI – это не наглая продажа данных, за которую сейчас так ругают Overflow, а вынужденное хватание за соломинку?
Пользователи Интернетов после вчерашней новости о сотрудничестве Stack Overflow с OpenAI начали припоминать, что раньше политика форума в отношении AI была другой.
В частности, в 2022 году они полностью забанили ChatGPT на платформе как «очень вредный инструмент для решения вопросов по программированию».
После этого утекло много воды. ChatGPT бустанулся, а трафик Stack Overflow на фоне этого упал на 50%…
Так может быть, сделка форума с OpenAI – это не наглая продажа данных, за которую сейчас так ругают Overflow, а вынужденное хватание за соломинку?
🤯41😁17👍11❤2
Data Secrets
Привет всем тем, кто хотел поглубже познакомиться с новым хайповым KAN, но осилить статью на 50 страниц с формулами не сумел Для вас, любимые подписчики, мы менее чем за сутки с момента выхода статьи написали на нее обзор! В нем вы найдете: – Легкое и…
Инженеры и исследователи продолжают активно изучать возможности KAN. Самое интересное:
– Оптимизированный код для KAN. Авторы статьи сами признавались, что не занимались оптимизацией кода. Работу подхватили разработчики, которые подшаманили имплементацию и сделали ее более эффективной. Получилось в 2 раза быстрее, чем в оригинале.
– Трансформер с KAN слоями. Тут и Mixture-of-Experts, и RoPE, и Multihead-attention. Правда, автор код не запускал, но скорее всего скоро найдется кто-то, кто сделает красивый тех.репорт на эту тему.
А если вы еще не разобрались с KAN, то скорее читайте наш разбор, не пожалеете: https://datasecrets.ru/articles/9
– Оптимизированный код для KAN. Авторы статьи сами признавались, что не занимались оптимизацией кода. Работу подхватили разработчики, которые подшаманили имплементацию и сделали ее более эффективной. Получилось в 2 раза быстрее, чем в оригинале.
– Трансформер с KAN слоями. Тут и Mixture-of-Experts, и RoPE, и Multihead-attention. Правда, автор код не запускал, но скорее всего скоро найдется кто-то, кто сделает красивый тех.репорт на эту тему.
А если вы еще не разобрались с KAN, то скорее читайте наш разбор, не пожалеете: https://datasecrets.ru/articles/9
👍56🔥15❤5✍2😁1
Новые попытки OpenAI создать модель, которая будет распознавать то, что сделала другая их модель
В прошлый раз их исследователи долго боролись с классификатором, распознающим текст, который написал GPT, но тот так и не поддался. True positive завис на 26%, и проект закрыли.
Теперь компания переключилась на картинки. Вчера они анонсировали инструмент, который 98 % cлучаев может верно распознать изображение, сгенерированное DALL-E, даже если оно было аугментировано.
Да-да, именно DALL-E. С другими моделями пока все плохо. Например, для Midjourney true positive уже скатывается до 5-10%.
В прошлый раз их исследователи долго боролись с классификатором, распознающим текст, который написал GPT, но тот так и не поддался. True positive завис на 26%, и проект закрыли.
Теперь компания переключилась на картинки. Вчера они анонсировали инструмент, который 98 % cлучаев может верно распознать изображение, сгенерированное DALL-E, даже если оно было аугментировано.
Да-да, именно DALL-E. С другими моделями пока все плохо. Например, для Midjourney true positive уже скатывается до 5-10%.
☃29👍15❤11🔥1😁1
Исследователи, которые изобрели LSTM, выкатили «обновление»
Называется архитектура xLSTM и содержит в себе два главных нововведения:
1. Экспоненциальный гейтинг (прочитать про это больше можно тут ) с нормализацией и стабилизацией
2. Измененная структура памяти. Вообще, xLSTM состоит из mLSTM и sLSTM.
– В mLSTM память это больше не скаляр, а матрица, что расширяет возможности сетки хранить информацию и позволяет параллелить обучение.
– В sLSTM не параллелим, зато зашиваем туда новый метод смешивания памяти.
По временной сложности и памяти получается даже эффективнее, чем pure трансформер. Перформанс тоже не подвел (см. график).
С нетерпением ждем код. Оригинал статьи читать тут.
Называется архитектура xLSTM и содержит в себе два главных нововведения:
1. Экспоненциальный гейтинг (прочитать про это больше можно тут ) с нормализацией и стабилизацией
2. Измененная структура памяти. Вообще, xLSTM состоит из mLSTM и sLSTM.
– В mLSTM память это больше не скаляр, а матрица, что расширяет возможности сетки хранить информацию и позволяет параллелить обучение.
– В sLSTM не параллелим, зато зашиваем туда новый метод смешивания памяти.
По временной сложности и памяти получается даже эффективнее, чем pure трансформер. Перформанс тоже не подвел (см. график).
С нетерпением ждем код. Оригинал статьи читать тут.
👍41🔥16❤9
Ну, во-первых, это красиво: разработчик создал prettygraph – конструктор text-to-knowledge графов.
Внутри почти ничего интересного: 69 строк бэка на основе одного изящного промпта к gpt-4, да 132 строки фронта.
Проект на вечер, но как же мило выглядит!
Внутри почти ничего интересного: 69 строк бэка на основе одного изящного промпта к gpt-4, да 132 строки фронта.
Проект на вечер, но как же мило выглядит!
🥰75😍19👍13❤1🔥1
На гитхаб завезли kan_gpt и сравнили его с классическим mlp_gpt
Можно натренить и популять промпты локально. Какова красота😍
We observe that the KAN-GPT performs slightly better than the MLP-GPT.
Можно натренить и популять промпты локально. Какова красота
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥71👍11❤7
Щупаем LLM с сайтом LLM Visualisation
Чтобы хорошо что-то понять, нужно увидеть это на примере, а лучше на нескольких. И тут авторы этого сайта попали в яблочко.
Здесь подробно, с формулами, слой за слоем, разобрано строение популярных LLM-архитектур, и все это с очень прикольной 3D визуализацией.
Годная игрушка для длинных выходных
Чтобы хорошо что-то понять, нужно увидеть это на примере, а лучше на нескольких. И тут авторы этого сайта попали в яблочко.
Здесь подробно, с формулами, слой за слоем, разобрано строение популярных LLM-архитектур, и все это с очень прикольной 3D визуализацией.
Годная игрушка для длинных выходных
❤69🔥15👍9😍3👻2
This media is not supported in your browser
VIEW IN TELEGRAM
В DeepMind разработали инновационную модель AlphaFold 3, способную предсказывать структуру любых живых молекул
Сюда относятся белки, ДНК, РНК и многое другое. Вообще говоря, предсказания структуры белка – одна из самых сложных задач биоинформатики. Кто бы мог подумать, что решить ее с ниабольшей на сегодняшний день точностью помогут диффузионные модели, которые обычно используются в генерации картинок.
Представьте, какой импакт это может внести в разработку новых лекарств!
Сюда относятся белки, ДНК, РНК и многое другое. Вообще говоря, предсказания структуры белка – одна из самых сложных задач биоинформатики. Кто бы мог подумать, что решить ее с ниабольшей на сегодняшний день точностью помогут диффузионные модели, которые обычно используются в генерации картинок.
Представьте, какой импакт это может внести в разработку новых лекарств!
👍82🔥34❤6😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Фаундер крупного приложения для знакомств Bumble – Уитни Херд, про AI:
👀
«В будущем наши ИИ-двойники смогут не только давать нам советы по общению с другими людьми, но и ходить за нас на свидания с другими ИИ-двойниками, чтобы выбрать для нас лучшего кандидата для отношений»
Please open Telegram to view this post
VIEW IN TELEGRAM
😁93🤪27🔥15❤10🤨10👍7🫡4🤔2
Data Secrets
Фаундер крупного приложения для знакомств Bumble – Уитни Херд, про AI: «В будущем наши ИИ-двойники смогут не только давать нам советы по общению с другими людьми, но и ходить за нас на свидания с другими ИИ-двойниками, чтобы выбрать для нас лучшего кандидата…
Мой ИИ-двойник проходит капчу на сайте знакомств:
😁148🔥16👍6🌭2
Те самые 30+ легендарных статей
Недавно более чем известный геймдейвер Джон Кармак давал небольшое Q&A интервью. В нем он упомянул:
Всех сразу страшно заинтересовало, что это за список. Ждать пришлось недолго: очень скоро инсайдеры его опубликовали. И вот мы показываем этот спискок вам: тык.
❤️ - если читал больше половины
👍 - если знаешь, чем займешься на выходных
Недавно более чем известный геймдейвер Джон Кармак давал небольшое Q&A интервью. В нем он упомянул:
"Чтобы понять, что к чему в AI, я попросил Илью Суцкевера, главного научного сотрудника OpenAI, составить мне список для чтения. Он дал мне список примерно из 40 статей и сказал: «Если ты действительно изучишь их все, то будешь знать 90% того, что важно в ИИ сегодня». И я это сделал. Я перерыл все эти труды, и все начало складываться в моей голове."
Всех сразу страшно заинтересовало, что это за список. Ждать пришлось недолго: очень скоро инсайдеры его опубликовали. И вот мы показываем этот спискок вам: тык.
❤️ - если читал больше половины
👍 - если знаешь, чем займешься на выходных
arc.net
Ilya 30u30
👍114❤18🤯13🔥8😁1
Forwarded from XOR
This media is not supported in your browser
VIEW IN TELEGRAM
С ними бороться полностью невозможно. Но главное понимать, что это дипфейк. А то, что так или иначе нам всем придется сталкиваться с этим, это понятно… Поэтому мы все должны быть начеку обязательно.
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
😁82🔥10❤9🤨4⚡2🎃1