На гитхаб завезли kan_gpt и сравнили его с классическим mlp_gpt
Можно натренить и популять промпты локально. Какова красота😍
We observe that the KAN-GPT performs slightly better than the MLP-GPT.
Можно натренить и популять промпты локально. Какова красота
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥71👍11❤7
Щупаем LLM с сайтом LLM Visualisation
Чтобы хорошо что-то понять, нужно увидеть это на примере, а лучше на нескольких. И тут авторы этого сайта попали в яблочко.
Здесь подробно, с формулами, слой за слоем, разобрано строение популярных LLM-архитектур, и все это с очень прикольной 3D визуализацией.
Годная игрушка для длинных выходных
Чтобы хорошо что-то понять, нужно увидеть это на примере, а лучше на нескольких. И тут авторы этого сайта попали в яблочко.
Здесь подробно, с формулами, слой за слоем, разобрано строение популярных LLM-архитектур, и все это с очень прикольной 3D визуализацией.
Годная игрушка для длинных выходных
❤69🔥15👍9😍3👻2
This media is not supported in your browser
VIEW IN TELEGRAM
В DeepMind разработали инновационную модель AlphaFold 3, способную предсказывать структуру любых живых молекул
Сюда относятся белки, ДНК, РНК и многое другое. Вообще говоря, предсказания структуры белка – одна из самых сложных задач биоинформатики. Кто бы мог подумать, что решить ее с ниабольшей на сегодняшний день точностью помогут диффузионные модели, которые обычно используются в генерации картинок.
Представьте, какой импакт это может внести в разработку новых лекарств!
Сюда относятся белки, ДНК, РНК и многое другое. Вообще говоря, предсказания структуры белка – одна из самых сложных задач биоинформатики. Кто бы мог подумать, что решить ее с ниабольшей на сегодняшний день точностью помогут диффузионные модели, которые обычно используются в генерации картинок.
Представьте, какой импакт это может внести в разработку новых лекарств!
👍82🔥34❤6😁1
This media is not supported in your browser
VIEW IN TELEGRAM
Фаундер крупного приложения для знакомств Bumble – Уитни Херд, про AI:
👀
«В будущем наши ИИ-двойники смогут не только давать нам советы по общению с другими людьми, но и ходить за нас на свидания с другими ИИ-двойниками, чтобы выбрать для нас лучшего кандидата для отношений»
Please open Telegram to view this post
VIEW IN TELEGRAM
😁93🤪27🔥15❤10🤨10👍7🫡4🤔2
Data Secrets
Фаундер крупного приложения для знакомств Bumble – Уитни Херд, про AI: «В будущем наши ИИ-двойники смогут не только давать нам советы по общению с другими людьми, но и ходить за нас на свидания с другими ИИ-двойниками, чтобы выбрать для нас лучшего кандидата…
Мой ИИ-двойник проходит капчу на сайте знакомств:
😁148🔥16👍6🌭2
Те самые 30+ легендарных статей
Недавно более чем известный геймдейвер Джон Кармак давал небольшое Q&A интервью. В нем он упомянул:
Всех сразу страшно заинтересовало, что это за список. Ждать пришлось недолго: очень скоро инсайдеры его опубликовали. И вот мы показываем этот спискок вам: тык.
❤️ - если читал больше половины
👍 - если знаешь, чем займешься на выходных
Недавно более чем известный геймдейвер Джон Кармак давал небольшое Q&A интервью. В нем он упомянул:
"Чтобы понять, что к чему в AI, я попросил Илью Суцкевера, главного научного сотрудника OpenAI, составить мне список для чтения. Он дал мне список примерно из 40 статей и сказал: «Если ты действительно изучишь их все, то будешь знать 90% того, что важно в ИИ сегодня». И я это сделал. Я перерыл все эти труды, и все начало складываться в моей голове."
Всех сразу страшно заинтересовало, что это за список. Ждать пришлось недолго: очень скоро инсайдеры его опубликовали. И вот мы показываем этот спискок вам: тык.
❤️ - если читал больше половины
👍 - если знаешь, чем займешься на выходных
arc.net
Ilya 30u30
👍114❤18🤯13🔥8😁1
Forwarded from XOR
This media is not supported in your browser
VIEW IN TELEGRAM
С ними бороться полностью невозможно. Но главное понимать, что это дипфейк. А то, что так или иначе нам всем придется сталкиваться с этим, это понятно… Поэтому мы все должны быть начеку обязательно.
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
😁82🔥10❤9🤨4⚡2🎃1
"Это будет не GPT-5 и не поисковик, но это выглядит как чудо для меня"
Так отозвался Альтман о том, что собирается показать OpenAI на презентации в понедельник в 20:00 по мск. Из анонсов по крайней мере понятно, что будут какие-то новые примочки для GPT-4.
Кстати, изначально презентация должна была состояться 9 мая, однако ее перенесли на 13. Случайность ли это, учитывая, что 14 мая состоится конференция Google I/O, на которой корпорация обычно показывает новые технологии?
Так отозвался Альтман о том, что собирается показать OpenAI на презентации в понедельник в 20:00 по мск. Из анонсов по крайней мере понятно, что будут какие-то новые примочки для GPT-4.
Кстати, изначально презентация должна была состояться 9 мая, однако ее перенесли на 13. Случайность ли это, учитывая, что 14 мая состоится конференция Google I/O, на которой корпорация обычно показывает новые технологии?
❤55👍10🤯4🙈2🔥1😁1🍌1
Data Secrets
Исследователи, которые изобрели LSTM, выкатили «обновление» Называется архитектура xLSTM и содержит в себе два главных нововведения: 1. Экспоненциальный гейтинг (прочитать про это больше можно тут ) с нормализацией и стабилизацией 2. Измененная структура…
В комьюнити все не смолкают разговоры про новенькую xLSTM, вышедшую несколько дней назад. Некоторые утверждают, что эта модель может стать достойной альтернативой трансформеру.
По крайней мере, модель показывает классный скейлинг и не уступает трансформерам в perplexity на 15B и 300B. Код, кстати, исследователи так и не выкатили, но эстузиасты уже успели что-то наимплементировать (github).
Интересно, как исследователи добились такого буста LSTM? Хотели бы прочитать понятный обзор и во всем разобраться? Накидайте 🔥, и мы выложим его уже сегодня!
По крайней мере, модель показывает классный скейлинг и не уступает трансформерам в perplexity на 15B и 300B. Код, кстати, исследователи так и не выкатили, но эстузиасты уже успели что-то наимплементировать (github).
Интересно, как исследователи добились такого буста LSTM? Хотели бы прочитать понятный обзор и во всем разобраться? Накидайте 🔥, и мы выложим его уже сегодня!
🔥355👍12❤3🤩2
Итак, разбор статьи про xLSTM уже можно найти на нашем сайте! В тексте вы найдете:
➡️ Пошаговое объяснение того, как работает ванильная LSTM. Разберетесь, даже если вы ничего не слышали про эту архитектуру до этого.
➡️ Структурированный разбор каждого улучшения, которое предложили ученые в xLSTM.
➡️ Множество схем и примеров.
➡️ Сравнение xLSTM с трансформерами.
➡️ Рассуждение на тему "имеют ли xLSTM шансы стать будущим LLM?"
Сохраняйте и читайте, не пожалеете: https://datasecrets.ru/articles/10
Сохраняйте и читайте, не пожалеете: https://datasecrets.ru/articles/10
Please open Telegram to view this post
VIEW IN TELEGRAM
datasecrets.ru
Погружение в xLSTM – обновленную LSTM, которая может оказаться заменой трансформера | Data Secrets
Исследователи, которые в 1997 году изобрели архитектуру LSTM, спустя 27 лет выпустили «обновление». Разбираемся, как это работает, и почему может стать прорывом для больших языковых моделей.
🔥72👍18❤10❤🔥1
В этой шумихе с презентациями OpenAI и Google все вообще забыли про Apple 🤩
Ладно-ладно, не так уж они и в стороне. Инсайдеры сообщают, что корпорация договорилась с OpenAI об интеграции ChatGPT в iOS 18. По информации от Bloomberg, компании уже находятся на финальной стадии согласования.
Ладно-ладно, не так уж они и в стороне. Инсайдеры сообщают, что корпорация договорилась с OpenAI об интеграции ChatGPT в iOS 18. По информации от Bloomberg, компании уже находятся на финальной стадии согласования.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤34🤯12🗿6👍5⚡1
Data Secrets
Сэм Альтман в своем свежем интервью отвечает на вопрос «Как много стартапов еще убьет OpenAI» Если кратко: есть два варианта развития событий. Первый: модели OpenAI больше не развиваются, и те стартапы, которые занимались надстройками над моделью, живут и…
This media is not supported in your browser
VIEW IN TELEGRAM
А ведь он предупреждал…
👍36😁21🤪14👻5🫡1
Альтман и компания продолжают разжигать интерес перед завтрашней презентацией:
– В самом боте они переименовали модель GPT-4 из «the most advanced model» (самая продвинутая модель) в просто «advanced» (продвинутая)
– Лид команды аудио-ресерчера OpenAI поменял заставку в Твиттер на кадр из фильма «Она»
– Сэм ретвитнул пост, в котором пользователь пошутил, что пересматривает «Она» перед презентацией
Ну так что вы делаете завтра вечером?😏
– В самом боте они переименовали модель GPT-4 из «the most advanced model» (самая продвинутая модель) в просто «advanced» (продвинутая)
– Лид команды аудио-ресерчера OpenAI поменял заставку в Твиттер на кадр из фильма «Она»
– Сэм ретвитнул пост, в котором пользователь пошутил, что пересматривает «Она» перед презентацией
Ну так что вы делаете завтра вечером?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍60🔥18❤15😁6
Илон Маск: «Лидары это тупо, они дорогие и вообще не нужны»
Также Маск: «Лидары? Заверните на $2 млн»
Для справки: лидары – это датчики, которые способны с помощью лазера измерять расстояние до объекта. Сегодня это основной ингредиент в беспилотных автомобилях.
Так вот оказалось, что основным покупателем лидаров производителя Luminar является Tesla. В этом квартале они обеспечили аж 10% выручки компании, что составляет $2 млн.
Тем временем на конференции еще в 2019 году Маск назвал лидары «костылем» и сказал, что использовать их «тупо». Хотяяя… на той же конференци он обещал, что Tesla выпустит беспилотники в продажу до начала 2021. Этого до сих пор не случилось. Вместо этого Илон продолжает скупать костыли.
Также Маск: «Лидары? Заверните на $2 млн»
Для справки: лидары – это датчики, которые способны с помощью лазера измерять расстояние до объекта. Сегодня это основной ингредиент в беспилотных автомобилях.
Так вот оказалось, что основным покупателем лидаров производителя Luminar является Tesla. В этом квартале они обеспечили аж 10% выручки компании, что составляет $2 млн.
Тем временем на конференции еще в 2019 году Маск назвал лидары «костылем» и сказал, что использовать их «тупо». Хотяяя… на той же конференци он обещал, что Tesla выпустит беспилотники в продажу до начала 2021. Этого до сих пор не случилось. Вместо этого Илон продолжает скупать костыли.
😁69❤11👍8
This media is not supported in your browser
VIEW IN TELEGRAM
Еще немного мемов перед предстоящей презентацией 😄
Please open Telegram to view this post
VIEW IN TELEGRAM
😁64🔥13❤6👍5🗿3🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
Meta взяла пример с Cognition (или наоборот) и тоже запустила протестируй-и-разработай хакатон
Участвовали более 500 разработчиков, которым нужно было взять Llama3 и сделать из нее что-то прИкОльНОе (и конечно с открытым кодом).
Победили ребята с проектом Open Glass AI, который позволяет превратить любые очки в очки с ИИ за 20$.
На втором месте платформа для дебатов ИИ-моделей, на третьем – ресерч про то, как обнулить цензуру сеточки. А лично нам очень понравился проект с CRM системой.
Оцените✨ вайбы✨ на видео
Участвовали более 500 разработчиков, которым нужно было взять Llama3 и сделать из нее что-то прИкОльНОе (и конечно с открытым кодом).
Победили ребята с проектом Open Glass AI, который позволяет превратить любые очки в очки с ИИ за 20$.
На втором месте платформа для дебатов ИИ-моделей, на третьем – ресерч про то, как обнулить цензуру сеточки. А лично нам очень понравился проект с CRM системой.
Оцените
Please open Telegram to view this post
VIEW IN TELEGRAM
👍46🥰10🎉6❤1🔥1
Breaking! На презентации OpenAI показали новую модель GPT-4o, которая заткнула за пояс все и вся
Особенно мощно модель показала себя в коде: просто посмотрите на разрыв в перформансе с предыдущими моделями! И, кстати, теперь еще будет режим стриминга для MacOS. Подключаете приложение, выделяете прямо на экране код, модель его обрабатывает на месте.
Но это не главное. Главное: это настоящая мультимодальная модель, то есть она реально обучалась одновременно на тексте, картинках и звуках, не по отдельности.
Теперь общаться с ботом можно голосом и даже по видео, при этом вообще без задержек. А еще GPT-4o понимает интонации, может шутить и переводить в режиме реального времени. Как и говорил Альтман: прямо фильм “Her”.
Модель в 2 раза быстрее и на 50% дешевле, чем GPT-4 Turbo, имеет контекст в 128к, уже доступна в API и скоро засшарится на всех фри-юзеров.
🕺 🕺 🕺
Особенно мощно модель показала себя в коде: просто посмотрите на разрыв в перформансе с предыдущими моделями! И, кстати, теперь еще будет режим стриминга для MacOS. Подключаете приложение, выделяете прямо на экране код, модель его обрабатывает на месте.
Но это не главное. Главное: это настоящая мультимодальная модель, то есть она реально обучалась одновременно на тексте, картинках и звуках, не по отдельности.
Теперь общаться с ботом можно голосом и даже по видео, при этом вообще без задержек. А еще GPT-4o понимает интонации, может шутить и переводить в режиме реального времени. Как и говорил Альтман: прямо фильм “Her”.
Модель в 2 раза быстрее и на 50% дешевле, чем GPT-4 Turbo, имеет контекст в 128к, уже доступна в API и скоро засшарится на всех фри-юзеров.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤95🔥36👍14🤯14🎉3👀2😁1🤔1👻1