Gradient Accumulation
Из-за ограничений памяти всегда рекомендуется обучать нейронную сеть с небольшим размером батча. Но что, если мы скажем вам, что можно увеличить размер батча без увеличения размера батча?
😻 #NN
Из-за ограничений памяти всегда рекомендуется обучать нейронную сеть с небольшим размером батча. Но что, если мы скажем вам, что можно увеличить размер батча без увеличения размера батча?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥27👍14🤯3❤2❤🔥1
Увлекательная история теоремы Байеса
Всем ведь знакома великая теорема Байеса, на основе которой построены несколько известных алгоритмов машинного обучение? Гарольд Джеффис писал, что для теории вероятностей она значит столько же, сколько теорема Пифагора для геометрии.
А знаете ли вы, что эта теорема была опубликована уже после смерти автора? Вообще, при жизни Байес опубликовал всего две работы (одна из них богословская), и в них не было вообще ничего про великую теорему.
Только через 2 года после смерти Томаса, в 1763, его друг нашел в рукописях то, что мы называем теоремой и формулой Байеса. Мог бы опубликовать под своим именем, но как человек благородный обессмертил своего друга, отправив рукопись в Королевское общество.
Кстати, огласке она не придавалась аж до 1812, пока ее не переоткрыл Лаплас. Он-то и опубликовал современную формулировку теоремы в своей книге «Аналитическая теория вероятностей».
😻 #forfun
Всем ведь знакома великая теорема Байеса, на основе которой построены несколько известных алгоритмов машинного обучение? Гарольд Джеффис писал, что для теории вероятностей она значит столько же, сколько теорема Пифагора для геометрии.
А знаете ли вы, что эта теорема была опубликована уже после смерти автора? Вообще, при жизни Байес опубликовал всего две работы (одна из них богословская), и в них не было вообще ничего про великую теорему.
Только через 2 года после смерти Томаса, в 1763, его друг нашел в рукописях то, что мы называем теоремой и формулой Байеса. Мог бы опубликовать под своим именем, но как человек благородный обессмертил своего друга, отправив рукопись в Королевское общество.
Кстати, огласке она не придавалась аж до 1812, пока ее не переоткрыл Лаплас. Он-то и опубликовал современную формулировку теоремы в своей книге «Аналитическая теория вероятностей».
Please open Telegram to view this post
VIEW IN TELEGRAM
👍47❤16
Baidu представила китайскую нейросеть Ernie 4.0 и утверждает, что она лучше GPT-4
Основатель Baidu Робин Ли заявил, что разработанная LLM в полной мере догнала OpenAI’шную GPT-4, а сам китайский интернет-гигант стал лидером в гонке с США.
«С точки зрения создания контента, понимания, логики и памяти Ernie версии 4.0 ни в чем не уступает GPT-4», заявил Робин.
Верим?
😻 #news
Основатель Baidu Робин Ли заявил, что разработанная LLM в полной мере догнала OpenAI’шную GPT-4, а сам китайский интернет-гигант стал лидером в гонке с США.
«С точки зрения создания контента, понимания, логики и памяти Ernie версии 4.0 ни в чем не уступает GPT-4», заявил Робин.
Верим?
Please open Telegram to view this post
VIEW IN TELEGRAM
🗿48🤔12👍9
На просторах Kaggle нашли супер-ликбез по NLP
Начиная с Word2Vec и GloVe, заканчивая BERT, Seq2Seq и механизмом внимания – подробно, структурировано и понятно. Полезно будет и тем, кто только начинает нырять в NLP, и тем, кто уже неплохо разбирается.
😻 #advice
Начиная с Word2Vec и GloVe, заканчивая BERT, Seq2Seq и механизмом внимания – подробно, структурировано и понятно. Полезно будет и тем, кто только начинает нырять в NLP, и тем, кто уже неплохо разбирается.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍44🔥11❤7☃1
Почему не следует деплоить модели Sklearn в прод
Sklearn — это идеальная библиотека для всех видов традиционных задач ML. Однако если попробовать развернуть любую модель на основе sklearn в прод, запахнет жаренным. Объясняем, почему, и что с этим можно сделать.
😻 #python
Sklearn — это идеальная библиотека для всех видов традиционных задач ML. Однако если попробовать развернуть любую модель на основе sklearn в прод, запахнет жаренным. Объясняем, почему, и что с этим можно сделать.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍44🤨7🔥4❤2
Почему итерации по строкам в pandas такие медленные?
При использовании Pandas всегда рекомендуется избегать итерирования по DataFrame. Иначе это приведет к огромным потерям по времени выполнения. Но почему?
😻 #python
При использовании Pandas всегда рекомендуется избегать итерирования по DataFrame. Иначе это приведет к огромным потерям по времени выполнения. Но почему?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45🔥11❤5
Напишите в комментариях «чтобы выучить математику, нужно…», а дальше пусть продолжит T9.
😻 Посмотрим, что выйдет!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22
Please open Telegram to view this post
VIEW IN TELEGRAM
😁91❤7👍6
А вы читали "Понедельник начинается в субботу"?
Это повесть братьев Стругацких 1965 года – о программисте, который попал в сказочную реальность. Вообще, книга считается фантастической. Хотя, в 2023 так кажется все меньше... Как думаете, они что-то знали?
😻 #forfun
Это повесть братьев Стругацких 1965 года – о программисте, который попал в сказочную реальность. Вообще, книга считается фантастической. Хотя, в 2023 так кажется все меньше... Как думаете, они что-то знали?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍59❤8🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA научила роботов крутить ручку пальцами
Новую модель они назвали Eureca! и она построена на базе GPT4. Система генерирует награды для RL алгоритма, оценивает их, а затем улучшает, в том числе с помощью human feedback.
В итоге написанные алгоритмом программы оказались на 80% лучше написанных человеком. С помощью этого алгоритма роботы уже научились выполнять более 30 различных задач.
😻 #news
Новую модель они назвали Eureca! и она построена на базе GPT4. Система генерирует награды для RL алгоритма, оценивает их, а затем улучшает, в том числе с помощью human feedback.
В итоге написанные алгоритмом программы оказались на 80% лучше написанных человеком. С помощью этого алгоритма роботы уже научились выполнять более 30 различных задач.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38🔥11❤5🤯2
Самая крупная подборка видео по рекомендательным системам на русском языке от нашей команды:
– Рекомендательная система на коленке, Михаил Трофимов
– Дзен-митап: рекомендательные системы
– Обзор нейросетевых рекомендательных систем — Дмитрий Ушанов
– Яндекс изнутри: рекомендательные системы Музыки и Дзена
– Пишем графовую рекомендательную систему для музыки
– Рекомендательные системы | Евгений Соколов | Лекториум
– R&D рекомендательной системы — как обучить и выкатить алгоритм в продакшн - Виталий Давыдов
– DLS. Семинар. Recommender System.
– Архитектура рекомендательной системы Дзена / Дмитрий Кондрашкин
– МТС. Построение sequential recommender systems
– Архитектура Real Time рекомендательной системы на примере банка: с нуля до готового продукта
– Рекомендательная система на базе DataSphere
– Андрей Зимовнов. Архитектура рекомендаций Дзена
– Дзен-митап: исследования и рекомендательные системы
Ладно, не только от нашей команды, еще спасибо рекомендательным системам YouTube 🙂
😻 #advice
– Рекомендательная система на коленке, Михаил Трофимов
– Дзен-митап: рекомендательные системы
– Обзор нейросетевых рекомендательных систем — Дмитрий Ушанов
– Яндекс изнутри: рекомендательные системы Музыки и Дзена
– Пишем графовую рекомендательную систему для музыки
– Рекомендательные системы | Евгений Соколов | Лекториум
– R&D рекомендательной системы — как обучить и выкатить алгоритм в продакшн - Виталий Давыдов
– DLS. Семинар. Recommender System.
– Архитектура рекомендательной системы Дзена / Дмитрий Кондрашкин
– МТС. Построение sequential recommender systems
– Архитектура Real Time рекомендательной системы на примере банка: с нуля до готового продукта
– Рекомендательная система на базе DataSphere
– Андрей Зимовнов. Архитектура рекомендаций Дзена
– Дзен-митап: исследования и рекомендательные системы
Ладно, не только от нашей команды, еще спасибо рекомендательным системам YouTube 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36🌚4❤1