​📄Causal Inference for Recommender Systems
✍️Yixin Wang, Dawen Liang et. al.
⌛️2020

🌀Традиционная постановка задачи в рекомендациях – предсказать рейтинг данного айтема для данного пользователя. Пользуясь этим подходом, мы рискуем рекомендовать айтемы, которые не принесут реального прироста: например, можно рекомендовать любителю супергероев Marvel, но зачем? Пользователь и так их посмотрит. Идеально было бы порекомендовать фильм, который понравится пользователю, но при этом он вряд ли посмотрит этот фильм без рекомендера. Такое обещает causal recommender.

#разбор_статей

Data Secrets

​📌U - критерий Манна - Уитни

❓Что делать, если нужно сравнить две выборки, о которых мало что известно или которые не соответствуют нормальному распределению? Применим тест Манна - Уитни!

U - критерий Манна - Уитни применяется для сравнения двух независимых выбор. Он считается непараметрическим тестом в отличие от своего сурового аналога теста Стьюдента.

Переходи по кнопке и узнай еще больше 👇

#middle #статистика

Data Secrets

📄Введение в рекомендательные системы

❔Все время слышишь про рекомендательные системы, но не понимаешь как они работают?
Нашли для тебя статью, после которой все точно станет ясно

#литература

Data Secrets

📌 Метод K-средних

Один из наиболее лаконичных и простых для понимания алгоритмов кластеризации

Задача: распределение произвольного количества n-мерных точек по k кластерам.

Решение:
🔻Случайным образом создаются k точек, в дальнейшем будем называть их центрами кластеров
🔻Для каждой точки ставится в соответствии ближайший к ней центр кластера
🔻Вычисляются средние арифметические точек, принадлежащих к определённому кластеру. Именно эти значения становятся новыми центрами кластеров
🔻 Шаги 2 и 3 повторяются до тех пор, пока пересчёт центров кластеров будет приносить плоды. Как только высчитанные центры кластеров совпадут с предыдущими, алгоритм будет окончен

#junior #классификация

Data Secrets

📝 Natural Language YouTube Searcher

Генерация изображений по текстовоу описанию с использованием нейросети CLIP от компании OpenAI, основная задача которой наоборот придумывать описания картинкам. На этот раз из нее собрали поисковик по кадрам из ролика на Ютубе.

Все просто: даете ссылку на видео; пишите что нужно найти (как и раньше, на любом языке) и нейросеть не просто показывает кадр, который вы искали, но и говорит на какой он секунде. Если во время выполнения второго блока будет вылетать, то увеличьте показатель framestoskip. В остальном, я уверен, вы без труда разберетесь.

Колаб для тестов доступен по ссылке: https://colab.research.google.com/github/Veron28/bot_test/blob/master/Natural_Language_YouTube_Searcher.ipynb

#AI #CV

Data Secrets

📌 Как работает теорема Байеса?

Какова вероятность того, что ты встретишь на улице кенгуру? А если ты в Австралии? Ох уж эти условные вероятности... Теорема Байеса поможет!

⚡️В финансах теорема Байеса используется для оценки риска кредитования. В медицине для определения точности результатов медицинских тестов.

Разберемся на примере, как это работает 🤯

#junior #теорвер

Data Secrets

📝 Тест по условным вероятностям и теореме Байеса

Недавно мы рассказали о наивном Байесовском классификаторе и о теореме, с помощью которой он работает. А теперь собрали тест, который покажет, насколько ты разобрался с этой темой 🤓

Проверь себя 👇

#тесты

Делимся с вами колабом, который по текстовому описанию генерирует воксельный объект
Text2Voxel v.1.0 👽

P.S. На видео процесс генерации новогодней елки.

https://colab.research.google.com/github/Veron28/bot_test/blob/master/Text2Voxel.ipynb

📌 Обзор библиотеки Prophet

В этом колабе показываем несколько продвинутых фишек и способностей библиотеки Prophet (документация) на нескольких примерах

🔍 сезонность, праздники и тренд
🔍 включение знаний предметной области
🔍 доверительные интервалы для оценки рисков
🔍 дополнительные регрессоры
🔍 настраиваемые степени свободы

👉 https://colab.research.google.com/github/raffg/prophet_forecasting/blob/master/prophet.ipynb#scrollTo=mazcqW8tXxHb

#библиотеки #прогнозирование

Data Secrets

📗Data Science. Наука о данных с нуля

✍️Джоэл Грас
⌛️2-е издание [2021]

Книга содержит краткий курс языка Python, элементы линейной алгебры, статистики, теории вероятностей, методов обработки данных. Приведены основы машинного обучения. Рассмотрены приемы обработки естественного языка, методы анализа социальных сетей, основы баз данных, SQL и MapReduce.

#литература

Data Secrets

📌 Добавление записей в SQL таблицу

Добавить данные в таблицу можно с помощью команды INSERT. Есть два разных способа использования этого оператора. В чем их отличие? Рассмотрим оба и разберемся⚡️

#SQL #БД

Data Secrets

🎯 Новое соревнование на Kaggle

🐎Задача посвящена скачкам. По данным о прошедших турнирах и состоянии лошадей нужно предсказывать наилучшую стратегию для следующих забегов.

Соревнование спонсируется Нью-Йоркской ассоциацией скачек. Главный приз - $20,000 💸

Ссылка на соревнование

#info

Data Secrets

📌 Как брать производную?

Знание основ мат.анализа - необходимая база любого, кто интересуется наукой о данных. А в анализе нет ничего проще производных!
Изучив их, ты будешь готов нырять в нейронки, исследовать функции и лучше поймешь алгоритмы машинного обучения 🤓

💥 В помощь подготовили подсказку, в которой уместилось всё, что нужно знать и ничего лишнего

#матанализ

Data Secrets

📝 Тест по производным

🧑‍💻 Производные - основы основ матанализа. Мы приготовили для тебя тест, который определит, насколько ты в них разбираешься 😌

Лайфхак: пользуйся нашей шпаргалкой и точно выбьешь 5/5

Проверь себя 👇

#тесты

🔥Самые горячие клавиши Jupyter

Чтобы переключиться в режим редактирования, используй ESC

👉 В режиме редактирования:

00 - перезапустит ядро
B - добавит пустую ячейку снизу
Z - отменит удаление ячейки
Shift + M - объединит выбранные ячейки
Control + Shift + -  - разделит код на разные ячейки

👀 Все горячие клавиши можно посмотреть прямо в блокноте с помощью Help -> Keyboard Shortcuts

#IDE #рекомендации

Data Secrets

📌 Инструмент DataGrid от JetBrains

DataGrip - это новая среда управления базами данных. Он поддерживает MySQL, PostgreSQL, Oracle и др.

Вот несколько уникальных фишек сервиса:
🔘Диаграмммы зависимостей и визуализация
🔘Полностью настраиваемый интерфейс
🔘Встроенное форматирование и автодополнение кода

➕ Плюсы: удобный интерфейс и все необходимое, чтобы эффективно работать с данными

➖ Минусы: встречаются баги, к тому же инструмент платный

В этом видео рассказали обо всем, что умеет DataGrid. Скачать и воспользоваться пробной бесплатной версией можно здесь.

#IDE

Data Secrets

📝Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation

Сегодня разбираем статью с NeurIPS: крупнейшей конференции по ML 🤓

Представь, что ты знаешь, какие фильмы (горячие айтемы) предпочитает пользователь, и на основе этого хочешь порекомендовать ему книги (холодные айтемы). При этом о книжных предпочтениях пользователя ничего не известно. Эту проблему называют проблемой холодного старта 🧊

Авторы предлагают решение на основе использования контентной и коллаборативной информации о горячих айтемах. Также предлагается вариация поиска пути Штейна, применение которого существенно снижает временную сложность🏃

Прочитать статью полностью можно здесь.

#разбор_статей

Data Secrets

Когда ищешь ошибку в коде 😁

Data Secrets

📌 Расстояние Левенштейна

Расстояние Левенштейна (редакционное расстояние) — метрика cходства между двумя строками. Чем больше расстояние, тем более они различны.

⏳ Метрика названа в честь советского математика, выпускника мехмата МГУ Владимира Левенштейна. Он всю жизнь проработал в Институте Прикладной Математики им. М.В.Келдыша, умер в 2017 году.

Расстояние Левенштейна активно используется для исправления ошибок в словах, поиска дубликатов текстов, сравнения геномов и прочих символьных операций 👍

#метрики

Data Secrets

⏯ Плейлист на Youtube с курсом по машинному обучению

Видео для тех, кто хочет разобраться в обширной теме машинного обучения и определиться с карьерным вектором. Лекции ведет профессор МФТИ К. В. Воронцов.

➕Метрики, классификация и регрессия, рекоммендательные системы и даже обучение с подкрплением

👉 Посмотреть можно здесь

#info

Data Secrets