📌 Как работает теорема Байеса?

Какова вероятность того, что ты встретишь на улице кенгуру? А если ты в Австралии? Ох уж эти условные вероятности... Теорема Байеса поможет!

⚡️В финансах теорема Байеса используется для оценки риска кредитования. В медицине для определения точности результатов медицинских тестов.

Разберемся на примере, как это работает 🤯

#junior #теорвер

Data Secrets

📝 Тест по условным вероятностям и теореме Байеса

Недавно мы рассказали о наивном Байесовском классификаторе и о теореме, с помощью которой он работает. А теперь собрали тест, который покажет, насколько ты разобрался с этой темой 🤓

Проверь себя 👇

#тесты

Делимся с вами колабом, который по текстовому описанию генерирует воксельный объект
Text2Voxel v.1.0 👽

P.S. На видео процесс генерации новогодней елки.

https://colab.research.google.com/github/Veron28/bot_test/blob/master/Text2Voxel.ipynb

📌 Обзор библиотеки Prophet

В этом колабе показываем несколько продвинутых фишек и способностей библиотеки Prophet (документация) на нескольких примерах

🔍 сезонность, праздники и тренд
🔍 включение знаний предметной области
🔍 доверительные интервалы для оценки рисков
🔍 дополнительные регрессоры
🔍 настраиваемые степени свободы

👉 https://colab.research.google.com/github/raffg/prophet_forecasting/blob/master/prophet.ipynb#scrollTo=mazcqW8tXxHb

#библиотеки #прогнозирование

Data Secrets

📗Data Science. Наука о данных с нуля

✍️Джоэл Грас
⌛️2-е издание [2021]

Книга содержит краткий курс языка Python, элементы линейной алгебры, статистики, теории вероятностей, методов обработки данных. Приведены основы машинного обучения. Рассмотрены приемы обработки естественного языка, методы анализа социальных сетей, основы баз данных, SQL и MapReduce.

#литература

Data Secrets

📌 Добавление записей в SQL таблицу

Добавить данные в таблицу можно с помощью команды INSERT. Есть два разных способа использования этого оператора. В чем их отличие? Рассмотрим оба и разберемся⚡️

#SQL #БД

Data Secrets

🎯 Новое соревнование на Kaggle

🐎Задача посвящена скачкам. По данным о прошедших турнирах и состоянии лошадей нужно предсказывать наилучшую стратегию для следующих забегов.

Соревнование спонсируется Нью-Йоркской ассоциацией скачек. Главный приз - $20,000 💸

Ссылка на соревнование

#info

Data Secrets

📌 Как брать производную?

Знание основ мат.анализа - необходимая база любого, кто интересуется наукой о данных. А в анализе нет ничего проще производных!
Изучив их, ты будешь готов нырять в нейронки, исследовать функции и лучше поймешь алгоритмы машинного обучения 🤓

💥 В помощь подготовили подсказку, в которой уместилось всё, что нужно знать и ничего лишнего

#матанализ

Data Secrets

📝 Тест по производным

🧑‍💻 Производные - основы основ матанализа. Мы приготовили для тебя тест, который определит, насколько ты в них разбираешься 😌

Лайфхак: пользуйся нашей шпаргалкой и точно выбьешь 5/5

Проверь себя 👇

#тесты

🔥Самые горячие клавиши Jupyter

Чтобы переключиться в режим редактирования, используй ESC

👉 В режиме редактирования:

00 - перезапустит ядро
B - добавит пустую ячейку снизу
Z - отменит удаление ячейки
Shift + M - объединит выбранные ячейки
Control + Shift + -  - разделит код на разные ячейки

👀 Все горячие клавиши можно посмотреть прямо в блокноте с помощью Help -> Keyboard Shortcuts

#IDE #рекомендации

Data Secrets

📌 Инструмент DataGrid от JetBrains

DataGrip - это новая среда управления базами данных. Он поддерживает MySQL, PostgreSQL, Oracle и др.

Вот несколько уникальных фишек сервиса:
🔘Диаграмммы зависимостей и визуализация
🔘Полностью настраиваемый интерфейс
🔘Встроенное форматирование и автодополнение кода

➕ Плюсы: удобный интерфейс и все необходимое, чтобы эффективно работать с данными

➖ Минусы: встречаются баги, к тому же инструмент платный

В этом видео рассказали обо всем, что умеет DataGrid. Скачать и воспользоваться пробной бесплатной версией можно здесь.

#IDE

Data Secrets

📝Leveraging Distribution Alignment via Stein Path for Cross-Domain Cold-Start Recommendation

Сегодня разбираем статью с NeurIPS: крупнейшей конференции по ML 🤓

Представь, что ты знаешь, какие фильмы (горячие айтемы) предпочитает пользователь, и на основе этого хочешь порекомендовать ему книги (холодные айтемы). При этом о книжных предпочтениях пользователя ничего не известно. Эту проблему называют проблемой холодного старта 🧊

Авторы предлагают решение на основе использования контентной и коллаборативной информации о горячих айтемах. Также предлагается вариация поиска пути Штейна, применение которого существенно снижает временную сложность🏃

Прочитать статью полностью можно здесь.

#разбор_статей

Data Secrets

Когда ищешь ошибку в коде 😁

Data Secrets

📌 Расстояние Левенштейна

Расстояние Левенштейна (редакционное расстояние) — метрика cходства между двумя строками. Чем больше расстояние, тем более они различны.

⏳ Метрика названа в честь советского математика, выпускника мехмата МГУ Владимира Левенштейна. Он всю жизнь проработал в Институте Прикладной Математики им. М.В.Келдыша, умер в 2017 году.

Расстояние Левенштейна активно используется для исправления ошибок в словах, поиска дубликатов текстов, сравнения геномов и прочих символьных операций 👍

#метрики

Data Secrets

⏯ Плейлист на Youtube с курсом по машинному обучению

Видео для тех, кто хочет разобраться в обширной теме машинного обучения и определиться с карьерным вектором. Лекции ведет профессор МФТИ К. В. Воронцов.

➕Метрики, классификация и регрессия, рекоммендательные системы и даже обучение с подкрплением

👉 Посмотреть можно здесь

#info

Data Secrets

📌 Сортировка данных в pandas

Датафрейм – это что-то вроде таблицы, он тоже состоит из строк и столбцов. В pandas мы можем сортировать фрейм данных по одному столбцу, по нескольким столбцам или по индексу 📈

#pandas #junior

Data Secrets

📗Data Mining
✍️ Мэтью Рассел
⌛️3-е издание [2020]

В книге рассматривается процесс извлечения и анализа информации на примерах популярных социальных сетей — Twitter, Facebook, LinkedIn и Instagram. Вы узнаете, как работать с этими данными данные, используя код на Python, Jupyter Notebook или контейнеры Docker.

Наша оценка: 10/10 👍

#литература

Data Secrets

📌 Кросс - валидация

Кросс-валидация — это метод, предназначенный для оценки качества работы модели, широко применяемый в машинном обучении. Он помогает сравнить между собой различные модели и выбрать наилучшую для конкретной задачи

🧩 Суть метода заключается в том, что датасет разбивается на k одинаковых частей (фолдов), а потом проиисходит k итераций, во время каждой из которых один фолд выступает в роли тестового множества, а объединение остальных — в роли тренировочного. Финальный скор получается усреднением полученных оценок 📊

#метрики #junior

Data Secrets

📌 Этапы решения задачи машинного обучения

Решение задачи машинного обучения - это не просто построение одной модели. Это сложный процесс, который включает в себя работу с данными, постоянный анализ и оптимизацию. Так с чего начать и где закончить?

👉 Оказывается, в общем случае процесс решения ML задач можно разделить на несколько последовательных этапов

#ML

Data Secrets

🤯 Алгоритмы ИИ для удаления водяных знаков с картинок

➖модель сначала предсказывает местоположение водяного знака на изображении
➖затем отделяет цвета водяного знака от фона изображения
➖и востанавливает фон области, где находился вотермарк

👉 Попробовать

#AI #ML

Data Secrets