​Инструментарий Data Scientist'а: Airflow

Airflow - это платформа для программного создания, планирования и мониторинга рабочих процессов.
Используйте Airflow для создания рабочих процессов как направленных ациклических графов (DAG задач). Планировщик Airflow выполняет ваши задачи, следуя указанным зависимостям. Командная строка упрощает выполнение сложных операций на DAG. Богатый пользовательский интерфейс позволяет легко визуализировать конвейеры, работающие в производственной среде, отслеживать прогресс и при необходимости устранять неполадки.

Когда рабочие процессы определены как код, они становятся более удобными для сопровождения, версионирования, тестирования и совместной работы.

🌐 Статья » https://habr.com/ru/company/mailru/blog/339392/
🌐 Документация » https://airflow.apache.org/docs/apache-airflow/stable/index.html
🌐 Wiki » https://ru.bmstu.wiki/Apache_Airflow

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming #Airflow

🔗 Airflow — инструмент, чтобы удобно и быстро разрабатывать и поддерживать batch-процессы обработки да
Привет, Хабр! В этой статье я хочу рассказать об одном замечательном инструменте для разработки batch-процессов обработки данных, например, в инфраструктуре корпоративного DWH или вашего...

➰ Источник ВК

​Инструментарий разработчика. На чём собрать мобильное приложение без кода — топ-3 конструктора с примерами приложений.
Интересная статья про альтернативный подход к программированию. Если пойти дальше, можно имплементировать собственные ML-модели в мобильные приложения.
🌐https://vc.ru/dev/216592-na-chem-sobrat-mobilnoe-prilozhenie-bez-koda-top-3-konstruktora-s-primerami-prilozheniy

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming

🔗 На чем собрать мобильное приложение без кода — топ-3 конструктора с примерами приложений
Самый популярный вопрос среди начинающих зерокодеров — можно ли собрать мобильное приложение без программирования. Расскажем, с помощью каких инструментов это можно сделать, чем они отличаются и сколько это стоит.

➰ Источник ВК

​Инструментарий Data Scientist'а: Airflow + MLFlow.

См. подробную документацию и статьи в предыдущих статьях.
🌐 https://youtu.be/NfPf0Y770DA
🌐 Репозиторий с кодом из видео » https://github.com/miracl1e6/auto-pipeline-airflow-mlflow

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming #mlflow #airflow

🔗 miracl1e6/auto-pipeline-airflow-mlflow
Contribute to miracl1e6/auto-pipeline-airflow-mlflow development by creating an account on GitHub.


🎥 Airflow и MLFlow автоматизаций пайплайнов Machine Learning / MLOps
👁 1 раз ⏳ 3164 сек.
Разверните облачный сервер для Data Science в Selectel: https://slc.tl/JSss5, получите 1000 бонусных рублей по промокоду miracl6

Курс Data Science для начинающих PyMagic
Подробная информация о курсе, программа обучения по ссылке - https://pymagic.ru

Репозиторий с кодом из видео:
https://github.com/miracl1e6/auto-pipeline-airflow-mlflow

Доументация Airflow https://airflow.apache.org
Инфа на русском https://ru.bmstu.wiki/Apache_Airflow

Доументация MLFlow https://www.mlflow.org/docs/latest/index.html

Instagram https://www.instagram.com/miracl6_
Facebook https://www.facebook.com/miracl1e6
Telegram channel https://tttttt.me/miracle_of_science

#ityoutubersru #datascience #mlops #mlflow #airflow

➰ Источник ВК

​DeepMind научила нейросетевых агентов командной игре в футбол.
Сначала агенты учились базовым движениям, имитируя движения людей, затем тренировались, отрабатывая более сложные движения, к примеру, дриблинг, а после этого играли в команде и учились взаимодействовать с партнером, повышая тем самым шансы команды на гол.

🌐https://nplus1.ru/news/2021/06/01/deepmind-football
🌐Статья с описанием разработки » https://arxiv.org/pdf/2105.12196.pdf
🌐Видео » https://youtu.be/KHMwq9pv7mg

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming #deepmind

🔗 DeepMind научила нейросетевых агентов командной игре в футбол
Они научились сложным взаимодействиям с партнерами по команде


🎥 From Motor Control to Team Play in Simulated Humanoid Football
👁 1 раз ⏳ 463 сек.
Skip to 4:09 for highlights of gameplay.
Paper: https://arxiv.org/abs/2105.12196

0:00 Intro
0:20 Overview
1:00 Environment and Rules
1:51 Training
3:05 Imitation
3:20 Drills
4:09 Highlights
7:39 Outro

➰ Источник ВК

​Сравнение OpenCL с CUDA, GLSL и OpenMP.
В этом топике приведено сравнение OpenCL с CUDA и шейдерами для GPU, а также с OpenMP для CPU.
Тестирование проводилось на задаче N-тел. Она хорошо ложится на параллельную архитектуру, сложность задачи растёт как O(N2), где N — число тел.

🌐Что такое OpenCL? » https://habr.com/ru/post/72247/
🌐https://habr.com/ru/post/96122/

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programmin

🔗 Сравнение OpenCL с CUDA, GLSL и OpenMP
На хабре уже рассказали о том, что такое OpenCL и для чего он нужен, но этот стандарт сравнительно новый, поэтому интересно как соотносится производительность программ на нём с другими решениями....

➰ Источник ВК

​Метрики качества моделей классификации. Эта статья про взаимосвязь между метриками Precision-Recall и ROC-кривой.

🌐http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming #roc #precision #recall

🔗 The Relationship Between Precision-Recall and ROC Curves

➰ Источник ВК

Подписывайтесь на наш Telegram-канал: https://vk.com/neurolearn

#telegram #machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming

➰ Источник ВК

​Какие метрики используются в задачах машинного обучения?
👉🏻Метрики в задачах классификации
👉🏻Accuracy, precision, recall и F-мера
👉🏻AUC-ROC и AUC-PR
👉🏻Logistic Loss - логистическая функция потерь

🌐https://habr.com/ru/company/ods/blog/328372/
🌐Некоторые задачки по AUC-ROC » https://dyakonov.org/2015/10/09/%D0%B7%D0%B0%D0%B4%D0%B0%D1%87%D0%BA%D0%B8-%D0%BF%D1%80%D0%BE-auc-roc/

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming

🔗 Метрики в задачах машинного обучения
Привет, Хабр!

В задачах машинного обучения для оценки качества моделей и сравнения различных алгоритмов используются метрики, а их выбор и анализ — непременная часть работы датасатаниста.
В...

➰ Источник ВК

​Нейросеть обучили изменять ракурс любых видео.
В основе нового алгоритма — нейросеть NeRF (Neural Radiance Fields for Unconstrained). Эта появившаяся в прошлом году сеть умеет превращать фотографии в объемную анимацию. Однако для достижения эффекта перемещения в видео проект пришлось существенно доработать.

🌐https://habr.com/ru/company/selectel/blog/555446/
🌐https://thumbs.gfycat.com/MiserableRawAlpineroadguidetigerbeetle-mobile.mp4

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming

🔗 Прямо как в «Матрице»: нейросеть обучили изменять ракурс любых видео
В фильмах или роликах с YouTube мы наблюдаем происходящее из одной точки, нам не доступны перемещение по сцене или смещение угла зрения. Но, кажется, ситуация меняется. Так, исследователи из...


🎥 Bullettime GIF | Gfycat
👁 1 раз ⏳ 8 сек.
Watch and share Bullettime GIFs and Matrix GIFs on Gfycat

➰ Источник ВК

​Разбираемся с внутренностями алгоритмов обучения. Наивный Байесовский классификатор в 25 строк кода.

🌐https://m.habr.com/ru/post/120194/

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming

🔗 Наивный Байесовский классификатор в 25 строк кода
Наивный Байесовский классификатор один из самых простых из алгоритмов классификации. Тем не менее, очень часто он работает не хуже, а то и лучше более сложных алгоритмов. Здесь я хочу поделиться...

➰ Источник ВК

​Machine Learning Podcast
Подкасты по машинному обучению »
🌐https://www.youtube.com/channel/UCzvfXLNpB2Bbf32dc7a8oDQ
🌐https://anchor.fm/kmsrus/episodes/027-ML----ODS-------e1444kc

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python#буднипрограммиста #programming

🔗 Machine Learning Podcast - YouTube

➰ Источник ВК

​Dropout, Batch Normalization - в поисках серебряной пули. Как я научился искать размытые фотографии.

Статья » https://imageman72.livejournal.com/49930.html
Код » https://github.com/Imageman/blur_detect_small

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python #буднипрограммиста #programming

🔗 Dropout, Batch Normalization - в поисках серебряной пули. Как я научился искать размытые фотографии
Понадобилось мне сделать набор резких картинок (т.е. из большого набора выкинуть все нерезкие фотографии, как на примере ниже) Сначала я попробовал старые классические методы (сразу же в поисковике выскакивает Laplacian - простенький сверточный фильтр). Для отсеивания явного брака может сгодится,…

➰ Источник ВК

​Автоматическое выравнивание несбалансированности классов.
Код » https://github.com/ufoym/imbalanced-dataset-sampler

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python #буднипрограммиста #programming

🔗 GitHub - ufoym/imbalanced-dataset-sampler: A (PyTorch) imbalanced dataset sampler for oversampling l
A (PyTorch) imbalanced dataset sampler for oversampling low frequent classes and undersampling high frequent ones. - GitHub - ufoym/imbalanced-dataset-sampler: A (PyTorch) imbalanced dataset sample...

➰ Источник ВК

​Создайте свой REST API с использование готового шаблона. Шаблон для построения API с помощью фреймворка FastAPI и ORM Peewee можно взять по ссылке ниже. Для аутентификации используется токен JWT.

Код » https://github.com/the-lans/FastAPITemplate

#github #machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #python #буднипрограммиста #programming

🔗 GitHub - the-lans/FastAPITemplate: Шаблон для построения API с помощью фреймворка FastAPI и ORM Peew
Шаблон для построения API с помощью фреймворка FastAPI и ORM Peewee. Для аутентификации используется JWT. - GitHub - the-lans/FastAPITemplate: Шаблон для построения API с помощью фреймворка FastAPI...

➰ Источник ВК

​Google Colab для запуска и тестирования моделей машинного обучения. По функционалу похожа на Jupiter Notebook.
📖Статья » https://blog.skillfactory.ru/chto-takoe-google-colaboratory-i-komu-on-nuzhen/
✏Среда » https://colab.research.google.com/notebooks/intro.ipynb#recent=true

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #буднипрограммиста #programming #python

🔗 Что такое Google Colab и кому он нужен?
Разбираемся, как устроен облачный блокнот для программирования на Python

➰ Источник ВК

​Предсказание курса криптовалюты с помощью RNN-модели глубокого обучения на Python.
🖲https://pythonprogramming.net/crypto-rnn-model-deep-learning-python-tensorflow-keras/
📹https://youtu.be/yWkpRdpOiPY

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #буднипрограммиста #programming #python #keras

🔗 Python Programming Tutorials
Python Programming tutorials from beginner to advanced on a massive variety of topics. All video and text tutorials are free.


🎥 Cryptocurrency-predicting RNN Model - Deep Learning w/ Python, TensorFlow and Keras p.11
👁 1 раз ⏳ 1386 сек.
Welcome to the next tutorial covering deep learning with Python, Tensorflow, and Keras. We've been working on a cryptocurrency price movement prediction recurrent neural network, focusing mainly on the pre-processing that we've got to do. In this tutorial, we're going to be finishing up by building our model and training it.

Text tutorials and sample code: https://pythonprogramming.net/crypto-rnn-model-deep-learning-python-tensorflow-keras/

Discord: https://discord.gg/sentdex
Support the content: https://pythonprogramming.net/support-donate/
Twitter: https://twitter.com/sentdex
Facebook: https://www.facebook.com/pythonprogramming.net/
Twitch: https://www.twitch.tv/sentdex
G+: https://plus.google.com/+sentdex

➰ Источник ВК

Выберите своего любимого исполнителя и научите языковую модель писать новые тексты на основе их уникального голоса всего за 5 минут.
Генерируем текст песен с трансформером за 5 минут.
🧩Интерактивный ноутбук » https://colab.research.google.com/github/AlekseyKorsh..
📃Статья » https://habr.com/ru/post/571674/
✏️Хаб моделей » https://huggingface.co/huggingartists

#machinelearning #ai #машинноеобучение #neuralnetworks #нейронныесети #буднипрограммиста #programming #python #colab

📖 Автоматизация рутинных задач с помощью Python
🖋 Эл Свейгарт, 2017

Если вам когда-либо приходилось тратить часы на переименование файлов или обновление сотен ячеек электронных таблиц, то вы знаете, что такое рутинная работа. А что если поручить компьютеру выполнять такую работу вместо вас?

Книга научит вас использовать Python для написания программ, способных в считанные минуты сделать то, на что раньше у вас уходили часы ручного труда, причем абсолютно никакого опыта программирования от вас не требуется. Как только вы овладеете основами программирования, вы уже сможете создавать программы на языке Python, которые будут без труда выполнять в автоматическом режиме различные полезные задачи.

💾 Скачать книгу

Daily Coding #book #python

Без бутылки не обойтись или Чем можно заменить Flask в Python?
Серия видео: https://www.youtube.com/watch?v=g_9nsFJS_pk&list=PLXmMXHVSvS-AyIwEYkGNa4WE1AR1_45mv
Ещё: https://youtu.be/e9G5mFytMG0

#bottle #python #буднипрограммиста

👨‍💻 Кодирование с ИИ: новый подход к программированию 👨‍💻

🚀 С появлением инструментов, таких как GitHub Copilot или OpenAI Codex, программисты получили удивительного помощника, способного генерировать код на основе простых инструкций. Рассмотрим на примере:

Задача: Нам нужно написать функцию на Python, которая принимает список чисел и возвращает список только с четными числами.

Пример запроса к ИИ:
"Напиши функцию на Python, которая фильтрует четные числа из списка."

Результат, предоставленный ИИ:

def filter_even_numbers(num_list):
    even_numbers = [num for num in num_list if num % 2 == 0]
    return even_numbers

ИИ понимает задачу и предлагает решение, используя список включений - эффективный и компактный способ обработки коллекций в Python.

🔧 Давайте еще разграничим: ИИ не заменяет полностью программистов, он выступает лишь инструментом, ускоряющим и облегчающим процесс написания кода. С помощью его предложений можно избежать типичных ошибок, получить новые идеи для реализации и значительно сэкономить время на рутинной работе.

👨‍🏫 Использование ИИ в кодировании рекомендуется как начинающим, так и опытным кодерам:
1. Проверьте возможности таких сервисов, как GitHub Copilot для вашей IDE.
2. Используйте ИИ для первоначального черновика кода, которые затем можно доработать и оптимизировать.
3. Экспериментируйте с ИИ для генерации тестов и отладки существующего кода.

💡 Мы на пороге новой эры в программировании, где ИИ становится отличным подспорьем, открывая новые возможности для разработчиков на всех уровнях.

Как вы считаете, станет ли ИИ обязательным инструментом для каждого программиста? Поделитесь своим мнением!

#Кодирование #Программирование #ИИ #GitHubCopilot #OpenAICodex #Python #Разработка #Инновации #Технологии