Машинное обучение RU
17.7K subscribers
1.58K photos
208 videos
11 files
2.04K links
Все о машинном обучении

админ - @workakkk

@data_analysis_ml - анализ даннных

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram -лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python 📚

@datascienceiot - 📚

РКН: clck.ru/3FmrUw
Download Telegram
🖥 Универсальный алгоритм расчета потерь рабочего времени на Python

1. Постановка задачи, частные решения и их проблемы

2. Описание алгоритма

Разберём пошагово наш алгоритм.

Шаг 1:

Представим наш график как список словарей по временным отсечкам для каждого дня недели в следующем виде:

[{time: время, flag: цвет флага, start_finish: ‘’}]

◾️ время согласно графику работы: часы, минуты;
◾️ цвет флага: зелёный – после него время нужно учитывать, красный – после него время учитывать не нужно;
◾️ ‘’ – этому элементу позже будет присвоено значение «старт» или «финиш», в зависимости от того точка А или точка В расположена левее данной временной отсечки.

Для удобства восприятия покажем только values, но подразумеваем, что keys и фигурные скобки тоже присутствуют. В нашем случае получится следующий результат:

Понедельник:
[{time: 10:00, flag: зелёный, start_finish: ‘’},
{time: 19:00, flag: красный, start_finish: ‘’},
{time: 13:00, flag: красный, start_finish: ‘’},
{time: 14:00, flag: зелёный, start_finish: ‘’}]

И так для каждого дня.

Таким образом, на этом этапе нужно составить словарь, включающий режим работы по дням недели с учетом обеденного перерыва. Мы сознательно не приводим код для этой части работы, поскольку, по сути, это подготовка данных, а не сам алгоритм расчета потерь времени. Эта часть зависит от формата представления исходных данных.

Шаг 2:

Схожим образом представим точки A и B:
[{time: дата + время, flag: ‘’, start_finish: старт/финиш}]
▪️дата + время: год, месяц, день, часы, минуты;
▪️‘’ – на место этого элемента в дальнейшем будет подставлен красный или зелёный флаг, (по цвету флага ближайшего соседа слева на временной шкале);
▪️старт/финиш: старт – это точка А, финиш – В.

A: {time: 01.03.2023 11:00, flag: ‘’, start_finish: ‘старт’}
B: {time: 02.03.2023 11:00, flag: ‘’, start_finish: ‘финиш’}

Шаг 3:

Определим все дни между точками A и B включительно и подтянем из графика работы по этим дням все флаги, а также сами точки А и В. Данные из нашего примера превратятся в список. Теперь ключевой момент, на котором, собственно, и строится весь алгоритм: отсортируем список по возрастанию даты и времени. Это важно, т.к. позволит нам идти в цикле от отсечки к отсечке, проверяя, нужно ли включать следующий за ней отрезок в расчет.

[{time: 01.03.2023 10:00, flag: ‘зелёный’, start_finish: ‘’}
{time: 01.03.2023 11:00, flag: ‘’, start_finish: ‘старт’}
{time: 01.03.2023 13:00, flag: ‘красный’, start_finish: ‘’}
{time: 01.03.2023 14:00, flag: ‘зелёный’, start_finish: ‘’}
{time: 01.03.2023 19:00, flag: ‘красный’, start_finish: ‘’}
{time: 02.03.2023 10:00, flag: ‘зелёный’, start_finish: ‘’}
{time: 02.03.2023 13:00, flag: ‘красный’, start_finish: ‘’}
{time: 02.03.2023 13:30, flag: ‘’, start_finish: ‘финиш’}]


Код для шагов 2 и 3:

Подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
👍83🔥3
🔥 Дайджест полезных материалов из мира машинного обучения за неделю

Почитать:
Искусство ETL. FAQ по Data Cooker ETL
Переходим на Greenplum быстро
Microsoft предлагает БЕСПЛАТНЫЕ онлайн курсы с сертификацией
Azure Data Factory + Databricks. Миграция сценариев
инициализации в Databricks из DBFS в Workspace 2023/2024
7 шагов по контейнеризации Python-приложений
20 проектов по аналитике данных для новичков в 2023 году
Форматы ORC и Parquet на базе HDFS
MySQL в Google Colab: Бесшовная интеграция
Идея: дифференцированный безусловный базовый доход
ML в полях. Как упростить жизнь агрономов?
Искусство ETL. Пишем собственный движок SQL на Spark [часть 5 из 5]
Разбираемся в отличии среднего чека от ARPU на примере одного интернет-магазина
10 Exceptional Free Data Science Tools Launched in 2023
MetaMath Boosts AI Mathematical Reasoning with LLM Enhancements
Researchers Develop a More Efficient Way to Fine-Tune Large Language Models for Long Text Sequences
Evento de Marketing com Inteligência Artificial Gratuito
How to learn AI and get RICH in the AI revolution
Text Classification with Natural Language Processing (NLP) in Python using Scikit-Learn
Oulu University and Futurewei Technologies Unveil Algorithm for Optimizing 6G Communications in Dynamic Metaverse Environments
Reinforcement Learning with TEXT2REWARD’s Automated Reward Function Design Using Advanced Language Models
Researchers Unveil Revolutionary LSC Framework for Optimized Machine-to-Machine Communication
ML & AI: From Problem Framing to Integration

Посмотреть:
🌐 Python Matplotlib. Визуализация данных на PRO уровне. ( 24:43)
🌐 Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior. ( 20:28)
🌐 Уроки Golang с нуля /#29 - Дженерики/обобщения ( 10:52)
🌐 Уроки Golang с нуля /#30 - Горутины ( 08:09)
🌐 Революционный генератор музыки на основе искусственного интеллекта ( 00:12)
🌐 Серьезные проблемы с безопасностью в телеграм! ( 00:24)
🌐 Lightning Interview "Risk and Reward: Unraveling Machine Learning for High-Risk Applications" ( 52:37)
🌐 Framework and Lessons Learned from Building a Generative AI Application - Jason Tan ( 24:08)
🌐 Generative AI for Biomedical Insights: Solutions through OpenBIOML and BIO GP - Bidyut Sarkar ( 30:40)
🌐 OpenAI's DALL-E 3 - The King Is Back! ( 04:52)
🌐 NVIDIA’s DLSS 3.5: This Should Be Impossible! ( 08:29)

Хорошего дня!

@machinelearning_ru
👍8🔥32
Bridge with NumPy! 🌉

Тензоры в PyTorch тесно связаны с массивами NumPy.

Они имеют много общего, что делает переход между ними "бесшовным"!
🔄

@machinelearning_ru
👍72🔥1
🖥 Open Source Library that let's you log and visualise LLM prompts

Разработка промптов - ключевой момент для получения максимальной отдачи от любой большой языковой модели!

Но вручную экспериментировать с различными прокатами, чтобы найти эффективную для вашего случая, - задача не из простых.

Предлагаем вашему вниманию новую библиотеку с открытым исходным кодом, позволяющую регистрировать и визуализировать подсказки LLM.

pip install comet_llm

Github

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥21
📌 Руководство для хакеров по языковым моделям

Jupiter
Github

@machinelearning_ru
👍3🔥21
This media is not supported in your browser
VIEW IN TELEGRAM
🔥SeqDeepFake: Detecting and Recovering Sequential DeepFake Manipulation

Фреймворк для обнаружение дипфейков (Seq-DeepFake).

Проект содежит датасет включающий ~85 к. аннотирован
ных изображений с лицами.

Github: https://github.com/rshaojimmy/seqdeepfake

Project: https://rshaojimmy.github.io/Projects/SeqDeepFake

Paper: https://arxiv.org/abs/2309.14991v1

Dataset: https://paperswithcode.com/dataset/imagenet

@machinelearning_ru
6🔥1
🔥 Mistral-7B-v0.1 LLM.

Mistral-7B-v0.1 - новейшая большая языковая модель (LLM) компании Mistral AI. Необработанные веса модели распространяются с помощью Bittorrent и на Hugging Face.

🖥 Github: https://github.com/mistralai/mistral-src

📕 Docs : https://arxiv.org/abs/2309.14405v1

📌 Quickstart: https://docs.mistral.ai/quickstart/

🚀 APi: https://docs.mistral.ai/api/

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍1🔥1
📃 Датасет с русскоязычными отзывами на организации от Яндекс

Содержит адрес и название организации, список рубрик (например, бар, кофейня), оценку пользователя и текст отзыва. Всего в датасете 500 тысяч отзывов, собранных с января по июнь 2023 года.

📌 GitHub
📌 Статья на Хабр

@machinelearning_ru
👍122🔥2
Яндекс открыл подачу заявок на научную премию в области машинного обучения

Стать претендентами на Yandex ML Prize могут студенты, молодые ученые и их научные руководители, которые занимаются исследованиями машинного обучения.

В этом году организаторы впервые отметят исследователей генеративных моделей. Также премию можно получить за успехи в сфере распознавания и синтеза речи, компьютерного зрения, информационного поиска и анализа данных и обработки естественного языка.

Лауреаты получат денежную премию до 1 млн рублей, грант от Yandex Cloud на использование сервиса для исследований и подписка на Яндекс 360.
👍73🔥1
🔥 Дайджест полезных материалов из мира Машинного обучения за неделю

Почитать:
Как начать в DL: книги и курсы
Визуализация распределений вероятностей в Python.
Попросил нейросеть нарисовать биологические объекты: посмотрите, какая дичь получилась
Галлюцинации нейросетей: что это такое, почему они возникают и что с ними делать
Hadoop в любой непонятной ситуации. Как выжить кластеру в большой ML команде
Как развернуть свой собственный ChatGPT, только лучше
Всё идет по плану: как задавать роботу список действий с помощью языковых моделей и голосовых команд
Когда стоит заменить A/B-тестирование сэмплированием Томпсона
Яндекс Карты открывают крупнейший русскоязычный датасет отзывов на организации
Распознавание по цвету. Как мы выбирали между классическими алгоритмами и нейросетями
Исследования возможностей нейронных сетей глубокого обучения в распознавании маскируемого трафика
Create a ChatGPT Chatbot from YouTube videos and Podcasts
An Overview of the Path to Machine Learning Engineering
Lo que necesitas para iniciar con Gen AI utilizando PaLM 2 y MakeSuite
Pipeless vs Nvidia DeepStream
BakaLLM, part 2
Future Prospects and Growth of AI and ChatGPT
Data Analysis with SQL
Understanding SVM
Mistral 7B Beats Llama 2 13B on All Benchmarks
Predicting Poverty Reduction in Nigeria: A Machine Learning Approach

Посмотреть:
🌐 Large Language Models Are Not (Necessarily) Generative Ai - Karin Verspoor, PhD ( 29:59)
🌐 Evolving Trends in Prompt Engineering for LLMs with Built-in Responsible AI Practices ( 33:21)

Хорошего дня!

@machinelearning_ru
👍8🔥21
В начале сентября Яндекс провел Practical ML Conf, а сейчас опубликовали плейлист с записями всех докладов.

Что интересного:
- Доклад про обучение, продуктовое внедрение и обновление языковой модели YandexGPT;
- Доклад про обучение GigaChat от SberDevices (от предобучения до RLHF-пайплайна);
- Доклад о распределенном DL и способности системы продолжать корректно работать при падении одной или нескольких подсистем, от которых она зависит (zero-fault tolerance);
- Доклад про Kandinsky от Сбера (задача генерации изображений и видео по текстовому запросу, основные методы, архитектуры, данные для обучения, метрики оценки качества);
- Доклад про системы сканирования на базе компьютерного зрения в серии роботов Яндекс Маркета;
- Доклад про прогноз спроса в Яндекс Лавке (от бейзлайна до Time2Boost)

Записи всех докладов

@machinelearning_ru
👍62🔥1🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
🦜 Editing Personality for LLMs

Новый фреймворк для редактирования личностных качеств больших языковых моделей (LLM). Easyedit позволяет выполнять корректировку ответов моделей на вопросы, связанные с мнением по заданной тематике.
Проект содержитновый эталонный набор данных PersonalityEdit.

🖥 Github: https://github.com/zjunlp/easyedit

📕 Paper: https://arxiv.org/abs/2310.02168v1

⭐️ Dataset: https://drive.google.com/file/d/1WRo2SqqgNtZF11Vq0sF5nL_-bHi18Wi4/view

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🔥1
📃 Как нейросети используются в беспилотном автомобиле для предсказания всех участников дорожного движения и для планирования движения самого транспорта

Разработчики Яндекса разобрали логику движения беспилотного автомобиля, показали примеры свёрточных и трансформерных архитектур моделей для предсказания движения.

Из статьи можно узнать:

👉 В чём преимущества машинного обучения перед эвристиками и чем может помочь Reinforcement Learning.

👉В чём проблемы Behavioral Cloning и как их решать.

👉 Почему в компании пока не применяют подход end-to-end для планирования движения.

📌 Статья на Хабр

@machinelearning_ru
6👍1🔥1
🖥 Development with Large Language Models Tutorial – OpenAI, Langchain, Agents, Chroma

Большие языковые модели (например, ChatGPT) могут помочь вам в решении многих задач.

Например, создание динамических пользовательских интерфейсов, навигация по тоннам текстовых данных и многое другое.

В этом курсе вы узнаете об основах и о том, как использовать LLM в своих проектах.

Видео
Colab notebook

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥21