Подборка рабочих примеров обработки данных
Наш телеграм канал - tglink.me/ai_machinelearning_big_data
По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. Посмотрим, что интересного нам смогут показать одни из лучших примеров по обработке данных.
Схема работы с текущим постом унаследуется от моего поста про лучшие блокноты по ML и DS, а именно — сохранил в закладки → передал коллеге.
+ бонус в конце статьи — крутой курс от ФПМИ МФТИ.
image
Итак, давайте приступим.
Подборка датасетов с рабочими примерами обработки данных:
Suicide Rates Overview 1985 to 2016 — сравнение социально-экономической информации с показателями самоубийств по годам и странам.
#Python #DataMining #BigData
#Машинноеобучение
https://habr.com/ru/post/460557/
🔗 Подборка рабочих примеров обработки данных
Привет, читатель. По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами п...
Наш телеграм канал - tglink.me/ai_machinelearning_big_data
По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не секрет, что обучение на хороших примерах проходит эффективнее и быстрее. Посмотрим, что интересного нам смогут показать одни из лучших примеров по обработке данных.
Схема работы с текущим постом унаследуется от моего поста про лучшие блокноты по ML и DS, а именно — сохранил в закладки → передал коллеге.
+ бонус в конце статьи — крутой курс от ФПМИ МФТИ.
image
Итак, давайте приступим.
Подборка датасетов с рабочими примерами обработки данных:
Suicide Rates Overview 1985 to 2016 — сравнение социально-экономической информации с показателями самоубийств по годам и странам.
#Python #DataMining #BigData
#Машинноеобучение
https://habr.com/ru/post/460557/
🔗 Подборка рабочих примеров обработки данных
Привет, читатель. По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами п...
Хабр
Подборка рабочих примеров обработки данных
Привет, читатель. По стопам моего первого поста подборки датасетов для машинного обучения — сделаю подборку относительно свежих датасетов с рабочими примерами по обработке данных. Ведь ни для кого не...
Новый метод кластерного анализа
В работе предлагается новый метод кластерного анализа. Его преимущество в менее сложном с вычислительной точки зрения алгоритме. Метод основан на расчете голосов за то, что пара объектов находится в одном классе из информации о значении отдельных координат.
#Машинноеобучение
https://habr.com/ru/post/461721/
🔗 Новый метод кластерного анализа
В работе предлагается новый метод кластерного анализа. Его преимущество в менее сложном с вычислительной точки зрения алгоритме. Метод основан на расчете голосо...
В работе предлагается новый метод кластерного анализа. Его преимущество в менее сложном с вычислительной точки зрения алгоритме. Метод основан на расчете голосов за то, что пара объектов находится в одном классе из информации о значении отдельных координат.
#Машинноеобучение
https://habr.com/ru/post/461721/
🔗 Новый метод кластерного анализа
В работе предлагается новый метод кластерного анализа. Его преимущество в менее сложном с вычислительной точки зрения алгоритме. Метод основан на расчете голосо...
Хабр
Новый метод кластерного анализа
В работе предлагается новый метод кластерного анализа. Его преимущество в менее сложном с вычислительной точки зрения алгоритме. Метод основан на расчете голосов за то, что пара объектов находится в...
Data Version Control (DVC): версионирование данных и воспроизводимость экспериментов
Эта статья — своеобразный мастер-класс «DVC для автоматизации ML экспериментов и версионирования данных», который прошел 18 июня на митапе ML REPA (Machine Learning REPA:
Reproducibility, Experiments and Pipelines Automation) на площадке нашего банка.
Тут я расскажу об особенностях внутренней работы DVC и способах применения его в проектах.
Примеры кода, используемые в статье доступны здесь. Код тестировался на MacOS и Linux (Ubuntu).
#Машинноеобучение
https://habr.com/ru/company/raiffeisenbank/blog/461803/
🔗 Data Version Control (DVC): версионирование данных и воспроизводимость экспериментов
Эта статья — своеобразный мастер-класс «DVC для автоматизации ML экспериментов и версионирования данных», который прошел 18 июня на митапе ML REPA (Machine Learn...
Эта статья — своеобразный мастер-класс «DVC для автоматизации ML экспериментов и версионирования данных», который прошел 18 июня на митапе ML REPA (Machine Learning REPA:
Reproducibility, Experiments and Pipelines Automation) на площадке нашего банка.
Тут я расскажу об особенностях внутренней работы DVC и способах применения его в проектах.
Примеры кода, используемые в статье доступны здесь. Код тестировался на MacOS и Linux (Ubuntu).
#Машинноеобучение
https://habr.com/ru/company/raiffeisenbank/blog/461803/
🔗 Data Version Control (DVC): версионирование данных и воспроизводимость экспериментов
Эта статья — своеобразный мастер-класс «DVC для автоматизации ML экспериментов и версионирования данных», который прошел 18 июня на митапе ML REPA (Machine Learn...
Хабр
Data Version Control (DVC): версионирование данных и воспроизводимость экспериментов
Эта статья — своеобразный мастер-класс «DVC для автоматизации ML экспериментов и версионирования данных», который прошел 18 июня на митапе ML REPA (Machine Learning REPA: Reproducibility,...
Визуализация новостей рунета
Представьте себе, что вы поспорили с друганом, что было раньше — курица или яйцо повышение какого-то налога, к примеру, или новости на эту тему, или вовсе важное событие заглушили тучей новостей про новую песню, скажем, Киркорова. Удобно было бы посчитать, сколько новостей на каждую тему было в каждый конкретный момент времени, а потом наглядно это представить. Собственно, этим и занимается проект “радар новостей рунета”. Под катом мы расскажем, при чём здесь машинное обучение и как любой доброволец может в этом поучаствовать.
#DataMining
https://habr.com/ru/company/ods/blog/460287/
#Машинноеобучение
🔗 Визуализация новостей рунета
Представьте себе, что вы поспорили с друганом, что было раньше — курица или яйцо повышение какого-то налога, к примеру, или новости на эту тему, или вовсе важн...
Представьте себе, что вы поспорили с друганом, что было раньше — курица или яйцо повышение какого-то налога, к примеру, или новости на эту тему, или вовсе важное событие заглушили тучей новостей про новую песню, скажем, Киркорова. Удобно было бы посчитать, сколько новостей на каждую тему было в каждый конкретный момент времени, а потом наглядно это представить. Собственно, этим и занимается проект “радар новостей рунета”. Под катом мы расскажем, при чём здесь машинное обучение и как любой доброволец может в этом поучаствовать.
#DataMining
https://habr.com/ru/company/ods/blog/460287/
#Машинноеобучение
🔗 Визуализация новостей рунета
Представьте себе, что вы поспорили с друганом, что было раньше — курица или яйцо повышение какого-то налога, к примеру, или новости на эту тему, или вовсе важн...
Хабр
Визуализация новостей рунета
Представьте себе, что вы поспорили с друганом, что было раньше — курица или яйцо повышение какого-то налога, к примеру, или новости на эту тему, или вовсе важное событие заглушили тучей...
Визуализация зависимостей и наследований между моделями машинного обучения
Несколько месяцев назад я столкнулся с проблемой, моя модель построенная на алгоритмах машинного обучения просто на просто не работала. Я долго думал над тем, как решить эту проблему и в какой-то момент осознал что мои знания очень ограничены, а идеи скудны. Я знаю пару десятков моделей, и это очень малая часть тех работ которые могут быть очень полезны.
Первая мысль которая пришла в голову это то что, если я буду знать и пойму больше моделей, мои качества как исследователя и инженера в целом, возрастут. Эта идея подтолкнула меня к изучению статей с последних конференций по машинному обучению. Структурировать такую информацию довольно сложно, и необходимо записывать зависимости и связи между методами. Я не хотел представлять зависимости в виде таблицы или списка, а хотелось что-то более естественное. В итоге, я понял что иметь для себя трехмерный граф с ребрами между моделями и их компонентами, выглядит довольно интересно.
Например, архитектурно GAN [1] состоит из генератора (GEN) и дискриминатора (DIS), Состязательный Автокодировщик (AAE) [2] состоит из Автокодировщика (AE) [3] и DIS,. Каждый компонент является отдельной вершиной в данном графе, поэтому для AAE у нас будет ребро с AE и DIS.
Шаг за шагом, я анализировал статьи, выписывал из каких методов они состоят, в какой предметной области они применяются, на каких данных они тестировались, и так далее. В процессе работы я понял сколько очень интересных решений остаются неизвестными, и не находят своего применения.
#Машинноеобучение
#Искусственныйинтеллект
https://habr.com/ru/post/463175/
🔗 Визуализация зависимостей и наследований между моделями машинного обучения
Несколько месяцев назад я столкнулся с проблемой, моя модель построенная на алгоритмах машинного обучения просто на просто не работала. Я долго думал над тем,...
Несколько месяцев назад я столкнулся с проблемой, моя модель построенная на алгоритмах машинного обучения просто на просто не работала. Я долго думал над тем, как решить эту проблему и в какой-то момент осознал что мои знания очень ограничены, а идеи скудны. Я знаю пару десятков моделей, и это очень малая часть тех работ которые могут быть очень полезны.
Первая мысль которая пришла в голову это то что, если я буду знать и пойму больше моделей, мои качества как исследователя и инженера в целом, возрастут. Эта идея подтолкнула меня к изучению статей с последних конференций по машинному обучению. Структурировать такую информацию довольно сложно, и необходимо записывать зависимости и связи между методами. Я не хотел представлять зависимости в виде таблицы или списка, а хотелось что-то более естественное. В итоге, я понял что иметь для себя трехмерный граф с ребрами между моделями и их компонентами, выглядит довольно интересно.
Например, архитектурно GAN [1] состоит из генератора (GEN) и дискриминатора (DIS), Состязательный Автокодировщик (AAE) [2] состоит из Автокодировщика (AE) [3] и DIS,. Каждый компонент является отдельной вершиной в данном графе, поэтому для AAE у нас будет ребро с AE и DIS.
Шаг за шагом, я анализировал статьи, выписывал из каких методов они состоят, в какой предметной области они применяются, на каких данных они тестировались, и так далее. В процессе работы я понял сколько очень интересных решений остаются неизвестными, и не находят своего применения.
#Машинноеобучение
#Искусственныйинтеллект
https://habr.com/ru/post/463175/
🔗 Визуализация зависимостей и наследований между моделями машинного обучения
Несколько месяцев назад я столкнулся с проблемой, моя модель построенная на алгоритмах машинного обучения просто на просто не работала. Я долго думал над тем,...
Хабр
Визуализация зависимостей и наследований между моделями машинного обучения
Несколько месяцев назад я столкнулся с проблемой, моя модель построенная на алгоритмах машинного обучения просто на просто не работала. Я долго думал над тем,...
Эволюция интеллекта: зачем роботам эмоции
Наш телеграм канал - tglink.me/ai_machinelearning_big_data
Эмоции и интеллект, физики и лирики. Сколько уже времени длится противопоставление этих категорий?
Казалось бы, всем известно, что эмоции мешают интеллекту и мы ценим в людях хладнокровие, восхищаемся их умением не поддаться эмоциям и поступить рационально. С другой стороны, отсутствие эмоций тоже нам не очень-то по душе. Вполне возможно, что, не всем нравятся педанты и сухари и когда они проявляют эмоции нам бывает кажется, что это и есть сама человечность.
Что же такое эмоции? Эксклюзивное ли это качество человека или ими обладают еще и животные? И, наконец, нужны ли эмоции роботам и могут ли они у них быть вообще?
Всех, кто интересуются такими вопросами и любит пофилософствовать, добро пожаловать под кат.
#Машинноеобучение #Искусственныйинтеллект
https://habr.com/ru/post/464097/
🔗 Эволюция интеллекта: зачем роботам эмоции
Эмоции и интеллект, физики и лирики. Сколько уже времени длится противопоставление этих категорий? Казалось бы, всем известно, что эмоции мешают интеллекту и м...
Наш телеграм канал - tglink.me/ai_machinelearning_big_data
Эмоции и интеллект, физики и лирики. Сколько уже времени длится противопоставление этих категорий?
Казалось бы, всем известно, что эмоции мешают интеллекту и мы ценим в людях хладнокровие, восхищаемся их умением не поддаться эмоциям и поступить рационально. С другой стороны, отсутствие эмоций тоже нам не очень-то по душе. Вполне возможно, что, не всем нравятся педанты и сухари и когда они проявляют эмоции нам бывает кажется, что это и есть сама человечность.
Что же такое эмоции? Эксклюзивное ли это качество человека или ими обладают еще и животные? И, наконец, нужны ли эмоции роботам и могут ли они у них быть вообще?
Всех, кто интересуются такими вопросами и любит пофилософствовать, добро пожаловать под кат.
#Машинноеобучение #Искусственныйинтеллект
https://habr.com/ru/post/464097/
🔗 Эволюция интеллекта: зачем роботам эмоции
Эмоции и интеллект, физики и лирики. Сколько уже времени длится противопоставление этих категорий? Казалось бы, всем известно, что эмоции мешают интеллекту и м...
Массивный набор трёхмерных данных помогает роботам разбираться в устройстве вещей
#Машинноеобучение
#Искусственныйинтеллект
Наш телеграм канал - tglink.me/ai_machinelearning_big_data
PartNet – новая семантическая база данных повседневных объектов, выводящая степень понимания роботами окружающего мира на новый уровень
В базе содержится не менее 26 671 3D-модели из 24 категорий объектов, каждая из которых снабжена подробной трёхмерной информацией.
Одна из способностей человека, позволяющих нам так хорошо адаптироваться к окружающему миру, состоит в возможности понимать разные вещи сразу категориями целиком, а потом использовать это обобщённое понимание, чтобы разбираться с какими-то конкретными вещами, которые нам раньше не встречались. Представьте себе, например, лампу. Никто не видел все существующие в мире лампы. Но в большинстве случаев мы, впервые входя в новый дом, легко сможем найти всех имеющиеся там лампы, и понять, как они работают. Конечно, иногда мы сможем встретить что-то очень странное, что вынудит нас спросить: «Ого, это что, лампа? А как её включать?» Но в большинстве случаев наша обобщённая ментальная модель лампы спасает нас.
https://habr.com/ru/post/464583/
🔗 Массивный набор трёхмерных данных помогает роботам разбираться в устройстве вещей
PartNet – новая семантическая база данных повседневных объектов, выводящая степень понимания роботами окружающего мира на новый уровень В базе содержится не мен...
#Машинноеобучение
#Искусственныйинтеллект
Наш телеграм канал - tglink.me/ai_machinelearning_big_data
PartNet – новая семантическая база данных повседневных объектов, выводящая степень понимания роботами окружающего мира на новый уровень
В базе содержится не менее 26 671 3D-модели из 24 категорий объектов, каждая из которых снабжена подробной трёхмерной информацией.
Одна из способностей человека, позволяющих нам так хорошо адаптироваться к окружающему миру, состоит в возможности понимать разные вещи сразу категориями целиком, а потом использовать это обобщённое понимание, чтобы разбираться с какими-то конкретными вещами, которые нам раньше не встречались. Представьте себе, например, лампу. Никто не видел все существующие в мире лампы. Но в большинстве случаев мы, впервые входя в новый дом, легко сможем найти всех имеющиеся там лампы, и понять, как они работают. Конечно, иногда мы сможем встретить что-то очень странное, что вынудит нас спросить: «Ого, это что, лампа? А как её включать?» Но в большинстве случаев наша обобщённая ментальная модель лампы спасает нас.
https://habr.com/ru/post/464583/
🔗 Массивный набор трёхмерных данных помогает роботам разбираться в устройстве вещей
PartNet – новая семантическая база данных повседневных объектов, выводящая степень понимания роботами окружающего мира на новый уровень В базе содержится не мен...
Как я учил змейку играть в себя с помощью Q-Network
#Python #Машинноеобучение
Однажды, исследуя глубины интернета, я наткнулся на видео, где человек обучает змейку с помощью генетического алгоритма. И мне захотелось так же. Но просто взять все то же самое и написать на python было бы не интересно. И я решил использовать более современный подход для обучения агентных систем, а именно Q-network. Но начнем с начала.
Обучение с подкреплением
В машинном обучении RL(Reinforcement Learning) достаточно сильно отличается от других направлений. Отличие состоит в том, что классический ML алгоритм обучается уже на готовых данных, в то время как RL, так сказать, сам создает себе эти данные. Идея RL состоит в том, что помимо самого алгоритма, который называют агентом, существует среда(environment), в которую этот агент и помещается. На каждом этапе агент должен совершать какое-то действие(action), а среда отвечает на это наградой(reward) и своим состоянием(state), на основе которого агент и совершает действие.
DQN
Здесь должно быть объяснение того, как алгоритм работает, но я оставлю ссылку на то, где это объясняют умные люди.
https://habr.com/ru/post/465477/
🔗 Как я учил змейку играть в себя с помощью Q-Network
Однажды, исследуя глубины интернета, я наткнулся на видео, где человек обучает змейку с помощью генетического алгоритма. И мне захотелось так же. Но просто взять...
#Python #Машинноеобучение
Однажды, исследуя глубины интернета, я наткнулся на видео, где человек обучает змейку с помощью генетического алгоритма. И мне захотелось так же. Но просто взять все то же самое и написать на python было бы не интересно. И я решил использовать более современный подход для обучения агентных систем, а именно Q-network. Но начнем с начала.
Обучение с подкреплением
В машинном обучении RL(Reinforcement Learning) достаточно сильно отличается от других направлений. Отличие состоит в том, что классический ML алгоритм обучается уже на готовых данных, в то время как RL, так сказать, сам создает себе эти данные. Идея RL состоит в том, что помимо самого алгоритма, который называют агентом, существует среда(environment), в которую этот агент и помещается. На каждом этапе агент должен совершать какое-то действие(action), а среда отвечает на это наградой(reward) и своим состоянием(state), на основе которого агент и совершает действие.
DQN
Здесь должно быть объяснение того, как алгоритм работает, но я оставлю ссылку на то, где это объясняют умные люди.
https://habr.com/ru/post/465477/
🔗 Как я учил змейку играть в себя с помощью Q-Network
Однажды, исследуя глубины интернета, я наткнулся на видео, где человек обучает змейку с помощью генетического алгоритма. И мне захотелось так же. Но просто взять...
Хабр
Как я учил змейку играть в себя с помощью Q-Network
Однажды, исследуя глубины интернета, я наткнулся на видео, где человек обучает змейку с помощью генетического алгоритма. И мне захотелось так же. Но просто взять все то же самое и написать на...
Учебное пособие по TensorFlow: 10 минутное практическое занятие по TensorFlow для начинающих [перевод]
#Python #Машинноеобучение
Представляю вашему вниманию перевод статьи "TensorFlow Tutorial: 10 minutes Practical TensorFlow lesson for quick learners" автора Ankit Sachan.
Этот туториал по TensorFlow предназначен для тех, кто имеет общее представление о машинном обучении и пытается начать работу с TensorFlow.
https://habr.com/ru/post/465745/
🔗 Учебное пособие по TensorFlow: 10 минутное практическое занятие по TensorFlow для начинающих [перево
Привет, Хабр! Представляю вашему вниманию перевод статьи "TensorFlow Tutorial: 10 minutes Practical TensorFlow lesson for quick learners" автора Ankit Sachan. Эт...
#Python #Машинноеобучение
Представляю вашему вниманию перевод статьи "TensorFlow Tutorial: 10 minutes Practical TensorFlow lesson for quick learners" автора Ankit Sachan.
Этот туториал по TensorFlow предназначен для тех, кто имеет общее представление о машинном обучении и пытается начать работу с TensorFlow.
https://habr.com/ru/post/465745/
🔗 Учебное пособие по TensorFlow: 10 минутное практическое занятие по TensorFlow для начинающих [перево
Привет, Хабр! Представляю вашему вниманию перевод статьи "TensorFlow Tutorial: 10 minutes Practical TensorFlow lesson for quick learners" автора Ankit Sachan. Эт...
Хабр
Учебное пособие по TensorFlow: 10 минутное практическое занятие по TensorFlow для начинающих [перевод]
Привет, Хабр! Представляю вашему вниманию перевод статьи "TensorFlow Tutorial: 10 minutes Practical TensorFlow lesson for quick learners" автора Ankit Sachan. Этот туториал по TensorFlow предназначен...
19 марта (четверг) в 19:30
Онлайн-лекция "Машины, которые играют в игры и игры, в которые играют машины"
📢 На лекции мы поговорим о том, какую роль игры занимают в разработке систем машинного интеллекта.
🤖 Начнём с простых примеров — игры ним, ниматрона и крестиков-ноликов, узнаем, в каких случаях и каким образом машины уже сейчас могут играть «на уровне бога», взглянем на историю компьютерных шашек, шахмат, го и покера, познакомимся с возможностями машин в этих играх, увидим своими глазами игру двух шахматных программ.
🤖 Познакомимся с примерами того, чему искусственный интеллект может научить в играх людей. Также порассуждаем о том, в каких играх машины пока что уступают людям, разберём причины этого и попробуем дать несколько прогнозов в этой области.
🔎 Лектор: Сергей Марков, автор одной из сильнейших российских шахматных программ, специалист по методам машинного обучения и основатель портала XX2 ВЕК (https://22century.ru).
📌 По всем вопросам относительно лекции обращайтесь: по телефону +74950889281 или по почте arhe.msk@gmail.com
Стоимость трансляции лекции - 600 рублей.
Регистрация и оплата: https://bit.ly/38kmQcJ
Трансляция будет проводиться здесь: http://arhe.msk.ru/stream
#архэ #ии #искусственныйинтеллект #машинноеобучение #СергейМарков #машины #нейронныесети #нейросеть #Искусственный_интеллект_Архэ #игры #ним #шахматы #шашки #го #покер #крестикинолики
🔗 XX2 ВЕК
Новости науки и технологий. Социальные тенденции. Футурология
Онлайн-лекция "Машины, которые играют в игры и игры, в которые играют машины"
📢 На лекции мы поговорим о том, какую роль игры занимают в разработке систем машинного интеллекта.
🤖 Начнём с простых примеров — игры ним, ниматрона и крестиков-ноликов, узнаем, в каких случаях и каким образом машины уже сейчас могут играть «на уровне бога», взглянем на историю компьютерных шашек, шахмат, го и покера, познакомимся с возможностями машин в этих играх, увидим своими глазами игру двух шахматных программ.
🤖 Познакомимся с примерами того, чему искусственный интеллект может научить в играх людей. Также порассуждаем о том, в каких играх машины пока что уступают людям, разберём причины этого и попробуем дать несколько прогнозов в этой области.
🔎 Лектор: Сергей Марков, автор одной из сильнейших российских шахматных программ, специалист по методам машинного обучения и основатель портала XX2 ВЕК (https://22century.ru).
📌 По всем вопросам относительно лекции обращайтесь: по телефону +74950889281 или по почте arhe.msk@gmail.com
Стоимость трансляции лекции - 600 рублей.
Регистрация и оплата: https://bit.ly/38kmQcJ
Трансляция будет проводиться здесь: http://arhe.msk.ru/stream
#архэ #ии #искусственныйинтеллект #машинноеобучение #СергейМарков #машины #нейронныесети #нейросеть #Искусственный_интеллект_Архэ #игры #ним #шахматы #шашки #го #покер #крестикинолики
🔗 XX2 ВЕК
Новости науки и технологий. Социальные тенденции. Футурология