Data Secrets
77.4K subscribers
6.05K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Функция where() в numpy VS в pandas

Рассказываем про каждую функцию отдельно и сравниваем их. Кстати, иногда pd.where() очень удобно использовать вместо apply, а заодно и время с памятью экономится.

😻 #python
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍698😨6
На словах ты Лев Толстой, а на тесте...

😻 #memes
Please open Telegram to view this post
VIEW IN TELEGRAM
👍60😁288👏4
Подборка ближайших хакатонов от нашей редакции

1) Рекламатон по анализу данных от МТС совместно с НИУ ВШЭ. Задача: нужно за два дня разработать прототип продукта и создать модель нового маркетингового инструмента для работы с Телеграм. Ищут "студентов владеющих навыками анализа данных в Python и готовых применить их в практической задаче". Победителям обещают оффер. Регистрация до 28 июня.

2) CodeRun. Нужно решать задачи с Тренировок по алгоритмам от Яндекса, Yandex Cup и многих других мероприятий. Чем больше решишь – тем выше рейтинг. Есть треки по анализу данных, мобильной разработке, фронтенду, бэкенду и ML2.

3) Соревнование по структуризации чеков ОФД. Соревнование на ODS от Альфы. Включает csv-соревнование, Docker-соревнование и доразметку. Идет до 1 июля.

4) ML мини-контест ВКонтакте. Первый этап – составление рекомендаций для пользователей. Следующие этапы открываются постепенно.

5) Profbuh hackathon. Командный хакатон (2-6 человек) с призовым фондом 300к. Кейс: автоматическое создание текстовых публикаций на основе записанного видео. Регистрация до 19 июня.

😻 #advice
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥95
This media is not supported in your browser
VIEW IN TELEGRAM
Google выкатили новую нейросеть, которая даёт примерить одежду

Нейросеть назвали TryOn Diffusion и уже внедрили в Google Shopping. ИИ создает реалистичные изображения одежды на реальных моделях с различными формами тела, позволяя клиентам видеть сложные детали, такие как драпировка одежды, растяжение и образование складок.

Архитектура основана на диффузии и алгоритме перекрестного внимания. Сила сети в том, что, в отличии от предыдущих работ, она решает задачи деформации одежды и сохранения ее деталей параллельно (это назвали Parallel-UNet), а не последовательно.

В Google признают, что работает сетка пока не идеально: есть некоторые проблемы с особенностями тел и сегментацией поз. Тем не менее, это новое интересное слово в онлайн-шоппинге и генеративном ИИ.

😻 #news
Please open Telegram to view this post
VIEW IN TELEGRAM
👍40🤯15🔥53🙈1
Пиво и подгузники: введение в ассоциативные правила

Обучение на ассоциативных правилах (Associations rules learning, ARL) представляет из себя, с одной стороны, простой, с другой — довольно часто применимый в реальной жизни метод поиска взаимосвязей в айтемсетах. По сути, это правила вида "Кто купил Х, тот купит У".

Впервые подробно об этом заговорил Piatesky-Shapiro G в работе “Discovery, Analysis, and Presentation of Strong Rules.” (1991). А в 1992 исследователи с помощью таких правил вывели очень интересную закономерность: с этой истории и начнем знакомство с ARL.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥29👍15🌚4
Нашли отличный гайд по SQL в виде схем Canvas

Сойдет также в виде красивой подробной шпаргалки. В документе есть все что нужно от уровня beginner и до advanced:

– введение в базы данных и основы инструкции SELECT
– синтаксис запросов и лучшие практики известных big Data компаний
– введение в основные понятия (например фильтрация и агрегирование)
– расширенные концепции, такие как оконные функции и массивы

А еще набор вопросов и задач для проверки знаний по каждому пункту, сторонние полезные ссылки и специальное руководство для тех, кто переходит на SQL с Excel. Из минусов: все по-английски. Но зато бесплатно и красиво!

😻 #advice
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍476🤯5🤨3🔥1😨1
Шутка дня:

– Куда датасаентисты уезжают на отдых?
– В случайный лес

😻 #memes
Please open Telegram to view this post
VIEW IN TELEGRAM
😁162🤓23🤪13👍11🐳6😐6🗿6🤯3🤨21
Тензоры и как с ними работать

Тезнзоры – это главные объекты библиотеки TensorFlow, которая вместе в PyTorch является основным инструментом для обучения нейросетей.

Но как работать с этими тензорами? Мы очень старались и выкатили вам по этой теме коллаб. В нем – подробный гайд с кодом и пояснениями. Разбираем, как создавать тензоры, какие есть важные операции с ними, как изменить их размерность, перемножить их и многое другое.

Сохраняйте на здоровье -> https://colab.research.google.com/github/Veron28/bot_test/blob/master/tensorflow_by_data_secrets.ipynb

😻 #python
Please open Telegram to view this post
VIEW IN TELEGRAM
65👍17❤‍🔥4🤯3
Очень интересный материал «HUMANS ARE BIASED.
GENERATIVE AI
IS EVEN WORSE» от Bloomberg


Авторы рассказывают о том, как нейросеть Stable Diffusion усиливает расовые и гендерные стереотипы. Например, все портреты по запросу «инженер» мужские. Люди, сгенерированные по запросу «преступник» – в основном темнокожие мужчины, а темнокожие женщины, по мнению нейросети, занимаются уборкой или продают бургеры.

При этом в мире SD все даже хуже, чем в реальности. Например, по запросу «доктор» нейросеть генерирует всего 7% женщин, хотя в реальности женщин-докторов 32%.

В конце можно посмотреть примеры генераций и прочитать рассуждения о том, кто в ответе за такой расизм и сексизм нейросети. Спойлерить не будем. Лучше расскажите: что думаете об этом?

😻 #advice
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯22😁16🌭125👍4🗿2🤔1👀1😨1
Что такое мультиколлинеарность и как от нее избавиться

Если кратко – это корреляция независимых переменных, которая затрудняет оценку и анализ общего результата. Мультиколлинеарность также может привести к оверфиту или стать причиной других трудностей. Подробнее – в карточках.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53🔥8
PandasAI

С появлением ChatGPT многие задачи были автоматизированы в удобных утилитах. Для датасайентистов тоже появился такой лакомый кусочек: PandasAI. Эта библиотека-расширение pandas, в которую добавлена возможность выполнять задачи обработки данных без явного написания кода. Пишешь промпт – и поехали. Можно даже рисовать графики и работать с файлами.

😻 #python
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥101👍15🤯12😐85