Data Secrets
77.4K subscribers
6.05K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Как понять, какая IT-профессия вам подойдёт?

Бесплатный профориентационный проект «IT-рентген» от Skillfactory поможет определить подходящую профессию

Начните с прохождения теста: он определит, кто вы в мире IT — дата-сайентист, тестировщик,аналитик или разработчик

А 10 июля обязательно приходите на онлайн-встречу, на которой расскажут о трендах в IT-сфере,о наиболее простых точках входа и ошибках новичков

На встрече вы получите доступ к материалам, которые заменят более 100 вебинаров и сэкономят порядка 50 часов на поиске информации

Проходите тест и узнайте, кто вы в IT

Реклама. ООО "СКИЛФЭКТОРИ". ИНН 9702009530. 2RanynuHiDe
🤨5😐4🤔2🗿2🤯1
В новую версию Wolfram Mathematica будет добавлена LLM для помощи разработчику

Чтобы сохранить концепцию языка "Все – фукнции", LLM будет использоваться тоже в виде функций (список). Но при этом общность не теряется, потому что фукнций будет много, и к тому же работать они будут возможно даже чуть лучше, чем средний неструктурированный запрос к GPT, так как уже будут преднастроены нужным образом. Например, появятся фукнции InformalRephrase и CoverLetterSuggest. И, конечно, будет CodeWriter – карманный Copilot в WM. Даже можно будет, как в GPT, выбрать роль для ИИ (включая Стивена Вольфрама).

Кстати, плагин GPT от Wolfram сейчас в топе самых популярных, потому что в отличие от базового бота он блестяще справляется с математическими задачами и почти не врет в ответах. В GPT его можно попросить реализовать какой-нибудь алгоритм, посчитать предел, производную, нарисовать график, собрать данные и так далее. Поэтому новые возможности WM – это очень многообещающе и волнительно.

Вообще, концепция естественного языка для программирования – это точь-в-точь та идея, с которой Стивен Вольфрам создавал функциональный язык WolframMathematica. Поэтому добавление в него ИИ хорошо бьется с политкой компании и должно отлично вписаться.

😻 #news
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯229👍9🔥3👏2
Wikidata — 10 миллиардов бесплатных cтруктурированных фактов

Wikidata – это огромное хранилище данных, привязанное к Википедии. Каждое наблюдение имеет "отпечаток пальца" (описание на нескольких языках, другие названия и т.д.). При этом каждое наблюдение связано с некоторыми другими через «свойства» (идентификатор, начинающийся с P). Получается, что данные имеют вид мультиграфа. Например, на картинке фрагмент этого графа, связывающий ПО с Ubuntu.

Для этого графа ресерчерами из facebook были посчитаны эмбеддинги, так что помимо того, что за счет рекурсивных вызовов по графу мы можем расширять почти любые свои текстовые данные (пример), прямо на этих эмбеддингах можно обучать многие самостоятельные модели, например DistMult или RESCAL. Настоящий простор для исследований!

😻 #NN #train
Please open Telegram to view this post
VIEW IN TELEGRAM
👍33🙈1
Незабываемая пятерка: топ самых крутых датавизов от нашей редакции

Смотрим, залипаем и учимся: как превращать данные во что-то изящно простое и одновременно красивое на примере 5 дашбордов.

😻 #analytics
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
31👍10
При помощи умных часов и ML учёные научились идентифицировать людей с Паркинсоном за семь лет до клинического диагноз

Они обнаружили, что у многих людей некоторые симптомы начали появляться гораздо раньше, чем им ставили диагноз — например, замедление движений, снижение качества сна и тремор. Такие данные обычно отслеживаются любыми смарт-часами, а теперь еще и будут исследоваться алгоритмом на предпосылки Паркинсона. В общем, просто носишь часы и ждешь уведомления о том, что надо бы к врачу.

Новость, конечно, отличная, но прочитав ее, мы подумали, что задача вообще-то звучит как базовая с Kaggle. И действительно, нашли много чего похожего: например, вот и вот. Отсюда вопрос: как вы думаете, они использовали xgboost или LGBM?

😻 #news
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45😁6🤓21
Petl – эффективная замена pandas

Все мы любим pandas. Но нельзя отрицать, что на данных с миллионами строк панды – уже не панды, а черепахи. Petl не знает проблем ни со временем, ни с памятью, а интерфейс у него все такой же понятный и обширный. Посмотрите сами: пример кода в картинке.

Кто-нибудь уже пробовал?

😻 #pandas
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45🔥146
Однажды Эрнест Хемингуэй поспорил, что напишет самый короткий рассказ, способный заставить плакать любого…

😻 #memes
Please open Telegram to view this post
VIEW IN TELEGRAM
👍74😁33🔥115😐2😨2🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
Для тех, кто хочет научиться делать AB правильно

Основная проблема, с которой сталкиваются все, кто начинает изучать AB – это "а как практиковаться?". Это помимо того, что тема сама по себе сложная. Помните, мы рассказывали про особенности AB-тестов? Так вот это еще цветочки. В AB море нюансов и тонкостей, но без настоящей системы и пользователей познать все это невозможно. Ну, точнее, было невозможно.

Сейчас у karpovꓸcourses выходит AB-симулятор: суть в том, что вы на реальной инфраструктуре решаете нетривиальные кейсы с полным пайпланом, от выбора метрик до подведения итогов теста. Еще один плюс: одни вы не останетесь. С вами будут делиться опытом и отвечать на вопросы эксперты из X5 Retail Group и Blockchainꓸcom.

Есть два варианта: для тех, кто не хочет погружаться в статистику и программирование, и для тех, кто хочет продвинуто разобраться в AB. Так что подойдет каждому. Рекомендуем!

😻 #advice
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🤯4🍌3🤨3😁1
Media is too big
VIEW IN TELEGRAM
Animation vs Math

Очень залипательное видео. Спасибо нашему чату за присланное видео.

😻 #forfun
Please open Telegram to view this post
VIEW IN TELEGRAM
👍56❤‍🔥61👏1
Frozen Pretrained Transformer (FPT)

А вы задумывались, за счет чего GPT-подобные модели так круто решают разнокалиберные задачи? Все благодаря мощной обобщающей способности транформеров. Но вот вопрос, могут ли трансформеры также обобщаться и на другие модальности (картинки, битовые строки…)? В общем, разбираем сегодня статью Pretrained Transformers As Universal Computation Engines.

Статья | Код

😻 #NN
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍246🔥3🤔1
В пятницу 14 июля пройдет конференция по нейронным сетям и искусственному интеллекту НейроSet

На конференции будут доклады про создание Kandinsky 2.1, детекцию дипфейков, генеративные модели в физике высоких энергий, тюнинг и предтренировку LLM-ок, сопоставительное дообучение для получения иеархии представлений и многое другое. Всего 8 спикеров, даже нейропсихолог с естественными нейронными сетями есть.
 
Конференция рассчитана на крепких специалистов и тех, кто хочет актуализировать свои знания в смежных ML-областях. Поэтому можно участвовать, если вам не нужно объяснять, что такое сверточная сеть, все остальное - расскажут. А для CV/NLP инженеров и исследователей не участвовать - преступление: где еще будет такая высокая концентрация true-research докладов?
 
Конференция пройдет онлайн, регистрируйтесь на https://neuro-set.ru  Стоимость весьма символическая, 670 рублей, а если воспользуетесь промокодом DATASECRETS, то получите скидку 20%.  
 
📌 Трансляция уже в эту пятницу на https://neuro-set.ru
👍10🔥4🙈2
data-import_ru.pdf
1.3 MB
4 чит-листа для тех, кто пишет на R или хочет научиться

1) Импорт данных. Все про чтение таличных и нетабличных данных, типы данных и их сохранение.
data-transformation_ru.pdf
2.4 MB
2) Про транформацию данных. В комплекте: группировка, агрегация, сортировки, фильтрация и многое другое.
lubridate_ru.pdf
1.2 MB
3) Чит-лист по главной дата-время библиотеке в R – lubridate.
purrr_ru.pdf
1.6 MB
4) Применение фукнций с purrr: все про работу со списками и функциями.

Не забудьте сохранить!

😻 #advice
Please open Telegram to view this post
VIEW IN TELEGRAM
👍317👌5🤯2🔥1