Data Secrets
77.9K subscribers
6.17K photos
614 videos
20 files
2.51K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Meta пообещали обучить модель уровня GPT4 уже в первом квартале 2024

Говорят, Meta закупает чипы Nvidia H100 и создает датацентры. Неужели собираются выкатить что-то взрывное? Так и есть – обещают нового чат-бота, который будет таким же мощным, как GPT-4 OpenAI. При этом Цукерберг снова настаивает на том, чтобы бот был открытым и бесплатным.

Гонка покруче Формулы-1

😻 #news
Please open Telegram to view this post
VIEW IN TELEGRAM
49🤯10👍7
Разбор задачи об игле Бюффона

Задача была сложной, но в комментах даже удалось получить верный ответ. А теперь вашему вниманию: разбор. Объяснили подробно, чтобы точно-точно было понятно.

😻 #задачи
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43🤯137
Черт побери, Git?!

Git сложен: легко всё испортить, и нереально понять как исправить. Мы нашли сайт, на котором автор изложил несколько распространенных операций, с которыми вам (скорее всего) придется столкнуться, если вы крутитесь где-то около программирования. В комплекте:

– где у git волшебная машина времени!?!
– я закоммитил и вспомнил, что кое-что забыл!
– я случайно закоммитил что-то в мастер, хотя это должно быть в новой ветке!
– и многое другое…

Есть дипломатичная версия и не очень. Советуем второе!

😻 #advice
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45🔥84
Keep calm and use boosting

😻 #memes
Please open Telegram to view this post
VIEW IN TELEGRAM
👍85😁41🔥1
Что такое NLP и как с этим работать

NLP
- эта область Data Science, которая изучает методы для автоматической работы с текстами, среди которых такие вещи как большие языковые модели и векторные представления слов. Освоить NLP сейчас – отличная инвестиция в будущее для любого IT-специалиста.

💡 Начните с бесплатного открытого урока «Прикладные методы автоматической обработки естественного языка» от OTUS.

В результате урока вы узнаете:

— основные NLP-задачи: от простой классификации спама до сложных диалоговых систем и моделей типа ChatGPT
— как обучать самые разные NLP-модели, чтобы они показывали state-of-the-art результат
— как меньше чем за час можно дообучить предобученную модель так, что она покажет результат лучше человека для некоторых NLP-задач

🎙️ Урок пройдёт 18 сентября в 18:00 мск в рамках курса «Natural Language Processing».

➡️ Пройдите бесплатное вступительное тестирование и зарегистрируйтесь на мероприятие

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
🗿5👍2🤔1🌚1🌭1🤪1
Распространенное заблуждение про стандартизацию

Звучит оно так: стандартизацией можно пользоваться, чтобы устранить ассиметрию/сделать распределение нормальным. Как бы не так.

Любые данные после применения этого преобразования останутся распределенными так же, как и до этого. Нормальное распределение останется нормальным, равномерное равномерным, и так далее.

Стандартизация способна повлиять только на масштаб данных. То же самое можно сказать и про Scaling. Это нужно для того, чтобы модель была устойчивее и чувствительнее.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
👍403
Google улучшил построение маршрутов на Картах

Люди, в среднем, двигаются оптимально. На этом факте основана одна из техник построения маршрутов – обратное обучение с подкреплением. Алгоритм анализирует реальные маршруты людей и извлекает скрытые критерии, которыми народ руководствуется при выборе пути. Однако применение такого подхода в масштабах планеты затруднительно: слишком много маршрутов.

Но в Google придумали, как это пофиксить. Там изобрели новый масштабируемый алгоритм Receding Horizon Inverse Planning. Он позволил впервые применить IRL в масштабах Земли и предугадывать путь, максимально похожий на тот, который юзер выбрал бы сам.

Точность маршрутов в Google Maps в итоге выросла на 24%.

😻 #news
Please open Telegram to view this post
VIEW IN TELEGRAM
👍50❤‍🔥52🤯2
Лемматизация и стемминг текста

Обычно тексты содержат разные грамматические формы одного и того же слова (например, "ученый" и "ученым"), а также в документе могут встречаться однокоренные слова. Как объяснить машине, что это по сути одно и то же? Для этого нужно текст нормализовать, то есть привести все встречающиеся словоформы к одной, нормальной словарной форме. Самые простой варианты это сделать – использовать стемминг и лемматизацию.

😻 #NN #train
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍35🔥74