Спустя 3 часа обучения би лайк

😻 #memes

LLaMA 2 вышла!

Есть варианты: 7B, 13B, 34B и 70B. Вот чем она отличается от первой версии тезисно:

– Добавили Grouped-Query Attention
– Токенов стало больше в два раза(2Т)
– Контекст увеличили до 4К
– И самое интересное: есть Chat версии. Они дообучены на диалог, и там даже есть RLHF, прямо как в ChatGPT. По качеству бот сравнимм с ChatGPT-3.5, однако на многих задачах ведет себя даже лучше.

И кстати, веса все-таки тоже опубликуют! Для получения доступа, правда, надо просить его на HuggingFace.

📖 Статья 🖥 Github 🤗 Demo

😻 #news

Нашли хороший курс по Data-инжинирингу, на котором будет очень много практики и очень много поддержки. Учат не только продумывать технический пайплайн, но и даже планировать бюджет на инфраструктуру проекта. Зайдите по ссылке ниже и посмотрите сами: там и Spark, и Airflow для оркестрации, и NOSQL, и Map-Reduce, и еще много чего про архитектуру и аналитику. Самые интересные фишки перечислили в карточке.

Старт потока 4 сентября, узнать больше и записаться можно тут

😻 #advice

Визуальное объяснение того, как работают нейросети

Некто Jared Wilber выкатил веб-страницу, на которой объясняет, как устроены нейросети. Получилось и не слишком сложно, но и не очень популярно, ведь без математической составялющей алгоритм все равно до конца не понять. Особенно радует динамическая визуализация и приятная структура. Страницу интересно и полезно почитать, даже если вы уже неплохо разбираетесь в теме, или если наоборот, не разбираетесь совсем. Советуем!

😻 #advice #NN

#читалиТвиттер и нашли вот такую визуальную подсказку по самым важным распределениям в DS. Конечно, на первом месте у нас нормальное и Бернулли, но на практике также попадается и логнормальное, и гамма, и (особенно) экспоненциальное. Полезно помнить, как все они выглядят.

Если хотите больше почитать про распределения, то вот вам в дополнение еще полезный чит-лист. Тут описано каждое распределение, даны его характеристики, описательные статистики + примеры. Еще есть таблицы квантилей для тех, кто интересуется проверкой гипотез и оценками параметров.

😻 #advice #math

Яндекс Такси научилось предсказывать спрос

В приложении появился специальный график, который показывает, как будет меняться спрос. Алгоритм анализирует количество свободных машин такси поблизости и стоимость поездки по этому маршруту за прошлые четыре недели: за эти дни набирается достаточно данных для оценки и при этом, как правило, похожи погодные и дорожные условия.

😻 #news

Статистика по-прежнему важна

😻 #memes