Если вы хотите сделать публичное выступление на конференции, но все никак не решаетесь или не знаете как. Для всех небольшой, но ёмкий туториал о том, как придумать, приготовить и решиться на публичное выступление ⤵️

Опытный спикер IT-конференций Олег Федоткин поделится лайфхаками: https://habr.com/ru/companies/oleg-bunin/articles/835048/

Обучение огромной core-модели, построенной на архитектуре Transformer, может занимать очень много времени. Inference потребует большого количества памяти компьютера, поэтому перед разработчиками машинного обучения, особенно перед теми, кто оптимизирует работу моделей в продакшене, встаёт проблема оптимизации и ускорения.

ML Lead продукта в SberDevices Александр Абрамов расскажет, как при таких вводных обучать core-модели и какие хаки использовать для их облегчения и ускорения. Речь пойдёт о ML с позиции пайплайнов и продакшена виртуального ассистента Салют.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/834728/

Кунг-фу

Свежий выпуск подкаста от Антона Черноусова, члена ПК HighLoad++. Здесь вас ждут Java-новости, тема алгоритмов и собеседований.

А в конце выпуска обсудили CFP на HighLoad++ 2024 и не немного шутили на тему словесных трюков и других приемов речевой борьбы.

Напоминаем, что срок подачи докладов на зимнюю HighLoad++ 2024 истекает 15 августа. Если вы планируете стать спикером, но ещё не отправили заявку на доклад, пора поторопиться 😎


🎧 Слушать подкаст на Яндекс.Музыке

Когда говорят про А/В-тесты, чаще всего вспоминают параметрические или непараметрические критерии. Но статистические методы хоть и важная, но не единственная часть экспериментов.

Для контролируемых онлайн-экспериментов не менее важны сплитование трафика, удобное управление изменениями пользовательского опыта, обработка данных, дашборды и система мониторинга.

Если в вашей компании ещё нет собственной платформы экспериментов, как в онлайн-кинотеатре Okko, вам пригодится их опыт и результаты организации процесса экспериментов.

Команда развития платформы экспериментов поделится своими методами и подходами, чтобы вы смогли выбрать наиболее эффективный: https://habr.com/ru/companies/okko/articles/

До нейросетей задачи по классификации текста были сложными, ресурсоёмкими и дорогими. Сейчас подобные решения внедряются практически из коробки. Но потребность в классификации входящего текста для дальнейшей обработки продолжает увеличиваться и требует новых подходов и решений.

Архитектор ИИ-направления в компании Raft поделится своим опытом подобных проектов для чат-ботов. Сравнит три подхода к реализации классификатора: классический ML-классификатор, LLM-классификатор и библиотеку semantic-router. Поделится рекомендациями и стоимостью внедрения этих решений.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/835910/

Низкая производительность, как это часто бывает, становится причиной переезда хранилища. А уж насколько событие станет увлекательным и оставит по себе положительные впечатления, зависит не только от выбора самого хранилища, но и от процесса в целом.

Поговорим про методики переезда с PostgreSQL на ClickHouse. Какие грабли лучше сразу обходить подальше, а какие фишки помогут сохранить нервы и сделать всё по уму, расскажет Data Engineer Okko Пётр Гонин. В качестве спойлера — среднее время аналитического запроса после переезда снизилось с 1 минуты до 2 секунд.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/836078/

Как достичь максимальной точности обработки данных, полученных с краудсорсинговых платформ?

Сегодня мы расскажем о фреймворке агрегации разметки данных, который использует команда SberDevices. AggregateMe помогает привести несколько разметок к одной и повысить её качество в случае, если исполнители где-то ошиблись. Этот Open Source-фреймворк собирает вместе данные, размеченные разными способами, и позволяет использовать их для разных проектов.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/833994/

Привет, друзья! Начинаем эту неделю с полезного контента.

Выбрали для вас самые популярные статьи из нашего блога на Хабре за прошедший период 2024 года, из которых вы узнаете: как писать код на Go так, чтобы выжимать максимум производительности; стоит ли использовать паттерны DDD в большом проекте; практические примеры LotL-атак в контейнерных инфраструктурах и как от них защищаться; как эффективно и без особых проблем управлять большой гибридной инфраструктурой с помощью ansible; как работают квоты в Kubernetes.

1)  Что делать, если pprof показывает, что оптимизировать больше нечего, но необходимо выжать из кода еще пару процентов скорости?

Старший программист-разработчик в отделе высоконагруженных систем и оптимизации ВКонтакте Никита Галушко рассказал про small-size объекты, интерфейс и пару трюков со стеком. О влиянии Bounds Check Elimination на производительность и оптимальной конвертации стрингов. Конечно, сложно — но очень интересно!


2) Domain Driven Design — это подход, состоящий из множества элементов. Если посмотреть на него со стороны, то вы, скорее всего, ужаснётесь и отложите все его преимущества в долгий ящик. А преимуществ очень много. Поэтому давайте возьмём CRUD, с которого чаще всего начинают проекты, постепенно соберём бизнес-правила и с помощью тактических паттернов DDD сделаем доменную модель с учётом особенностей Go.

Илья Сергунин, backend-сочинитель в Авито, рассказал какими должны быть паттерны DDD в большом проекте и как этого инструментально добиться на масштабе компании.


3) Все мы любим и используем контейнеры. Но у всего хорошего есть недостатки. У контейнеров множество проблем с информационной безопасностью. Как их избежать и не дать взломщику лазеек в ваш сервис — рассказали специалисты по безопасности из Wildberries.


4) Как выбрать систему управления конфигурациями, какими критериями руководствоваться и как решать проблемы? Системные инженеры X5 Tech Алексей Кузнецов и Борис Мурашин рассказали, как управлять инфраструктурой на 1000+ серверов при помощи Ansible.


5) Как же избежать запуска бесконечных дочерних процессов в контейнере? С этой проблемой помогут квоты в Kubernetes. Техлид продукта Cicd в Samokat. tech. Виктор Попов рассказал всё-всё-всё самое полезное: очевидные, менее очевидные и совсем не очевидные квоты. О том, чем они хороши, что у них под капотом и в каких задачах их лучше использовать. И немножко о том, что нельзя квотировать. Но очень бы хотелось.


Сохраняйте, читайте и не забывайте делиться с коллегами 😉

Интервью Эмели Драль — кофаундера и технического директора Evidently AI. У её open source библиотеки для оценки, тестирования и мониторинга качества данных и моделей машинного обучения уже более 22 миллионов скачиваний.

Расспросили её о пути в карьере, передаче знаний, необходимых скиллах и будущем отрасли: https://habr.com/ru/companies/oleg-bunin/articles/840716/

Будущее уже почти наступило? Ai агенты создают программы за нас!

И это не шутка. Новый Replit Agent — AI Copilot показал себя на тестировании во всей красе. Руководитель AI продуктов компании Raft Евгений Кокуйкин сделал на нём прототип своего рабочего продукта быстрее, чем написал его обзор. Причём быстро получился не только кодинг, но и отладка. А именно за отладку больше всего критиковали агентные системы, которые генерируют код по промпту от пользователя. Так что изменения в работе агента значительные.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/841808/

Развитие нейросетей способствует шквальному развитию инструментов для них и даже появлению новых языков программирования.

Давайте посмотрим, чем Mojo отличается от Python, какие у них преимущества и недостатки. И сделаем всё это с помощью экспериментов на основе стандартных наборов данных: MNIST и Housing Prices Dataset. Обучим простую сверточную нейронную сеть, а заодно разберём один из методов машинного обучения — линейную регрессию.

✅ Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/843044/

Друзья, поддержите, пожалуйста, наш канал 😊

https://xn--r1a.website/boost/HighLoadChannel