Осенью Яндекс запустил уже вторую версию собственной LLM — YandexGPT 2.

Петр Ермаков, ML-бренд-директор компании, рассказал о том, как появилось решение разрабатывать собственную языковую модель нового поколения, с какими вызовами столкнулась команда и какие задачи еще предстоит решить.

В этом небольшом техтолке мы подняли следующие темы:

- как обучают YandexGPT,
- как Яндексу удаётся продолжать улучшать модель и обгонять другие языковые модели,
- в каких продуктах вы уже можете видеть результат работы этой нейросети.

▶️Смотреть видео: https://www.youtube.com/watch?v=PctcqbSH_8I&list=PLH-XmS0lSi_wTsucmbk-mt034TbaVwHPJ&index=3

Как узнать, что вы в симуляции? Фанаты фильмов про «Матрицу» сразу вспомнят про феномен дежавю или сбой матрицы. А что происходит в настоящей симуляции? По каким законам работает она?
⠀
Александр Чистяков из команды беспилотных автомобилей Яндекса расскажет, как симуляция устроена изнутри. Про параллельные вселенные и эффект бабочки, про неожиданные парадоксы и проблемы, которые возникают перед теми, кто хочет управлять «матрицей». А также про необычные архитектурные решения для систем тестирования.
⠀
✅ Подробности в статье: https://habr.com/ru/companies/yandex/articles/808213/

Друзья, сегодня рассказываем про доклады, которые относятся к тегу HighLevel-программирование. В этот блок мы собрали доклады, которые, на наш взгляд, предназначены для разработчиков и тестировщиков очень высокого уровня.

1) Таксономия изоляции: как оградить себя от хакера. Антон Жаболенко и Алексей Федулаев (Wildberries)

Широкий обзор технологий изоляции кода. В докладе будут разобраны плюсы и минусы каждого подхода с точки зрения безопасности.

2) Байт-код — Это Просто! Как сделать Dependency Injection по настоящему быстрым. Григорий Юрков (Яндекс Маркет)

На примере своего DI фреймворка докладчик покажет, какую магию можно делать, манипулируя байт-кодом. И какую магию реализуют в других инструментах.

Встречаемся 24 и 25 июня в Питере на Saint HighLoad++ 2024, присоединяйтесь 🙌

✅ Больше принятых докладов можно посмотреть на сайте

⚡️Повышение цены с 1 мая
⠀
Друзья, чем ближе Saint HighLoad++ 2024, тем дороже билеты. Но у вас есть возможность зафиксировать текущую стоимость, для этого нужно забронировать билет до 30 апреля. После брони у вас будет ещё несколько дней для оплаты.
⠀
24 и 25 июня на одной площадке в Питере вновь соберутся сильнейшие разработчики highload-систем. Мы будем обсуждать самые актуальные темы индустрии, обмениваться знаниями о технологиях, позволяющих одновременно обслуживать многие тысячи и миллионы пользователей, разбирать реальные кейсы с решением конкретных задач. И, конечно, очень много общаться в своей тусовке и завязывать полезные знакомства.
⠀
Ждем вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Запись доклада Александра Кирсанова «Всё, везде и сразу: трейсинг в условиях хайлоада и 10к бэкендов» с конференции Saint HighLoad++ 2023
⠀
В масштабе VK использовать стандартный open tracing практически невозможно. Александр рассказал, чем плох JSON в трейсинге, зачем нужен свой бинарный формат, как выделить важное на этапе сбора, где хранить то, что собрали, и как сделать трейсы человекочитаемыми, если твой проект действительно большой.
⠀
✅ Смотреть видео здесь: https://www.youtube.com/watch?v=es0QMN3_57s&list=PLH-XmS0lSi_yGjK_r3rkV_x6z1DGjeAER&index=3

Сегодня знакомим вас со следующими докладами секции «Архитектуры и масштабируемость». Это самая большая по количеству докладов секция в программе Saint HighLoad++ 2024.

1) Кластеризация с помощью etcd. Пётр Растегаев (AGIMA)
⠀
Etcd является популярным инструментом при реализации распределённых кластерных приложений и этот доклад поможет узнать, как правильно его использовать для подобных задач и чему стоит уделить особое внимание.
⠀
2) Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев (Тинькофф)
⠀
Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? Илья поделится опытом Тинькофф в использовании поиска на базе Redis.
⠀
3) Как научить почтовый сервер Exim под нагрузкой 1 000 000 писем/мин переживать отказ ЦОД без простоя с помощью FUSE и Tarantool, а также развернуть такую систему в K8s. Максим Уймин (VK, Mail.ru)
⠀
Мы в целом научились делать отказоустойчивые и распределенные системы. В любом типе систем есть свои особенности. В докладе вы заглянете под капот почтового сервера Exim и вместе с докладчиком пройдете путь создания отказоустойчивой распределенной системы, работающей под большой нагрузкой.
⠀
Присоединяйтесь к нам 24 и 25 июня в Санкт-Петербурге 🙌
⠀
✅ Посмотреть другие принятые доклады и купить билет можно на сайте

⚡Через 2 дня билеты на Saint HighLoad++ 2024 станут дороже
⠀
5 причин присоединиться к нам:
⠀
1) узнать, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир;

2) быть в тренде и двигаться дальше, не останавливаться и развиваться;

3) познакомиться с технологиями, о которых, возможно, вы ещё не знаете;

4) услышать сильные доклады с решением конкретных задач;

5) круто провести время в IT-тусовке.
⠀
Также напоминаем, что вы можете забронировать билет до 1 мая, чтобы сохранить за собой текущую стоимость, а оплатить в течение нескольких дней после брони.
⠀
Мы встречаемся 24 и 25 июня в Санкт-Петербурге, ждём вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Конференция HighLoad++ о том, как устроены инструменты, которые мы используем ежедневно. Знание внутрянки инструментов позволяет использовать их с максимальной эффективностью. Ловите подборку докладов про внутрянку Баз Данных:

1) О распределённых транзакциях. Владимир Комаров (Сбербанк-Технологии)

Доклад от автора книги «Путеводитель по базам данных», человека, разбирающегося в предметной области максимально глубоко. На примере конкретных баз данных, рассмотрим паттерны распределенных транзакций. Квинтэссенция архитектурного опыта, максимально полезная информация за минимальное время.

2) Про UUID v7. Андрей Бородин (Yandex Cloud)

Андрей делает Яндекс.Облако, хорошо разбирается в базах и пишет код, чтобы они работали лучше. В своем докладе он расскажет о патче, который добавляет поддержку UUID в качестве primary key для PostgreSQL. И о том, почему так важно реализовать RFC 7 и 8, а не просто «как-то сгенерировать 16 байт».

3) Как научить MongoDB делать горячие физические бэкапы. Юрий Фролов (Yandex Cloud)

История о том, как Яндекс возвращал возможность физических бэкапов в MongoDB. Будет много подробностей про движок базы, про подход MongoDB к хранению данных и про то, как написать собственную логику бэкапа.

4) YTsaurus SPYT: внедряем Spark SQL в массы. Алексей Шишкин (Яндекс)

История от разработчиков YTsaurus о том, как сделать собственный клиент к Spark и на уровне сетевого протокола отправлять к нему запросы из удобного веб интерфейса.

Встречаемся на Saint HighLoad++ 2024 🙌

✅ Программа конференции и билеты на сайте

Хайп вокруг микросервисов спал, и теперь мы продуманно подходим к их использованию. В блоке «Микросервисы», в который входят доклады, перечисленные ниже, мы поговорим о безопасности микросервисов, построении микросервисной архитектуры банковского ядра и реальных вызовах после распила монолита.

1) Миграция банковского ядра на собственную разработку. Как выстроить процессы распространения данных? Лев Осипов (Райффайзен Банк)

Уникальный доклад о том, как в одном из крупнейших банков России решили переписать ядро банка.

2) Микросервисы: жизнь после. Невыдуманные истории, о которых невозможно молчать. Иван Матвеев (Vi.Tech)

Мало конкретной информации о том, с какими проблемами вы можете столкнуться при плавном переходе от монолитной системы к микросервисной? Иван на примере опыта своей компании расскажет о конкретных технических, организационных и процессных проблемах, связанных с переходом к микросервисам.

3) Микросекьюрити в продуктовых микросервисах. Алексей Морозов (Samokat.tech)

Это доклад о ключевых уязвимостях в продуктовых микросервисах. Тут будут рассмотрены разные варианты уязвимостей и защиты от них - на реальных примерах из жизни докладчика. Этот доклад будет полезен любому разработчику, и особенно работающему с высоконагруженными системами.

Встречаемся 24 и 25 июня в Питере на Saint HighLoad++ 2024, присоединяйтесь 🙌

✅ Больше принятых докладов можно посмотреть на сайте

A/B-тестирование широко используется в работе продуктовой команды. В сегодняшней подборке доклады, на которых мы поговорим о построении платформ и инфраструктуры, позволяющих выстроить регулярные и масштабные A/B-тестирования.

1) Платформа А/В-тестирования в Яндексе. Михаил Агеев (Яндекс)

Вы узнаете, как построить платформу, которая надежно контролирует все жизненно-важные метрики бизнеса, и в которой сотни менеджеров могут одновременно проводить эксперименты в режиме самообслуживания, не боясь сломать бизнес.

2) Как платформа А/В-тестов Яндекса превратилась в решение для всего Интернета – Varioqub. Данил Валгушев (Яндекс)

Всегда трудно делать продукт из внутреннего сервиса. Оргструктура бизнеса намертво зашита в архитектуру софта, а необходимые для внешних пользователей компоненты непонятно как интегрировать. В докладе Данила всё это ещё и происходит на фоне высоких нагрузок и большого числа пользователей.

3) Стенд метрик: как построить архитектуру для расчета тысячи метрик и попасть в SLA. Евгений Пак (Ozon)

Многие, даже крупные компании срезают углы на расчёте метрик А/В-тестирования и упрощают расчёты, теряя в чувствительности. На опыте Ozon можно увидеть, что даже для сотен метрик в эксперименте можно проводить расчёты точно.

Ждём вас на Saint HighLoad++ 2024 🙌

✅ Программа конференции и билеты на сайте