У нас для вас большой анонс!

Все вы знаете, что недавно мы запустили сайт datasecrets.ru с новостями и статьями из мира ML. Мы продолжаем его развивать и совершенствовать, и теперь хотим рассказать кое о чем большом, что мы так упорно делали последние месяцы…

И это… платформа для хакатонов. Да-да, теперь на нашем сайте можно будет участвовать в соревнованиях, практиковаться на продуктовых задачах и выигрывать призы!

Первый хакатон от нас стартует уже в ближайшее время. Приглашаем вас протестировать платформу и попробовать свои силы.

Поддержать наш энтузиазм можно по традиции реакцией — 🚀

А если вы или ваша компания давно хотели запустить свое соревнование, чтобы быстро прототипировать решение или получить свежие идеи для развития продукта, то напишите нам: @v2r8n

В стиле OpenAI: на LMSYS арене снова появляются какие-то загадочные модели

На этот раз late-June-chatbot и im-also-a-late-June-chatbot. В ответ на вопрос «кто ты?» отвечает, что он Gemma (модель от Google).

Если это правда, Google тролят OpenAI за майские выходки с «im‑a-good‑gpt2-chatbot» и «im‑also‑a-good‑gpt2-chatbot». Если нет, то наоборот 😁

Так или иначе, в прошлый раз загадочный чатбот оказался в итоге GPT-4o. Возможно, в этот раз нам тоже стоит ожидать что-то новенькое.

Как думаете, кто бы это мог быть? 🖥 🖥

Научитесь решать end-to-end задачи в CV

Быть хорошим ML-инжененером != уметь пилить модельки в ноутбуках. Вот что нужно уметь, чтобы быть конкурентноспособным и действительно хорошо решать задачи CV:

➡️собирать чистые данные
➡️быстрее обучать модели
➡️ускорять нейросети
➡️создавать веб-сервисы
➡️автоматизировать их деплой
➡️настраивать мониторинг приложений
➡️хорошо разбираться в распознавании лиц и текстов, генерации изрбражений и многом другом.

Уже настроились все это освоить? Тогда имейте в виду: изучать все лучше системно и на практике, и чтобы не потерять много времени, лучше сразу перенимать проверенные знания у профессионалов.

Наши друзья из DeepSchool прямо сейчас предлагают такую мега-возможность и зовут учиться на программу CV Rocket. Если хотите закрыть пробелы в CV и освоить весь цикл решения таких задач, это место точно для вас:

⚙️ 12 спикеров из разных отраслей и компаний (подробнее тут)
⚙️ много фидбека и общения со спикерами: на zoom-лекциях, в рамках code review, на семинарах и в чате
⚙️ сложные задачи: 2 больших end-to-end проекта, которые с гордостью можно добавить в резюме

Курс стартует 4 июля и длится 5 месяцев. А еще ребята подарили вам специальный промокод DataSecrets на дополнительную скидку в 10.000 рублей, который действует до 30 июня включительно!

Не упустите шанс стать гуру CV и регистрируйтесь прямо сейчас!

Завозим анализ архитектуры новой Gemma 2, пройдемся по интересному:

➡️В два раза больше layernorms, используется pre LN и post LN.

➡️Используется soft capping – метод для предотвращения взрыва логитов без усечения, путем деления на трешхолд. В данном случае логиты аттеншена делятся на 30, а финальные на 50.

➡️Размер словаря 256 128 для всех вариантов модели.

➡️Скользящее окно внимания (метод для сокращения памяти) применяется к каждому второму слою. На остальных слоях все еще global attention.

Кроме того, оказывается, позже моделька выйдет еще и в размере 2.6В. Вот ее точно можно будет затюнить на утюге.

А пока что вот код для запуска модели через transformers:

import torch

pipe = pipeline(
    "text-generation",
    model="google/gemma-2-9b-it",
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
    do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)