Научитесь решать end-to-end задачи в CV

Быть хорошим ML-инжененером != уметь пилить модельки в ноутбуках. Вот что нужно уметь, чтобы быть конкурентноспособным и действительно хорошо решать задачи CV:

➡️собирать чистые данные
➡️быстрее обучать модели
➡️ускорять нейросети
➡️создавать веб-сервисы
➡️автоматизировать их деплой
➡️настраивать мониторинг приложений
➡️хорошо разбираться в распознавании лиц и текстов, генерации изрбражений и многом другом.

Уже настроились все это освоить? Тогда имейте в виду: изучать все лучше системно и на практике, и чтобы не потерять много времени, лучше сразу перенимать проверенные знания у профессионалов.

Наши друзья из DeepSchool прямо сейчас предлагают такую мега-возможность и зовут учиться на программу CV Rocket. Если хотите закрыть пробелы в CV и освоить весь цикл решения таких задач, это место точно для вас:

⚙️ 12 спикеров из разных отраслей и компаний (подробнее тут)
⚙️ много фидбека и общения со спикерами: на zoom-лекциях, в рамках code review, на семинарах и в чате
⚙️ сложные задачи: 2 больших end-to-end проекта, которые с гордостью можно добавить в резюме

Курс стартует 4 июля и длится 5 месяцев. А еще ребята подарили вам специальный промокод DataSecrets на дополнительную скидку в 10.000 рублей, который действует до 30 июня включительно!

Не упустите шанс стать гуру CV и регистрируйтесь прямо сейчас!

Завозим анализ архитектуры новой Gemma 2, пройдемся по интересному:

➡️В два раза больше layernorms, используется pre LN и post LN.

➡️Используется soft capping – метод для предотвращения взрыва логитов без усечения, путем деления на трешхолд. В данном случае логиты аттеншена делятся на 30, а финальные на 50.

➡️Размер словаря 256 128 для всех вариантов модели.

➡️Скользящее окно внимания (метод для сокращения памяти) применяется к каждому второму слою. На остальных слоях все еще global attention.

Кроме того, оказывается, позже моделька выйдет еще и в размере 2.6В. Вот ее точно можно будет затюнить на утюге.

А пока что вот код для запуска модели через transformers:

import torch

pipe = pipeline(
    "text-generation",
    model="google/gemma-2-9b-it",
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
    do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)

Так, рецепт робота-гуманоида заказывали?

Исследователи из Стэнфорда показали робота, в котором живет нейросеть, способная выучивать движения за счет повторения за человеком. Чтобы выучить действие, роботу нужно повторить его около 40 раз.

Исходно HumanPlus тренили на 40 часах видео, что относительно немного. Так он научился двигать конечностями. Также прикрутили способность в реальном времени обрабатывать изображения с камеры и повторять действия на них, так что можно даже не собирать датасет, а "заниматься" с робо-другом самому.

Самое интересное: ученые выложили вообще все, чтобы повторить робота самому. Доступен датасет, код, статья и даже список используемого железа с ссылками на продавцов.

⚡️ Собираем команду любителей робототехники для имплементации

Подборка топ-5 свежих вакансий из нашего канала Data Secrets | Карьера

➡️ ML-разработчик в команду ML Laboratory в Яндекс.

➡️ ML Engineer в европейскую компанию MYGAMES, удаленно.

➡️ ML Lead в ETNA, Т-Банк.

➡️ Data Scientist в Сбер.

➡️ Data Scientist в команду рекомендательных систем, Lamoda.

Не забудь подписаться, чтобы найти классную работу или просто держать руку на пульсе рынка: @data_secrets_career