Senior Data Engineer
Удаленно / Гибрид / Офис в Москве
Предстоит: Проведение аудита существующих дата-пайплайнов, выявление узких мест и точек отказа; Проектирование и реализация целевой архитектуры загрузки, трансформации и хранения данных под высокую нагрузку... Узнать подробнее🔵
Удаленно / Гибрид / Офис в Москве
Предстоит: Проведение аудита существующих дата-пайплайнов, выявление узких мест и точек отказа; Проектирование и реализация целевой архитектуры загрузки, трансформации и хранения данных под высокую нагрузку... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
LLM вылетает из GPU-памяти в длинных диалогах. Ваши действия?
Правильный ответ — не «докупить GPU» и не «обрезать контекст».
Проблема обычно кроется в KV Cache — его объем растет линейно с каждым токеном.
GPU Память = Веса модели + KV Cache
При длинном контексте KV Cache может съедать в 10 раз больше памяти, чем сама модель. Модель на 7B параметров с контекстом 8K? Это ~4GB только под кэш.
Главная ошибка: KV Cache простаивает в дорогой GPU-памяти между запросами пользователя. Пока он думает 30 секунд, его кэш на 2GB блокирует новые запросы.
Диагностика от Senior инженера:
Высокая загрузка GPU + низкая пропускная способность = Узкое место — KV Cache
OOM-ошибки на длинных контекстах = Нужна стратегия оффлоудинга (выгрузки)
Простаивающие сессии = Убитые ресурсы GPU
Метрика, отличающая сеньера от джуна: Time-to-First-Token (TTFT) при переиспользовании кэша. NVIDIA сообщает об ускорении TTFT в 14x при перезагрузке кэша против его пересчета.
Но тут интервьюер может уточнить:
Какой размер KV Cache для 32K токенов?
Как вы handlingите многопользовательские сессии?
Куда выгружаете неактивный кэш?
Иерархия памяти, которая приведет к повышению:
Junior: Держит всё в GPU памяти до самого OOM.
Senior: Выгружает по схеме: GPU → Оперативная память → SSD → Сетевое хранилище.
Principal: Внедряет predictive offloading на основе аналитики использования.
Но и этого интревьюеру может быть недостаточно, он может задать и такой вопрос:
«Как вы рассчитываете оптимальные пороги для выгрузки?»
Правильный ответ: «По формуле:
Масштабирование инференса в большинстве случаев это на 80% управление памятью и на 20% оптимизация вычислений.
Правильный ответ — не «докупить GPU» и не «обрезать контекст».
Проблема обычно кроется в KV Cache — его объем растет линейно с каждым токеном.
GPU Память = Веса модели + KV Cache
При длинном контексте KV Cache может съедать в 10 раз больше памяти, чем сама модель. Модель на 7B параметров с контекстом 8K? Это ~4GB только под кэш.
Главная ошибка: KV Cache простаивает в дорогой GPU-памяти между запросами пользователя. Пока он думает 30 секунд, его кэш на 2GB блокирует новые запросы.
Диагностика от Senior инженера:
Высокая загрузка GPU + низкая пропускная способность = Узкое место — KV Cache
OOM-ошибки на длинных контекстах = Нужна стратегия оффлоудинга (выгрузки)
Простаивающие сессии = Убитые ресурсы GPU
Метрика, отличающая сеньера от джуна: Time-to-First-Token (TTFT) при переиспользовании кэша. NVIDIA сообщает об ускорении TTFT в 14x при перезагрузке кэша против его пересчета.
Но тут интервьюер может уточнить:
Какой размер KV Cache для 32K токенов?
Как вы handlingите многопользовательские сессии?
Куда выгружаете неактивный кэш?
Иерархия памяти, которая приведет к повышению:
Junior: Держит всё в GPU памяти до самого OOM.
Senior: Выгружает по схеме: GPU → Оперативная память → SSD → Сетевое хранилище.
Principal: Внедряет predictive offloading на основе аналитики использования.
Но и этого интревьюеру может быть недостаточно, он может задать и такой вопрос:
«Как вы рассчитываете оптимальные пороги для выгрузки?»
Правильный ответ: «По формуле:
Стоимость_передачи < Стоимости_пересчета
. Профилируем шаблоны доступа, замеряем задержки хранилищ и внедряем predictive offloading».Масштабирование инференса в большинстве случаев это на 80% управление памятью и на 20% оптимизация вычислений.
❤26
Senior ETL/DWH Developer
Гибрид / Офис в Москве
Предстоит: Разработка и оптимизация архитектуры Хранилища данных, проектирование слоев данных; Создание, поддержка и оптимизация высоконагруженных ETL-процессов; Интеграция данных из внутренних/внешних источников (API, файловые хранилища, БД)... Узнать подробнее🔵
Гибрид / Офис в Москве
Предстоит: Разработка и оптимизация архитектуры Хранилища данных, проектирование слоев данных; Создание, поддержка и оптимизация высоконагруженных ETL-процессов; Интеграция данных из внутренних/внешних источников (API, файловые хранилища, БД)... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Research Scientist в Криптонит
Удаленно / Гибрид / Офис в Москве, Санкт-Петербурге
Предстоит: Ведением исследовательских работ в области математики, Computer Science, электроники, телекоммуникаций и сетей, смежных областях... Узнать подробнее🔵
Удаленно / Гибрид / Офис в Москве, Санкт-Петербурге
Предстоит: Ведением исследовательских работ в области математики, Computer Science, электроники, телекоммуникаций и сетей, смежных областях... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6
В Студия Данных открыто три вакансии: NLP Engineer/LLMOps Engineer/RAG Engineer
От 350.000 до 450.000₽
Удаленно / Гибрид / Офис
Над какими задачи можно будет поработать: Служба клиентского сервиса — суфлёр для операторов и умные чат-боты для клиентов; Юристы — co-pilot для подготовки возражений на иски и анализа входящих договоров; Тендровики — приоритезация опубликованных закупок, анализ предложений и проверка документации претендентов на соответствие требованиям... Узнать подробнее🔵
От 350.000 до 450.000₽
Удаленно / Гибрид / Офис
Над какими задачи можно будет поработать: Служба клиентского сервиса — суфлёр для операторов и умные чат-боты для клиентов; Юристы — co-pilot для подготовки возражений на иски и анализа входящих договоров; Тендровики — приоритезация опубликованных закупок, анализ предложений и проверка документации претендентов на соответствие требованиям... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6
Привет, ML-специалист! 😎 Надоели базовые туториалы и предсказуемые датасеты? Пора разобраться с тем, что действительно крутит этот мир — рекомендательными системами!
Приглашаем на бесплатный вебинар продвинутого курса «Machine Learning. Advanced», где будем вскрывать матричные разложения без анестезии!
На вебинаре с Марией Тихоновой (Senior Data Scientist, SberDevices):
— Изучим специфику построения RS
— Разложим по полочкам матричные разложения
— Научимся создавать свои рекомендательные системы
Это ваш шанс не просто послушать, а протестировать обучение на курсе! А если решите остаться — ловите промокод MLADV_10 для выгодного зачисления.
👉Регистрируйтесь сейчас - напомним перед вебинаром: https://otus.pw/dn8n/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Приглашаем на бесплатный вебинар продвинутого курса «Machine Learning. Advanced», где будем вскрывать матричные разложения без анестезии!
На вебинаре с Марией Тихоновой (Senior Data Scientist, SberDevices):
— Изучим специфику построения RS
— Разложим по полочкам матричные разложения
— Научимся создавать свои рекомендательные системы
Это ваш шанс не просто послушать, а протестировать обучение на курсе! А если решите остаться — ловите промокод MLADV_10 для выгодного зачисления.
👉Регистрируйтесь сейчас - напомним перед вебинаром: https://otus.pw/dn8n/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
Лекции по Computer Vision от Стэнфорда
Если вы давно хотели вкатиться в CV, то это отличная возможность. Опытные преподаватели Стэнфорда расскажут базу, которая лежит в основе компьютерного зрения, а также поделятся гайдами и современными подходами. В курсе разбирают классические и современные темы: image classification, detection, RNN, LSTM, end-to-end модели, а также обучение моделей — от backpropagation до отладки. Лекции этого года, поэтому материал еще совсем свежий.
Если вы давно хотели вкатиться в CV, то это отличная возможность. Опытные преподаватели Стэнфорда расскажут базу, которая лежит в основе компьютерного зрения, а также поделятся гайдами и современными подходами. В курсе разбирают классические и современные темы: image classification, detection, RNN, LSTM, end-to-end модели, а также обучение моделей — от backpropagation до отладки. Лекции этого года, поэтому материал еще совсем свежий.
❤18
Senior разработчик ML в JETLYN
От 250.000 до 320.000₽
Удаленно на территории РФ
Предстоит: Разработка программных решений с использованием нейросетевых и классических моделей машинного обучения. Внедрение современных методов машинного обучения; Формирование требований к данным для создания моделей... Узнать подробнее🔵
От 250.000 до 320.000₽
Удаленно на территории РФ
Предстоит: Разработка программных решений с использованием нейросетевых и классических моделей машинного обучения. Внедрение современных методов машинного обучения; Формирование требований к данным для создания моделей... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Senior Data Scientist
250.000₽
Удаленно (гражданство РФ, РБ)
Требуется Data Scientist на проект СУЭК, старта проекта: ASAP или месяц
Продолжительность проекта (от 3х месяцев): до 31.12.2025 с перспективой продления... Узнать подробнее🔵
250.000₽
Удаленно (гражданство РФ, РБ)
Требуется Data Scientist на проект СУЭК, старта проекта: ASAP или месяц
Продолжительность проекта (от 3х месяцев): до 31.12.2025 с перспективой продления... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
Senior ML-инженер
До 6.000$
Удаленно
Предстоит: Работа в компании Априори Глобал, совместный проект и задачи с компанией в США; Проекты agents and agentic platform... Узнать подробнее🔵
До 6.000$
Удаленно
Предстоит: Работа в компании Априори Глобал, совместный проект и задачи с компанией в США; Проекты agents and agentic platform... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7
3 вещи, которые CEO Scale AI ценит в кандидатах
Временный генеральный директор Scale AI Джейсон Дроге рассказал, что он ищет в кандидатах при найме.
Набор качеств получился интересным: любознательность, умение смиренно сотрудничать и лидерство.
Если с любознательностью и лидерством всё понятно, то суть «смиренного сотрудничества» он пояснил на примере:
«Всякий раз, когда я нанимал людей, я пытался собрать почти что организм из сильных сторон и свести конфликты к минимуму».
При этом Дроге подчеркнул, что для успеха в организации в целом важнее именно эти три черты, а не прямой опыт: «Мир меняется... Весь предыдущий опыт не обязательно напрямую применим». Однако для некоторых узких экспертных ролей опыт, по его словам, всё же остается критически важным.
Временный генеральный директор Scale AI Джейсон Дроге рассказал, что он ищет в кандидатах при найме.
Набор качеств получился интересным: любознательность, умение смиренно сотрудничать и лидерство.
Если с любознательностью и лидерством всё понятно, то суть «смиренного сотрудничества» он пояснил на примере:
«Всякий раз, когда я нанимал людей, я пытался собрать почти что организм из сильных сторон и свести конфликты к минимуму».
При этом Дроге подчеркнул, что для успеха в организации в целом важнее именно эти три черты, а не прямой опыт: «Мир меняется... Весь предыдущий опыт не обязательно напрямую применим». Однако для некоторых узких экспертных ролей опыт, по его словам, всё же остается критически важным.
❤7
Senior Data Scientist
250.000₽
Удаленно
Предстоит: Разработка программного кода; Участие в разработке ИИ продуктов отдела; Разработка кода и тестов на python, участие в командной разработке, участие в код-ревью... Узнать подробнее🔵
250.000₽
Удаленно
Предстоит: Разработка программного кода; Участие в разработке ИИ продуктов отдела; Разработка кода и тестов на python, участие в командной разработке, участие в код-ревью... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Ai архитектор в Raft Digital Solutions
Предстоит: Разработка архитектурных решений для AI-приложений с учетом требований клиентов и современных технологий
... Узнать подробнее🔵
Предстоит: Разработка архитектурных решений для AI-приложений с учетом требований клиентов и современных технологий
... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6
AI инженер в Raft Digital Solutions
Вне РФ и РБ
Предстоит: Проектирование и разработка PoC; участие в подготовке презентаций и технической части коммерческих предложений преимущественно для зарубежных клиентов (различные отрасли, включая HealthTech, EdTech, маркетплейсы и многое другое)... Узнать подробнее🔵
Вне РФ и РБ
Предстоит: Проектирование и разработка PoC; участие в подготовке презентаций и технической части коммерческих предложений преимущественно для зарубежных клиентов (различные отрасли, включая HealthTech, EdTech, маркетплейсы и многое другое)... Узнать подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4
Наткнулись тут на историю, где инженер рассказывает, что получить работу ему помог его пост в твиттере.
Все интервью состояло из 3 раундов.
1️⃣ Раунд (1 час - 1:30 час):
На этом этапе затрагивались
основные темы математики: векторы, линейная алгебра, корреляция, теорема Байера, вероятность и свойства. И пару общих вопросов по программированию - python, oops, java
Затем интервью перешло к DL - персептрону, функциям активации, а также выбору функции активации для различных вариантов использования, работе сверточных нейронных сетей - OCR, Pytesseract, ICR
расшифровка данных mp4, рекуррентные нейронные сети (RNN), LSTM
И были вопросы по NLP - предварительная обработка текста, преобразование слов в векторы, языковые модели (биграммы, триграммы), затем углубились в трансформеры - полное подробное объяснение их работы - декодер, векторы QKV, нормализация, маскирование, разница между LM и трансформерами, оценка BLEU.
После теории, конечны были вопросы по собственным проеткам - обсуждали каждый проект: что, почему, как? Так много встречных вопросов, например, почему ты это сделал?
Затем вопросы про предыдущий опыт работы, исследования в области информационных технологий и обучение в универе.
В конце этого этапа были вопросы по векторным базам данных - подробные вопросы, такие как косинусное сходство и различные платформы векторных баз данных, но и задали пару вопросов по агентам - фреймворки и langchain, а также Rag Pipelines.
И все это был лишь первый раунд. Рекрутер заранее сказал, что будет на следующем этапе — протоколы mcp, облачные технологии, агенты и платформа adk
2️⃣ Раунд (30 - 40 мин):
Прежде чем приступить к техническому заданию еще раз задали несколько теоретических вопросов:
Вопросы были по векторным базам данных — размеры, свойства, как их подключить.
Агенты - подробные вопросы, такие как что, как, почему?
Говорили про типы агентов, базы данных, протоколы контекста модели, агенты LLM, инструменты функций — встроенные инструменты, инструменты агентов, рабочий процесс агентов, база данных, как подключиться к агентам, мультиагенты, последовательные агенты, циклические агенты, параллельные агенты, сеанс — состояние — и исполнители, типы сеансов — память, база данных, вершинный ИИ
Затем дали задание создать бота, объединяющего в себе все, что связано с машинным обучением, НЛП и агентами.
3️⃣ Раунд — демо этого бота
Нужно было объяснить свое решение — какие технологии использовались, почему они использовались.
Это был последний раунд, поэтому генеральный директор тоже был там, он задал несколько вопросов об образовании, прошлом опыте и текущей учебе.
Всё началось с вирусного поста, который привлёк внимание одного опытного специалиста. Он связался со мной в Твиттере (а также нашёл меня в LinkedIn). Он пригласил меня на собеседование в свой стартап, и так всё и началось.
Все интервью состояло из 3 раундов.
На этом этапе затрагивались
основные темы математики: векторы, линейная алгебра, корреляция, теорема Байера, вероятность и свойства. И пару общих вопросов по программированию - python, oops, java
Затем интервью перешло к DL - персептрону, функциям активации, а также выбору функции активации для различных вариантов использования, работе сверточных нейронных сетей - OCR, Pytesseract, ICR
расшифровка данных mp4, рекуррентные нейронные сети (RNN), LSTM
И были вопросы по NLP - предварительная обработка текста, преобразование слов в векторы, языковые модели (биграммы, триграммы), затем углубились в трансформеры - полное подробное объяснение их работы - декодер, векторы QKV, нормализация, маскирование, разница между LM и трансформерами, оценка BLEU.
После теории, конечны были вопросы по собственным проеткам - обсуждали каждый проект: что, почему, как? Так много встречных вопросов, например, почему ты это сделал?
Затем вопросы про предыдущий опыт работы, исследования в области информационных технологий и обучение в универе.
В конце этого этапа были вопросы по векторным базам данных - подробные вопросы, такие как косинусное сходство и различные платформы векторных баз данных, но и задали пару вопросов по агентам - фреймворки и langchain, а также Rag Pipelines.
И все это был лишь первый раунд. Рекрутер заранее сказал, что будет на следующем этапе — протоколы mcp, облачные технологии, агенты и платформа adk
Прежде чем приступить к техническому заданию еще раз задали несколько теоретических вопросов:
Вопросы были по векторным базам данных — размеры, свойства, как их подключить.
Агенты - подробные вопросы, такие как что, как, почему?
Говорили про типы агентов, базы данных, протоколы контекста модели, агенты LLM, инструменты функций — встроенные инструменты, инструменты агентов, рабочий процесс агентов, база данных, как подключиться к агентам, мультиагенты, последовательные агенты, циклические агенты, параллельные агенты, сеанс — состояние — и исполнители, типы сеансов — память, база данных, вершинный ИИ
Затем дали задание создать бота, объединяющего в себе все, что связано с машинным обучением, НЛП и агентами.
Нужно было объяснить свое решение — какие технологии использовались, почему они использовались.
Это был последний раунд, поэтому генеральный директор тоже был там, он задал несколько вопросов об образовании, прошлом опыте и текущей учебе.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11
Please open Telegram to view this post
VIEW IN TELEGRAM
❤21