Как оптимизировать инференс на ноунейм-плате
Всё больше моделей запускаются на конечных устройствах: в телефонах, роботах, колонках, автомобилях, домофонах и т.д. — у всех разные ОС и архитектуры, а значит и свои нюансы инференса моделей. На лекции мы разберём как раз такой случай из практики с кучей нюансов и их решениями!
Советуем прийти, если вы:
— никогда не ускоряли модели
— ускоряли, но не для эдж-девайсов
— ускоряли для эджей и у вас есть вопросы
🗓 25 сентября, четверг, 18:00 МСК
На лекции узнаете:
➖ как снизить стоимость инференса на примере автономного автомобиля
➖ как запустить Vision transformer на плате Texas Instruments
➖ о проблемах запуска трансформеров на кастомных платах с NPU
➖ про применение прунинга к таким платам
В конце представим новый поток курса «Ускорение нейросетей». Всем участникам лекции подарим скидки на обучение!
🙋♂️Спикеры лекции:
— Александр Гончаренко — CTO ENOT.аi, хэдлайнер курса Ускорение нейросетей
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay
Регистрируйтесь на лекцию по ссылке!
🎁 После регистрации вы получите туториал по использованию TensorRT и OpenVino.
До встречи 25 сентября в 18:00 МСК!
Всё больше моделей запускаются на конечных устройствах: в телефонах, роботах, колонках, автомобилях, домофонах и т.д. — у всех разные ОС и архитектуры, а значит и свои нюансы инференса моделей. На лекции мы разберём как раз такой случай из практики с кучей нюансов и их решениями!
Советуем прийти, если вы:
— никогда не ускоряли модели
— ускоряли, но не для эдж-девайсов
— ускоряли для эджей и у вас есть вопросы
На лекции узнаете:
В конце представим новый поток курса «Ускорение нейросетей». Всем участникам лекции подарим скидки на обучение!
🙋♂️Спикеры лекции:
— Александр Гончаренко — CTO ENOT.аi, хэдлайнер курса Ускорение нейросетей
— Тимур Фатыхов — основатель DeepSchool, ex Lead CV Engineer KoronaPay
Регистрируйтесь на лекцию по ссылке!
До встречи 25 сентября в 18:00 МСК!
Please open Telegram to view this post
VIEW IN TELEGRAM
deepschool.ru
Ускорение трансформера на ноунейм-плате
На реальном примере разберём оптимизацию инференса на ноунейм-плате
🔥12❤6👍6❤🔥1😁1🎉1
Закройте вопросы по LLM
Если хотите разобраться, как устроены современные LLM, как их обучать, запускать и оптимизировать — приходите на ближайший поток курса LLM. Старт — 16 октября!
На курсе вы научитесь:
— использовать доступные LLM под свои задачи
— работать с RAG, агентами и tool calls
— эффективно тюнить модели
— деплоить и ускорять инференс LLM
Обучение подойдёт и тем, кто только знакомится с LLM, и кто уже работает с ними. А если до этого не работали с доменом NLP, то разберётесь в его особенностях.
Запишитесь в лист ожидания до 5 октября, чтобы первыми занять место и получить скидки до 20%.
Изучайте подробности о программе и спикерах и записывайтесь на новый поток!
Напоминаем, что места ограничены, часть уже занята, поэтому рекомендуем не откладывать ✍️
По всем вопросам пишите нам в поддержку @deepschool_support
Если хотите разобраться, как устроены современные LLM, как их обучать, запускать и оптимизировать — приходите на ближайший поток курса LLM. Старт — 16 октября!
На курсе вы научитесь:
— использовать доступные LLM под свои задачи
— работать с RAG, агентами и tool calls
— эффективно тюнить модели
— деплоить и ускорять инференс LLM
Обучение подойдёт и тем, кто только знакомится с LLM, и кто уже работает с ними. А если до этого не работали с доменом NLP, то разберётесь в его особенностях.
Запишитесь в лист ожидания до 5 октября, чтобы первыми занять место и получить скидки до 20%.
Изучайте подробности о программе и спикерах и записывайтесь на новый поток!
Напоминаем, что места ограничены, часть уже занята, поэтому рекомендуем не откладывать ✍️
По всем вопросам пишите нам в поддержку @deepschool_support
deepschool.ru
LLM Курс | DeepSchool
Научитесь использовать LLM в приложениях: обучать, деплоить, ускорять и многое другое
🔥11❤8👍6😁2
Сегодня на примере реальной задачи разберём, как запустить трансформер на плате с NPU. Обсудим проблемы, которые с этим связаны, и как их решать!
А также представим программу курса Ускорение нейросетей и подарим скидки участникам лекции
Вы ещё успеваете зарегистрироваться!
Приходите сегодня в 18:00 МСК!
Please open Telegram to view this post
VIEW IN TELEGRAM
deepschool.ru
Ускорение трансформера на ноунейм-плате
На реальном примере разберём оптимизацию инференса на ноунейм-плате
❤6🔥5👍1😁1
Как наконец-то разобраться в ускорении нейросетей?
Записывайтесь на наш курс! На нём вы научитесь важному навыку для DL-инженера.
Возможно, вы уже сталкивались в работе с оптимизацией инференса и ускорением нейросетей, пробовали фреймворки вроде ONNX, TensorRT, OpenVINO, знаете про квантование, прунинг и дистилляцию, но при этом:
— большинство решений приходится собирать на ощупь
— гайды не работают на ваших моделях
— не уверены, как сочетать методы без потери качества
— возникают сложности при деплое на CPU, мобильные устройства или одноплатники
Или если только начинаете погружаться в тему ускорения — тогда приходите на ближайший поток «Ускорения нейросетей»!
Обучение начинается 30 сентября, а до 29 сентября вы успеваете присоединиться со скидкой 5%⚡
В карточках к посту мы рассказали об основных фактах о курсе.
Изучайте подробности о программе, спикерах и тарифах на сайте и присоединяйтесь!
Если остались вопросы, то ждём вас в нашей поддержке @deepschool_support
И до встречи на лекциях🎓
Записывайтесь на наш курс! На нём вы научитесь важному навыку для DL-инженера.
Возможно, вы уже сталкивались в работе с оптимизацией инференса и ускорением нейросетей, пробовали фреймворки вроде ONNX, TensorRT, OpenVINO, знаете про квантование, прунинг и дистилляцию, но при этом:
— большинство решений приходится собирать на ощупь
— гайды не работают на ваших моделях
— не уверены, как сочетать методы без потери качества
— возникают сложности при деплое на CPU, мобильные устройства или одноплатники
Или если только начинаете погружаться в тему ускорения — тогда приходите на ближайший поток «Ускорения нейросетей»!
Обучение начинается 30 сентября, а до 29 сентября вы успеваете присоединиться со скидкой 5%⚡
В карточках к посту мы рассказали об основных фактах о курсе.
Изучайте подробности о программе, спикерах и тарифах на сайте и присоединяйтесь!
Если остались вопросы, то ждём вас в нашей поддержке @deepschool_support
И до встречи на лекциях
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤7😁2
Когда память дороже точности: приближённые структуры данных
Проблема: многие алгоритмы с линейным потреблением памяти не справляются с большим количеством данных. Решение: приближённые структуры!
В новой статье разбираем три популярные структуры данных с константным потреблением памяти, решающие ключевые задачи:
- HyperLogLog — оценка количества уникальных элементов,
- Фильтр Блума — проверка принадлежности ко множеству,
- Count-Min Sketch — подсчёт частот элементов.
Все они работают приближенно, зато позволяют работать с огромными объёмами данных. Читайте, как применять их на практике: https://blog.deepschool.ru/math/kogda-pamyat-dorozhe-tochnosti-priblizhyonnye-struktury-dannyh/
Проблема: многие алгоритмы с линейным потреблением памяти не справляются с большим количеством данных. Решение: приближённые структуры!
В новой статье разбираем три популярные структуры данных с константным потреблением памяти, решающие ключевые задачи:
- HyperLogLog — оценка количества уникальных элементов,
- Фильтр Блума — проверка принадлежности ко множеству,
- Count-Min Sketch — подсчёт частот элементов.
Все они работают приближенно, зато позволяют работать с огромными объёмами данных. Читайте, как применять их на практике: https://blog.deepschool.ru/math/kogda-pamyat-dorozhe-tochnosti-priblizhyonnye-struktury-dannyh/
DeepSchool
Когда память дороже точности: приближённые структуры данных - DeepSchool
HyperLogLog, Bloom/Cuckoo, Count-Min Sketch: что выбрать, если данные огромные, а память ограничена. Алгоритмы, точность и подбор параметров.
1🔥21❤13👍11😁1
LLM для кодинга | Подкаст «Под Капотом» с Максимом Шапошниковым
Гость выпуска — Максим Шапошников, Research Engineer в Tessl, ex-Amazon. Сейчас Максим делает инструменты для Spec-Driven Development: агенты пишут код по чётким бизнес-спецификациям (никакого вайбкодинга!). 🤯
В этом выпуске мы обсудили:
- достигли ли мы предела в развитии языковых моделей
- каким образом интегрировать LLM в рабочие процессы и проекты и ничего не сломать
- и как устроиться на работу в Амазон и даже без PhD пройти на исследовательскую позицию
Смотрите новый выпуск по ссылке!
Гость выпуска — Максим Шапошников, Research Engineer в Tessl, ex-Amazon. Сейчас Максим делает инструменты для Spec-Driven Development: агенты пишут код по чётким бизнес-спецификациям (никакого вайбкодинга!). 🤯
В этом выпуске мы обсудили:
- достигли ли мы предела в развитии языковых моделей
- каким образом интегрировать LLM в рабочие процессы и проекты и ничего не сломать
- и как устроиться на работу в Амазон и даже без PhD пройти на исследовательскую позицию
Смотрите новый выпуск по ссылке!
YouTube
LLM для кодинга | Подкаст «Под Капотом» с Максимом Шапошниковым
Гость выпуска — Максим Шапошников, Research Engineer в Tessl, ex-Amazon. Сейчас Максим делает инструменты для Spec-Driven Development: агенты пишут код по чётким бизнес-спецификациям (никакого вайбкодинга!). 🤯
В этом выпуске мы обсудили:
- достигли ли мы…
В этом выпуске мы обсудили:
- достигли ли мы…
❤17🔥12👏6👍2😁1
«Отличный курс для подготовки к собеседованиям»
Таким отзывом делится выпускница курса LLM Екатерина Синькова
📍В карточках мы собрали цитаты из отзывов других выпускников.
Больше отзывов читайте на сайте, там же можно изучить подробности о программе и спикерах.
Напоминаем, что новый поток начинается 16 октября, а до 5 октября можно записаться в лист ожидания, чтобы получить скидку до 20%🔥
Таким отзывом делится выпускница курса LLM Екатерина Синькова
📍В карточках мы собрали цитаты из отзывов других выпускников.
Больше отзывов читайте на сайте, там же можно изучить подробности о программе и спикерах.
Напоминаем, что новый поток начинается 16 октября, а до 5 октября можно записаться в лист ожидания, чтобы получить скидку до 20%
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥7👏5😁2🐳1
Что происходит в LLM. Октябрь 2025
Несмотря на то, что LLM — главный хайп последних 2 лет, вокруг больших моделей остаётся много путаницы и заблуждений. Чем отличаются модели? Надо ли доучивать модель? Хостить или ходить по API? На что можно рассчитывать при построении агента или RAG-системы? Почему у кого-то работают RAG и агенты, а кто-то вовсе в них разочаровался?
Ответим на эти и другие вопросы на онлайн-лекции в четверг! За полтора часа дадим актуальный срез индустрии вокруг LLM:
— актуальные модели и их свойства
— бенчмарки
— self-host VS API
— типы задач
— главные «болячки» ванильных решений
— и актуальные советы по их лечению
Спикер — Дмитрий Калашников, NLP Team Lead в Яндексе🔥
А ещё мы расскажем про наш курс «LLM», где объясняем теорию LLM, учим промптингу, дообучению, элайменту, построению RAG, агентских-систем и деплою — всё под кураторством опытных инженеров.
Всем участникам лекции мы подарим скидки на обучение 🎁
📅 Встречаемся в четверг, 9 октября в 18:30 МСК!
Регистрируйтесь по ссылке и приходите на лекцию в четверг!
Несмотря на то, что LLM — главный хайп последних 2 лет, вокруг больших моделей остаётся много путаницы и заблуждений. Чем отличаются модели? Надо ли доучивать модель? Хостить или ходить по API? На что можно рассчитывать при построении агента или RAG-системы? Почему у кого-то работают RAG и агенты, а кто-то вовсе в них разочаровался?
Ответим на эти и другие вопросы на онлайн-лекции в четверг! За полтора часа дадим актуальный срез индустрии вокруг LLM:
— актуальные модели и их свойства
— бенчмарки
— self-host VS API
— типы задач
— главные «болячки» ванильных решений
— и актуальные советы по их лечению
Спикер — Дмитрий Калашников, NLP Team Lead в Яндексе🔥
А ещё мы расскажем про наш курс «LLM», где объясняем теорию LLM, учим промптингу, дообучению, элайменту, построению RAG, агентских-систем и деплою — всё под кураторством опытных инженеров.
Всем участникам лекции мы подарим скидки на обучение 🎁
Регистрируйтесь по ссылке и приходите на лекцию в четверг!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14❤10👏5👍2😁2
Осталось 3 часа до лекции по LLM
Сегодня с Дмитрием Калашниковым разберёмся в актуальных моделях и их свойствах, типах задач, главных проблемах и их решениях!
На лекции вы узнаете:
— какие модели сейчас лучше выбрать и чем они отличаются
— как сравнить модели с помощью бенчмарков
— какие есть варианты применения: self-host против API, стоимость и ресурсы, основные провайдеры
— для каких задач LLM применяются в продуктах и какой уровень качества реально можно ожидать
— главные «болячки» ванильных решений и актуальные советы по их лечению
В конце представим программу курса LLM и откроем запись со скидкой!
🕕 Регистрируйтесь и приходите сегодня в 18:30 МСК
Сегодня с Дмитрием Калашниковым разберёмся в актуальных моделях и их свойствах, типах задач, главных проблемах и их решениях!
На лекции вы узнаете:
— какие модели сейчас лучше выбрать и чем они отличаются
— как сравнить модели с помощью бенчмарков
— какие есть варианты применения: self-host против API, стоимость и ресурсы, основные провайдеры
— для каких задач LLM применяются в продуктах и какой уровень качества реально можно ожидать
— главные «болячки» ванильных решений и актуальные советы по их лечению
В конце представим программу курса LLM и откроем запись со скидкой!
🕕 Регистрируйтесь и приходите сегодня в 18:30 МСК
deepschool.ru
Что происходит в LLM | Открытая лекция DeepSchool
Актуальный срез индустрии вокруг LLM. Разберёмся в актуальных модели и их свойствах, типах задач, главных проблемах и как их решать
❤8😁4👍2🔥1
Разберитесь, как устроены LLM и как с ними работать
Если вы хотите научиться использовать большие языковые модели правильно, то приходите на нашу программу «LLM»!
16 октября стартует новый поток курса, который прошло уже почти 200 человек.
Вы разберётесь в теории, научитесь промптингу, дообучению, элайменту, построению RAG, агентских систем и деплою LLM.
В этом вам помогут опытные инженеры из разных доменов, компаний и стран. Вы будете встречаться раз в неделю, где сможете задавать вопросы прямо во время онлайн-лекций.
На сайте вы можете прочитать отзывы наших выпускников. Там они делятся, как курс пригодился им на собеседованиях, что они использовали в своих проектах, как стали брать новые задачи на работе и другими впечатлениями о программе.
До старта осталось меньше недели, а до 15 октября для вас действует скидка 5%,поэтому успевайте присоединиться!🔥
Если у вас есть вопросы, то пишите в нашу поддержку @deepschool_support — поможем со всем разобраться, расскажем подробнее про курс и подойдёт ли он вам.
Переходите на сайт, изучайте программу, спикеров, отзывы и записывайтесь на ближайший поток!
Если вы хотите научиться использовать большие языковые модели правильно, то приходите на нашу программу «LLM»!
16 октября стартует новый поток курса, который прошло уже почти 200 человек.
Вы разберётесь в теории, научитесь промптингу, дообучению, элайменту, построению RAG, агентских систем и деплою LLM.
В этом вам помогут опытные инженеры из разных доменов, компаний и стран. Вы будете встречаться раз в неделю, где сможете задавать вопросы прямо во время онлайн-лекций.
На сайте вы можете прочитать отзывы наших выпускников. Там они делятся, как курс пригодился им на собеседованиях, что они использовали в своих проектах, как стали брать новые задачи на работе и другими впечатлениями о программе.
До старта осталось меньше недели, а до 15 октября для вас действует скидка 5%,поэтому успевайте присоединиться!
Если у вас есть вопросы, то пишите в нашу поддержку @deepschool_support — поможем со всем разобраться, расскажем подробнее про курс и подойдёт ли он вам.
Переходите на сайт, изучайте программу, спикеров, отзывы и записывайтесь на ближайший поток!
Please open Telegram to view this post
VIEW IN TELEGRAM
deepschool.ru
LLM Курс | DeepSchool
Научитесь использовать LLM в приложениях: обучать, деплоить, ускорять и многое другое
❤8🔥7👍6👻4
DeepSchool Digest⚡
Собрали для вас подборку за сентябрь! Надеемся, вы не пропустите интересные вам материалы🔥
Как уменьшить время сборки и размер Docker-образов? — рассмотрели методы, которые помогут уменьшить размеры образов и ускорить процесс их сборки.
Краткая история механизма внимания в NLP — рассказали историю появления и развития механизма внимания.
Сервинг модели Grounding DINO с BentoML — показали пример, как обернуть модель Grounding DINO при помощи другого популярного фреймворка, BentoML.
Как запрунить свою первую модель? — в видео Александр Гончаренко, CTO enоt.аi и хэдлайнер курса «Ускорение нейросетей», рассказал, что такое прунинг и с чего начать его применение.
Когда память дороже точности: приближённые структуры данных — разобрали популярные структуры данных с константным потреблением памяти.
LLM для кодинга | Подкаст «Под Капотом» с Максимом Шапошниковым — обсудили, достигли ли предела в развитии языковых моделей, и рассмотрели, как интегрировать LLM в свои проекты, устроиться на работу в Амазон и без PhD пройти на исследовательскую позицию!
Собрали для вас подборку за сентябрь! Надеемся, вы не пропустите интересные вам материалы🔥
Как уменьшить время сборки и размер Docker-образов? — рассмотрели методы, которые помогут уменьшить размеры образов и ускорить процесс их сборки.
Краткая история механизма внимания в NLP — рассказали историю появления и развития механизма внимания.
Сервинг модели Grounding DINO с BentoML — показали пример, как обернуть модель Grounding DINO при помощи другого популярного фреймворка, BentoML.
Как запрунить свою первую модель? — в видео Александр Гончаренко, CTO enоt.аi и хэдлайнер курса «Ускорение нейросетей», рассказал, что такое прунинг и с чего начать его применение.
Когда память дороже точности: приближённые структуры данных — разобрали популярные структуры данных с константным потреблением памяти.
LLM для кодинга | Подкаст «Под Капотом» с Максимом Шапошниковым — обсудили, достигли ли предела в развитии языковых моделей, и рассмотрели, как интегрировать LLM в свои проекты, устроиться на работу в Амазон и без PhD пройти на исследовательскую позицию!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥5👏3😁2👻1