Язык Julia: что это и почему он популярен в научных вычислениях
Что такое язык Julia. Показываем сравнение языка Джулия с другими. Рассматриваем преимущества и основные нюансы ✔ Tproger
Читать: «Язык Julia: что это и почему он популярен в научных вычислениях»
#ru
@big_data_analysis | Другие наши каналы
Что такое язык Julia. Показываем сравнение языка Джулия с другими. Рассматриваем преимущества и основные нюансы ✔ Tproger
Читать: «Язык Julia: что это и почему он популярен в научных вычислениях»
#ru
@big_data_analysis | Другие наши каналы
10 библиотек Python, которые меняют карьеру
10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.
Читать: «10 библиотек Python, которые меняют карьеру»
#ru
@big_data_analysis | Другие наши каналы
10 библиотек Python, которые помогут прокачаться в аналитике, ML и разработке. Как они работают и почему меняют карьеру.
Читать: «10 библиотек Python, которые меняют карьеру»
#ru
@big_data_analysis | Другие наши каналы
Устраиваем свой Data QA с PyTest и фикстурами
Рабочий подход к тестированию трансформации данных в ETL-процессах. На примере Python-проекта с pytest, allure и psycopg2 демонстрируется, как автоматизировать создание и наполнение таблиц, хранить схемы и данные, а затем сравнивать результат.
Читать: «Устраиваем свой Data QA с PyTest и фикстурами»
#ru
@big_data_analysis | Другие наши каналы
Рабочий подход к тестированию трансформации данных в ETL-процессах. На примере Python-проекта с pytest, allure и psycopg2 демонстрируется, как автоматизировать создание и наполнение таблиц, хранить схемы и данные, а затем сравнивать результат.
Читать: «Устраиваем свой Data QA с PyTest и фикстурами»
#ru
@big_data_analysis | Другие наши каналы
Сравнительный обзор механизмов polling в Kafka и Pub/Sub в RabbitMQ: особенности и области применения
Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ.
Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали!
О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье. Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.
Читать: https://habr.com/ru/articles/989590/
#ru
@big_data_analysis | Другие наши каналы
Друзья, привет! Меня зовут Андрей Комягин, я CTO компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей, включая налоговое администрирование, телеком, track & trace и многие другие. В своих проектах и архитектурах мы широко применяем open-source-решения, включая брокеры сообщений, такие как Kafka и RabbitMQ.
Совсем недавно я выступил на конференции HighLoad++ Genesis 2025: рассказал про анатомию каждого из этих брокеров, сравнил их по набору критериев и оценил результаты их нагрузочного тестирования. А теперь решил выпустить этот материал в виде статьи в блоге, чтобы читатели Хабра тоже смогли изучить нюансы и понять, на какие задачи заточен каждый из брокеров. Итак, поехали!
О брокере Apache Kafka я очень подробно рассказал в своей предыдущей статье. Повторяться и снова разбирать его сегодня я не буду — вы можете перейти по ссылке выше и ознакомиться с материалом, а затем вернуться сюда.
Читать: https://habr.com/ru/articles/989590/
#ru
@big_data_analysis | Другие наши каналы
Forwarded from Типичный программист
От кого только не прилетает самокатчикам. Иногда за дело, иногда нет. Не нам судить, но мы обсудим, что делать, например, с явными нарушителями? Как их контролировать, если операторы кикшеринга не пускают в свои данные? Закрывать глаза на хаос на тротуарах или тотально запрещать?
Мы получили кейс, где за 4 месяца команда из 7 человек создала платформу мониторинга, которая фиксирует самокатовские нарушения. Их задачей было сделать инструмент для структурирования данных, чтобы чиновники и операторы нашли общий язык.
Планируем поделиться с вами целой пачкой интересных артефактов. Ставьте 👀, если любопытно узнать их все.
Please open Telegram to view this post
VIEW IN TELEGRAM
👀2
Forwarded from Типичный программист
Дашборд — это скучно до того момента, пока к его визуализации не подключат гигантский экран.
Сегодняшняя история о команде, которая превратила обычную статистику посещения фестиваля в генеративное шоу. Их задача звучала как вызов: сделать так, чтобы было невозможно оторвать глаз от дашбордов.
Так они создали интерактивную инсталляцию, где посетители, сами того не зная, становились частью цифрового арт-объекта.
Следующий артефакт представит категорию «Виртуализация». Не пропустите.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Типичный программист
This media is not supported in your browser
VIEW IN TELEGRAM
Ну и еще немного про ИИ! 😁
Одни компании недолюбливают нейросети за риск утечки конфиденциальной информации. Судя по комменту к предыдущему посту вы тоже от него устали🤪 Но каким-то образом у разных компаний получается приручить эту химеру и выуживать из нее пользу.
Как, например, у этих ребят. Команда хотела облегчить работу коллег и создала то, что стало ключом к корпоративному ИИ. Они хотели доступ к мощным нейросетям, но так, чтобы ни байта данных не вышло за порог компании. И чтобы запускал это не только технарь, но и обычный менеджер.
Главный стоппер был предсказуем: как заставить прожорливые модели стабильно работать в облаке под нагрузкой? Решение оказалось элегантным.
Это девятый артефакт — для тех, кто побаивается нейросетей, но явно на них облизывается. Покажите вашему начальнику, скажите, что все не так страшно👻
Одни компании недолюбливают нейросети за риск утечки конфиденциальной информации. Судя по комменту к предыдущему посту вы тоже от него устали
Как, например, у этих ребят. Команда хотела облегчить работу коллег и создала то, что стало ключом к корпоративному ИИ. Они хотели доступ к мощным нейросетям, но так, чтобы ни байта данных не вышло за порог компании. И чтобы запускал это не только технарь, но и обычный менеджер.
Главный стоппер был предсказуем: как заставить прожорливые модели стабильно работать в облаке под нагрузкой? Решение оказалось элегантным.
Это девятый артефакт — для тех, кто побаивается нейросетей, но явно на них облизывается. Покажите вашему начальнику, скажите, что все не так страшно
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Типичный программист
Победителями премии Тпрогер 🐀 становятся...
Здесь играет барабанная дробь и интригующая музыка... Вам нужно только выждать драматическую паузу перед объявлением победителей — в каждой номинации он один, и определяется большинством голосов. Готовы?
В номинации «Продукт года» золотая мышь достается компании:
🐀 NetVision за платформу интеллектуального мониторинга СИМ .
В номинации «Облачный продукт года» побеждает компания:
🐀 Гравитон с паком виртуализации «Гелиус»
Звание «IT-ивент года» вручается компании:
🐀 Островок! за О!Хакатон
И в категории «Дизайн года» первое место занимает компания:
🐀 AcademiaDev за интерактивную инсталляцию .
Каждый ваш лайк, голос влияли на исход премии. Давайте поддержим всех — ставьте 🏆участникам, которые хоть и не заняли призового места, но точно остались в сердечке.
И 🔥, если хотите аналогичных активностей и готовы выбирать еще!
Здесь играет барабанная дробь и интригующая музыка... Вам нужно только выждать драматическую паузу перед объявлением победителей — в каждой номинации он один, и определяется большинством голосов. Готовы?
В номинации «Продукт года» золотая мышь достается компании:
В номинации «Облачный продукт года» побеждает компания:
Звание «IT-ивент года» вручается компании:
И в категории «Дизайн года» первое место занимает компания:
Каждый ваш лайк, голос влияли на исход премии. Давайте поддержим всех — ставьте 🏆участникам, которые хоть и не заняли призового места, но точно остались в сердечке.
И 🔥, если хотите аналогичных активностей и готовы выбирать еще!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Типичный программист
Победителями премии Тпрогер 🐀 становятся...
Здесь играет барабанная дробь и интригующая музыка... Вам нужно только выждать драматическую паузу перед объявлением победителей — в каждой номинации он один, и определяется большинством голосов. Готовы?
В номинации «Продукт года» золотая мышь достается компании:
🐀 NetVision за платформу интеллектуального мониторинга СИМ .
В номинации «Облачный продукт года» побеждает компания:
🐀 Гравитон с паком виртуализации «Гелиус»
Звание «IT-ивент года» вручается компании:
🐀 Островок! за О!Хакатон
И в категории «Дизайн года» первое место занимает компания:
🐀 AcademiaDev за интерактивную инсталляцию .
Каждый ваш лайк, голос влияли на исход премии. Давайте поддержим всех — ставьте 🏆участникам, которые хоть и не заняли призового места, но точно остались в сердечке.
И 🔥, если хотите аналогичных активностей и готовы выбирать еще!
Здесь играет барабанная дробь и интригующая музыка... Вам нужно только выждать драматическую паузу перед объявлением победителей — в каждой номинации он один, и определяется большинством голосов. Готовы?
В номинации «Продукт года» золотая мышь достается компании:
В номинации «Облачный продукт года» побеждает компания:
Звание «IT-ивент года» вручается компании:
И в категории «Дизайн года» первое место занимает компания:
Каждый ваш лайк, голос влияли на исход премии. Давайте поддержим всех — ставьте 🏆участникам, которые хоть и не заняли призового места, но точно остались в сердечке.
И 🔥, если хотите аналогичных активностей и готовы выбирать еще!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Как UPS сэкономила $400 млн в год на левых поворотах и системной интеграции
Американская логистическая компания UPS внедрила систему оптимизации маршрутов ORION (On-Road Integrated Optimization and Navigation). Результат: минус 140 млн км пробега в год и ежегодная экономия $300–400 млн на топливе.
Этот кейс приводят как чистый триумф дата-саентистов, разработавших математическую модель. Но главная проблема проекта, разработка которого заняла почти 10 лет, заключалась во внедрении. Чтобы алгоритм заработал на 55 000 грузовиков, потребовалась масштабная работа системных аналитиков.
Что было сделано на уровне системного анализа:
➡️ Спроектирована сложная интеграция: ORION необходимо было связать с легаси-инфраструктурой (системой Package Flow Technology), телематикой самих автомобилей и мобильными терминалами водителей (DIAD).
➡️ Оцифрованы нетривиальные бизнес-ограничения: алгоритм должен был учитывать жесткие окна доставки, приоритеты грузов и знаменитое правило UPS «избегать левых поворотов» — это снижает время простоя на перекрестках и риск ДТП.
➡️ Спроектирован UX/UI и логика работы: система должна динамически перестраивать маршрут при новых вводных, но оставаться понятной и предсказуемой для водителя. Без грамотной трансляции процессов в интерфейс водители просто саботировали бы «непонятный» алгоритм.
Именно системный аналитик связывает алгоритмы, железо, распределенные базы данных и реальные бизнес-процессы в работающий продукт.
Если вы хотите решать задачи такого уровня, проектировать архитектуру и интеграции высоконагруженных систем, обратите внимание на курс «Мидл системный аналитик» от Яндекс Практикума PRO. За 4 месяца вы углубитесь в работу с брокерами сообщений, проектирование API и продвинутое моделирование, чтобы выйти на уровень уверенного middle+.
Подробности по ссылке: https://tprg.ru/qMbA
Реклама. Рекламодатель: АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033, erid: 2W5zFHVZL81
Американская логистическая компания UPS внедрила систему оптимизации маршрутов ORION (On-Road Integrated Optimization and Navigation). Результат: минус 140 млн км пробега в год и ежегодная экономия $300–400 млн на топливе.
Этот кейс приводят как чистый триумф дата-саентистов, разработавших математическую модель. Но главная проблема проекта, разработка которого заняла почти 10 лет, заключалась во внедрении. Чтобы алгоритм заработал на 55 000 грузовиков, потребовалась масштабная работа системных аналитиков.
Что было сделано на уровне системного анализа:
Именно системный аналитик связывает алгоритмы, железо, распределенные базы данных и реальные бизнес-процессы в работающий продукт.
Если вы хотите решать задачи такого уровня, проектировать архитектуру и интеграции высоконагруженных систем, обратите внимание на курс «Мидл системный аналитик» от Яндекс Практикума PRO. За 4 месяца вы углубитесь в работу с брокерами сообщений, проектирование API и продвинутое моделирование, чтобы выйти на уровень уверенного middle+.
Подробности по ссылке: https://tprg.ru/qMbA
Реклама. Рекламодатель: АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033, erid: 2W5zFHVZL81
Please open Telegram to view this post
VIEW IN TELEGRAM
Как структура данных диктует стиль кода в SQL и pandas
В аналитике часто кажется, что выбор между оконной функцией и
Временные ряды и задачи типа «самый высокий результат за день» почти всегда приводят к оконным функциям (
Понимание этих паттернов позволяет не гадать, а сразу выбирать нужный инструмент, ускоряя написание и отладку кода. Подробности в статье: https://www.kdnuggets.com/visualizing-patterns-in-solutions-how-data-structure-affects-coding-style
В аналитике часто кажется, что выбор между оконной функцией и
GROUP BY — дело случая. Но исследование решений реальных задач показывает чёткую закономерность: тип данных предопределяет преобладающие конструкции.Временные ряды и задачи типа «самый высокий результат за день» почти всегда приводят к оконным функциям (
RANK, LAG). Когда метрика собирается из нескольких таблиц (факты и измерения) — доминируют JOIN + GROUP BY. Задачи на исключения («кто никогда не совершал действие») — это анти-джойны (NOT EXISTS или ~isin). В pandas аналогично: .merge() появляется там, где нужно скомбинировать данные, а .groupby() — на следующем шаге.Понимание этих паттернов позволяет не гадать, а сразу выбирать нужный инструмент, ускоряя написание и отладку кода. Подробности в статье: https://www.kdnuggets.com/visualizing-patterns-in-solutions-how-data-structure-affects-coding-style
Чем занимается аналитик данных — открытый урок по Python и SQL
Приглашаем вас на открытый онлайн-урок Нового технологического университета, где вы увидите, как аналитики работают с данными в реальных задачах.
На занятии вы:
➡️ поймете, кто такой аналитик данных и чем он занимается
➡️ выполните две практические задачи на Python и SQL, даже если ни разу этого не делали
➡️ разберетесь, стоит ли идти в профессию сейчас, и что будет с рынком IT через 1-3-5 лет
➡️ поймете, как стать аналитиком данных в 2026, даже если вы еще учитесь в ВУЗе
Урок подойдет, даже если у вас нет опыта в программировании или аналитике.
Спикер — Ева Панкратова, руководитель продуктовой аналитики в М2, ex-Райффайзенбанк.
Занятие пройдет онлайн, участие бесплатное. Сразу после регистрации вы получите бонус: сборник идей для портфолио.
→ Регистрируйтесь: ссылка
Это #партнёрский пост
Приглашаем вас на открытый онлайн-урок Нового технологического университета, где вы увидите, как аналитики работают с данными в реальных задачах.
На занятии вы:
Урок подойдет, даже если у вас нет опыта в программировании или аналитике.
Спикер — Ева Панкратова, руководитель продуктовой аналитики в М2, ex-Райффайзенбанк.
Занятие пройдет онлайн, участие бесплатное. Сразу после регистрации вы получите бонус: сборник идей для портфолио.
→ Регистрируйтесь: ссылка
Это #партнёрский пост
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1