14000 открытых IT вакансий на одном дашборде

Большой апдейт проекта анализа IT зарплат VILKY. Расскажу что нового в пет-проекте, с какими проблемами столкнулись и что, в итоге, получилось. Мы всё так же, втроём, понемногу пилим сервис. Последние пару месяцев работали над сбором и обработкой данных.

✅ Что нового?

1️⃣. ДАННЫЕ
Сначала о самом заметном изменении. Мы добавили в дашборд 2 новые платформы вакансий:
🔹FINDER. Этот сервис раньше назывался Finder.vc. Он начал работу в 2020 как сервис поиска удалёнки. Сейчас там не только удалёнка и IT вакансии занимают 10% от всех. Много вакансий для начинающих специалистов. В день там более 10000 активных вакансий. Говорят что каждая вакансия проходит модерацию. Основной ТГ канал сервиса, 300k подписчиков
🔹 VSETI. Сервис IT вакансий, активных в день - более 300. Но важно не количество, а то что много уникальных вакансий. Основной ТГ канал, 57k подписчиков.

Только добавление вакансий этих сервисов увеличило в 4-5 раз общее число вакансий на дашборде. Благодаря Finder, появилось много нетоповых, и их тоже интересно исследовать.

Finder мы собрали вообще весь (2млн+ архивных вакансий). Парсеры Finder были на мне. Рома (пишет в канал Kotolitic) делал парсер для VSETI. Автоматизацию делал Никита.

2️⃣. ETL
Серьёзные изменения в ETL процессах. Полноценно работает DBT, там производятся трансформации данных. Пересмотрена и частично реализована логика сбора вакансий со снепшотов на инкремент. Это и многое другое делал Никита, про всё написал у себя в канале 'Joni in Web'.

3️⃣. AI И LLM
Отказались от YandexGPT - набольшом объёме данных нормализация съедает много денег, надо делать своё. Никита написал на sklearn нормализацию. Яндексу больше не платим 🙂. У вакансий Finder нет скиллов и грейдов, поэтому используем скрипты для их извлечения.

Эксперименты с внешними LLM даром не прошли - мы собрали достаточно информации для понимания того что будем собирать собственными LLM, и для чего LLM не нужны. Например, для сбора минимальной и максимальной зарплат достаточно старых добрых регулярных выражений. Работали с YandexGPT, а он иногда в вакансиях находил какие-то числа (зарплаты), которых нет в описании. Непонятно откуда вообще брал. Дальше планируем эксперименты с предобученной моделью.

4️⃣. ДАШБОРД И ДАЙДЖЕСТЫ
Дашборд допиливался под новые платформы. Сделали дополнительное поле под локацию: части света, выделили Казахстан и Беларусь. Столкнулись с ограничением Гугл шитов. Их используем для обновления даша на Tableau Public (прямо из базы он тянуть не может). У гугл шитов есть предел 10MB на скачивание данных через драйвер Google Drive. Данных стало заметно больше, поэтому, 7 дней выходили за предел. Ограничили историчность двумя днями. Скорее всего, оставим только 1 день - непонятно, кому недельные тренды вообще нужны.
Сделали новые дайджесты по вакансиям с требованиями AI и требованиями 1C.
Дайджесты по специализациям сейчас вылетают по лимиту гугл шитов. Для них отдельно соберём агрегированные данные.

⚠️ Траблы. Их хватало: косяки нормализации LLM, вылеты запросов по памяти, нехватка ресурсов для ETL, ограничения публичных сервисов, тормоза дашборда. Без этого - никуда 😁.

Сейчас 14000 вакансий в дашборде. В базе - несколько миллионов. Почти 70 000 просмотров дашборда за всё время.

Появилось много кейсов для анализа данных. Их присылают пользователи. На реализацию всего времени не хватает, но более четко прорисовываются границы того кому и зачем нужен сервис. Фидбек вдохновляет. Спасибо, что пишете! ❤️

Итоги конкурса TG Contest

Конурс авторских телеграм каналов TG Contest завершился. Результаты опубликовали в главном канале конкурса. Было огненно! 🔥

В заглавной картинке - облако слов из всех постов авторов основного канала. Как видите, пишем про работу 😃

Всё это время мы общались в закрытом канале продактов с авторами. Было интересно. Знакомились, делились мнениями и постами. Сделаем папку каналов продактов и расшарим. Напишу отдельно про это.

Ещё в конкурсе участвовали каналы аналитиков, но категории 'Аналитика' не было, и люди разбрелись по другим категориям. Но всё-таки нашли родственные души во всём многообразии авторов.
Отмечаю два крутых канала, которые буду читать:

😮 'Дневник Гис-аналитика'. Его ведет Александр, преподаватель геоинформатики. В канале много визуализаций геоданных и невероятно красивых карт. Отличный пример того, как человек любит своё дело и рассказывает о нём. Вот минималистический Питер. А это "Магнит vs Пятёрочка" на карте.

😮 'Data Дзен' Олега Дмитриева. Олег пишет о роли лида в IT, аналитику, BI, автоматизацию и жизнь в айтишечке с юмором и мемами. Разбирает дашборды и резюме. Вот здесь свежий видео-разбор даша с хорошей порцией юмора. А здесь - вебинар по UX в BI

Читайте и подписывайтесь 🔥

О чём пишут продакты

Мир становится "продуктовым".

Компании всё чаще строят цифровые продукты: приложения, сервисы, платформы. Даже традиционные отрасли превращаются в технологические компании. А со взлётом возможностей ИИ трансформация проходит на сверхзвуковых скоростях. В таких условиях навык думать как владелец продукта становится универсальным. Такой навык будущего, c ИИ тулами наперевес, даст вам поистине неограниченные возможности создания различного рода сервисов.

В конкурcе авторских каналов "TG Contest" и направлении "Продукты" собрали папку с каналами 22х финалистов.

🔥 Папка - по ссылке "Продакты тут".

Здесь найдёте каналы как динозавров продуктового подхода в бигтехе, так и тех, кто недавно в продуктовой тусовке. Ребята пишут о болях продакт менеджеров, ценностях продукта, метриках, A/B тестах и всём что полнует продактов и пользователей.

Лучи славы и фанфары - победителям конкурса:
🎆 @tobeproduct 'Быть продактом!' (выбор куратора). Канал ведёт Антон, директор по продукту. Здесь много годноты человеческим языком: инструменты, гипотезы и всего того, чем живёт продакт.
🎆 @nemnogoproduct 'Немного продакт' (победитель голосования). Сообщество продактов. Даниил приглашает авторов из разных продуктовых направлений для выступлений и статей. В общем, позитивный движ создают сами люди в продуктовой среде.

Конкурс завершится, но движ был незабываемым. Организаторы обещают в следующем году новый уровень! 🥁

P.S. В заглавной картинке - слова из всех постов 22х каналов. Всего постов - 7500. По традиции - облако слов.

Hard и Soft навыки в IT профессиях. Алгоритмы NLP

Представьте что для любой должности в любой организации у вас есть список всех Hard и Soft навыков плюс описания задач на позициях. Харды - это технологии, инструменты, стек, библиотеки. С софтами сложнее: сюда можно отнести 'управление проектом', 'коммуникацию' и т.п.

Что это даёт?
🟢 Вы знаете стек по командам в каждой компании
🟢 Вы можете кластеризовать компании (лидеры - аутсайдеры)
🟢 Вы можете прогнозировать развитие направления
🟢 Вы можете понять как трансформируется любая должность
🟢 Вы можете искать дефицитных сотрудников с уникальным набором скиллов
🟢 Вы можете примерно рассчитать цену конкретного навыка, если знаете зарплаты
🟢 Вы можете понять куда вам расти и чему лучше обучаться

Таких задач много, можете написать в комменты.

У нас в проекте анализа зарплат в IT VILKY давно стоит задача сопоставления навыков с конкретными должностями. Опираемся на данные вакансий - там указываются навыки и задачи. В самих полях навыков или указывается мало хардов и софтов или вообще ничего.

Сегодня расскажу как научились вытаскивать харды и софты из описания вакансий. Раньше было пару подходов к снаряду:
1️⃣. Использовали ChatGPT, YandexGPT. Проблема - не понимают что именно вытаскивать из описаний вакансий, непредсказуемы, и на миллионах данных слишком дороги.
2️⃣. Пробовали классические ML-инструменты, работали с Sklearn. Часто пропускает важные навыки. Не всегда ясно что надо учитывать а что пропускать.

Сейчас реализован третий вариант, у него точность более 95%. То есть, 95% нужных навыков он вытаскивает из описания вакансии. Не работает с опечатками. Пока не на проде - тестируется. С начала недели сидел с алгоритмами NLP (Nature Language Processing), рассказываю что получилось.

Как работает:
1️⃣. Определяет частотность навыков на базе 620 000 снепшотов вакансий с указанием конкретных навыков и строит таблицу.
2️⃣. Отбрасывает ерунду вроде "Стрессоустойчивости" и "Обучаемости".
3️⃣. В таблице ищет синонимы (Microsoft Excel, Excel, эксель и тп.).
4️⃣. Строит словарь с навыками, частотностью + массивы синонимов.
5️⃣. Удаляет навыки встречающиеся в 1-2 вакансиях. Здесь надо было ещё уками перепроверить.
6️⃣. Проходится по всем описаниям вакансий и ищет навыки и синонимы из словаря. Здесь есть прямой поиск, токенизация (разбиение на слова) и лемматизация (приведение к нормальной форме).
7️⃣. Добавляет поле новых навыков к данным.

В итоге, словарь сейчас - это 1260 наиболее популярных скиллов с синонимами на русском и английском языках. Поиск предсказуемый, без галлюцинаций нейросети.

Что дальше?
Планируем:
- внедрение поиска по скиллам на 📊 дашборде, даже если в вакансии навыки не указаны явно
- расширенный словарь, в том числе с редкими и уникальными технологиями (не для дашборда)

На выходных будет повторная валидация. Если всё ок - внедрим в прод и дадим пользователям.

20 лет Y Combinator и тренды в IT

'Y Combinator' (YC) - легенда венчурного мира. Это не просто венчурный фонд, а настоящая фабрика технологических гигантов. С 2005 года он превратил сотни никому не известных проектов в компании с миллиардными оценками: Airbnb, Dropbox, Stripe, Reddit, Coinbase, Twitch - все они когда-то прошли через YC. Отбор жёсткий - проходят примерно 1-2% от всех заявок - серьёзнее, чем в Гарвард. 9000+ основателей прошли через инкубатор YC, и это лучший нетворкинг в Кремниевой долине.

Почему YC - это IT-оракул?
Фонд видит тренды за годы до бума:

🔸 Big Data, облака, крипта - YC инвестировал на старте.
🔸 Ковид-эра: доставка, видеосвязь и EdTech.
🔸 AI-революция: первые стартапы пришли в 2021, а сейчас каждый первый проект - "AI для чего угодно".

Хотите заглянуть в будущее? Смотрите последние батчи YC.

Для изучения:
🎆 Все компании фонда.
🎆 Все основатели компаний.

Как думаете, кто из нынешних стартапов YC станет следующим "единорогом"?

Фильмы в цифрах. Исследуем данные TMDB и MovieLens

Фильмы любят все! В этот раз я решил сравнить две крупные рейтинговые платформы: TMDB и MovieLens, а заодно поговорить о линейной регрессии и корреляции между метриками.

В основе анализа - данные
'The Movies Dataset'

В датасете 45000 фильмов до 2018 года на разных языках, 26 миллионов оценок фильмов от 270000 зрителей на ресурсе MovieLens. Это один из рейтинговых и рекомендательных сервисов от команды GroupLens. Они публикуют датасеты для задач машинного обучения и построения рекомендательных систем.

Что я сделал:
На основе этих данных создал интерактивный 📊 инструмент-дашборд который позволяет сравнивать метрики фильмов по различным срезам:

Метрики:
🔸 Budget (Бюджет)
🔸 Revenue (Выручка)
🔸 Profit (Прибыль)
🔸 MovieLens Rating (пятибальный рейтинг)
🔸 MovieLens Votes (голоса на платформе MovieLens)
🔸 TMDB Rating (десятибалльный рейтинг)
🔸 TMBD Votes (голоса на платформе TMDB)
🔸 Runtime (длительность фильма)

Разрезы:
🔹 Жанр
🔹 Язык
🔹 Компания
🔹 Год выпуска

Основной инструмент - диаграмма разброса или Scatter Plot.
Диаграмма отображает фильмы точками. Ось X - одна метрика, ось Y - другая. Классические декартова система координат. По каждой категории строится прямая линейной регрессии, отражающая тренд, и вычисляется коэффициент корреляции Пирсона. Для интерпретации используется шкала Чеддока, которая помогает оценить силу и направление связи между метриками.

На все точки сразу смотреть не стоит - желательно выбрать гипотезу и фильтроваться по группам.
Примеры инсайтов:
▫️ Самые убыточные фильмы
▫️ Самые рейтинговые фильмы
▫️ Самый плохой российский фильм
▫️ Есть ли связь между числом голосов и рейтингом
▫️ Перекосы оценок фильмов на разных платформах
▫️ Выбросы в данных

Диаграмма разброса - мощный способ увидеть взаимосвязи и закономерности.
В следующих постах расскажу подробнее:
🔹 что такое линейная регрессия
🔹 как работает коэффициент корреляции Пирсона
🔹 как читать шкалу Чеддока
🔹 как делать выводы из трендов

Это базовые вещи в статистике и анализе. Изучать их на киноданных - одно удовольствие.

✍️ А пока - читайте полную статью с примерами, вычислениями и скриншотами в моём блоге.

Линейная регрессия и курсы валют

Линейная регрессия -базовый, но мощный инструмент, который помогает аналитикам понять связь между двумя переменными и делать прогнозы. В названии слово "линейная" указывает на форму зависимости между переменными. А "регрессия" - возвращение к среднему, как назвал это Фрэнсис Гальтон, наблюдая, что дети очень высоких родителей в среднем ниже их, а дети низких - немного выше. История термина здесь.

В прикладном смысле линейная регресия - поиск линейной зависимости между двумя переменными.

Вы все видели графики курсов валют. Я сделал визуализацию 📊 "Linear Regressiоn EUR USD", где можно:
🔸 изменить фильтры и диапазоны дат
🔸 увидеть, как меняются коэффициенты
🔸 посмотреть, как данные отклоняются от прямой (variance)

Сделал это, чтобы визуально стало понятно: что такое регрессия и как она работает. Добавил шкалу Чеддока - она показывает словами силу корреляции (например, "сильная положительная").

В данных - курс евро относительно доллара за 1,5 года. Цель - найти уравнение прямой, где x - время, а y - курс евро (Rate). Для этого находим коэффициент k - наклон прямой и b - сдвиг по y. Используем метод наименьших квадратов.
🔸 Ковариация (covariance) - показывает направление связи между переменными (>0 обе переменные растут. <0 - одна растёт, одна растёт, другая убывает. 0 - нет связи)
🔸 Коэффициент детерминации (R-squared). Показывает насколько хорошо объясняется регрессия.
🔸 Коэффициент корреляции Пирсона (Pearson coefficient) измеряет силу и направление связи. Значение от -1 до 1.

Коэффициент Пирсона принимает значение от -1 до 1. Чтобы проще было оценивать направлению и силу корреляции, используют шкалу Чеддока для удобной словесной интерпретации.

Все формулы есть внутри воркбука, можно посмотреть как считаются в Tableau.

📊 Главное - визуализация помогает интуитивно понять поведение линейной регрессии: просто меняй диапазон по времени и смотри, как меняются уравнение, коэффициенты. Ну и на собесах такое спрашивают - будет не лишним повторить.

BI без дашбордов, и как это работает

Для многих сейчас понятия 'Business Intellegence' и 'Дашборд' практически тождественны. А можете представить BI без дашбордов?

Давайте начнём с того, что дашборды бизнесу не нужны 🙂. Нужны ответы на вопросы. Дашборд - это инструмент, позволяющий отвечать на вопросы. А что, если вместо дашбордов будет другой инструмент? Это не фантастика, и возможно уже сейчас.

Последние пару месяцев Никита, Рома и я в своём проекте анализа зарплат VILKY занимаемся изучением того как построить BI без дашбордов. Результаты действительно впечатляют.

Представьте что есть только одно окно (как в ChatGPT), где можно задавать вопросы на родном языке и получать ответы на базе своих данных. Кроме этого, за минуты собираются отчёты, строятся графики, подключаются внешние источники для обогащения данных. Всё делают нейронки. В общем, будущее уже с нами. Работает и на локальных компах и в облаке.

Нейросети (у нас - Claude Opus4, Claude Sonnet 4.1) подключаются к базе данных, далее по промту формируются SQL запросы. Запросы можно смотреть. После этого нейросеть создаёт отчёты, даёт ответы на вопросы и т.д. - всё что попросите. Такой вот SA/BA, BI и аналитик в одном лице.

Плюсы и минусы такого подхода для BI:

➕Плюсы:
- Self-service с "человеческим" лицом. То, о чём долго мечтали - просто говорить с данными на человеческом языке.
- Не надо кастомизировать дашборды и отчёты под каждый отдел. Всё решается глубиной промта.
- Вылетает вся цепочка производства дашбордов, от бизнес/системного анализа до разработки дашбордов и источников под них. Это колоссальная экономия времени и резкое снижение Time-to-market.

➖Минусы:
- Нельзя подключать самые мощные нейросети к корпоративным данным из-за соображений безопасности. Надо делать создавать и совершенствовать свои LLM внутри компании, а это не все могут.
- Нужно по-другому собирать и готовить данные для LLM: включать описания, словари и т.п..
- Подход не изучен ещё, может быть много препятствий для внедрения.

Итого: то, о чём мечтают менеджеры - просто разговаривать с данными, уже реальность. Биайщики и аналитики в будущем, скорее всего, превратятся в архитекторов подобных систем.
Это можно назвать 'Conversational BI', хотя устоявшегося названия ещё нет.

Можем подробнее рассказать о технологиях и сделать демо, если интересно. Пишите в комменты.

MCP для начинающих

Недавно Microsoft выложил на YouTube бесплатный курс 'MCP for beginners'.

Если вы не фанат видео (как я), весь материал дублируется на GitHub.

Что такое MCP (Model Context Protocol)?
Это протокол общения нейросетей с внешним миром. По нему к LLM можно подключать любые источники данных или системы управления, и всё это по одному универсальному стандарту. MCP часто сравнивают с USB: устройство одно, протокол один, а число сценариев - бесконечно.

Протоколу ещё нет и года, но уже проводятся конференции, выпускаются курсы и появляются MCP-сервисы. Поддержка со стороны крупных IT-игроков говорит о том, что MCP быстро становится де-факто стандартом интеграции ИИ в реальные системы.

Дима Аношин в Канале 'Инжиниринг Данных' делился материалами с конференции 'MCP Dev Days'.

Я недавно писал про подключение Claude по MCP к PostgreSQL, когда нейросеть ходит в базу данных и собирает инсайты и отчёты. Всё работает на домашнем ПК. Развернуть несложно.

Короче, пока в русскоязычном LinkedIn спорят о кризисе в IT, мир строит новый слой взаимодействия информационных систем. MCP только набирает обороты - самое время вкатываться. 🔥