Кажется, Google готовится объединить SQL, Python и Spark в рамках Colab Enterprise

По слухам, поисковый гигант намерен создать единую среду для специалистов по машинному обучению, объединив SQL, Python и Apache Spark в одном месте.

Ясмин Ахмад, управляющий директор Google Cloud по обработке данных, отметил, что главным препятствием для эффективности в ML является необходимость переключаться между средами: получать данные с помощью SQL в базах данных и хранилищах, затем экспортировать их, загружать в блокнот и настраивать отдельный кластер Spark.

Как вы понимаете, это крайне неудобно. Поэтому Google представляет ряд улучшений для своих блокнотов Colab Enterprise в BigQuery и на платформе Vertex AI.

Кроме того, компания анонсировала следующие преимущества для разработчиков в блокнотах Colab Enterprise:
➖ Предварительный просмотр собственных ячеек SQL.
➖ Интеграцию собственного Data Science Agent, призванного помогать в анализе и разработке моделей.

Подборка открытых вакансий 🔵

Data Scientist в Авито
Удаленно / Офис / Гибрид в Москве

Senior ML Engineer в Wildberries
Офис / Гибрид в Москве

Data Engineer в Мегафон
Удаленно

Data Scientist в Яндекс
Офис / Гибрид в Москве

Middle/Senior DS/ML инженер в Ozon
Офис / Гибрид в Москве

Senior Data Engineer в Yadro
Удаленно / Офис / Гибрид в Москве, Санкт-Петербурге, Минске, Нижнем Новгороде

Влияние ИИ на разработку кода

За последние годы ИИ-помощники для разработчиков, вроде GitHub Copilot и Cursor, стали настоящим трендом. Но большинство данных об их эффективности взяты из контролируемых лабораторных тестов. Поэтому группа исследователей задалась вопросом: Что же происходит, когда ИИ встраивается в рабочие процессы в реальной компании? Для этого разработчики провели годовое исследование внедрения собственной ИИ-платформы DeputyDev с участием 300 инженеров.

⭐ Результаты показали, что ускорение ревью составило 31.8%, то есть сократилось время код-ревью
⭐ Наиболее активные пользователи достигли увеличения объема кода, попадающего в продакшен, на 61%. В целом, платформа отвечала за 28% рост объема выпускаемого кода.
⭐ 85% удовлетворенности функциями код-ревью.
⭐ Пиковый уровень вовлеченности достиг 83% к 6-му месяцу и стабилизировался на отметке 60%, что говорит об устойчивой интеграции в рабочие процессы.
⭐ Объем сгенерированного кода вырос с 3,000 до 2.2 миллионов строк без потери качества (стабильный процент принятия кода 35-38%).
⭐ Основные сценарии использования: UI/Frontend (25.2%), исправления багов (21.8%) и Бэкенд-разработки (21.1%).

Полное исследование

Администратор баз данных в НМГ
Офис в Москве

Предстоит: Установка, настройка и поддержка высоконагруженных кластеров ClickHouse; Оптимизация производительности ClickHouse: настройка таблиц, индексов, шардирования, репликации и партиционирования…. Узнать подробнее 🔵

Забавная история стажировки одного разработчика

Все мы, когда были неопытными хотели отличиться и попасть в штат, также думал и главный герой этой истории, но в итоге он слишком перестарался:

«В эпоху мейнфреймов и перфокарт я стажировался в бигтехе. Желая проявить себя, я решил улучшить наш пакетный редактор. Изучив документацию IBM, я написал набор «умных» команд. Но..

Я не знал, что старшие коллеги уже доработали редактор своими недокументированными изменениями. В итоге, мои правки привели к массовому перезаписыванию файлов.

Меня немедленно отстранили от работы с редактором, а потом и от других задач, сочтя слишком рискованным сотрудником. Но компания продолжала платить мне, а на итоговом собеседовании менеджер отметил, что я выполнил больше задач, чем ожидалось. Но главное — эта история не отбила у меня вкус к экспериментальному программированию.»

Инициативность это хорошо, но главное не перестараться и уточнять у коллег 🤭

Data Scientist в ИТМО
От 120.000₽
Офис в Санкт-Петербурге

Предстоит: разработка и имплементация новых ML/DL-архитектур для задач химии материалов, drug-дизайна и кристаллохимии (GNN, трансформеры, диффузионные модели); построение и ведение исследовательских пайплайнов: подготовка датасетов, воспроизводимое обучение/валидация, оптимизация гипер-параметров, интерпретация моделей…. Узнать подробнее 🔵

Подготовка к собеседованиям для MLE

Наткнулись на блог Андрея Лукьяненко — ML-инженера, проработавшего на этой должности 6 лет. Совсем недавно он поделился тем, как готовился к собеседованиям в разные компании.

Андрей выделил основные типы собеседований: Leetcode, ML System Design, вопросы по теории ML и статистике и поведенческое интервью.

➡️ Leetcode — один из самых популярных этапов собеседований. Хоть многие его и не любят, этот этап может продемонстрировать вашу подготовку: либо вы из тех, кто целенаправленно нарешивал задачи, либо из тех, кто просто способен быстро их решать, а может и вовсе не тот и не другой, но тогда ваши шансы на получение офера снижаются.

Задачи делятся по уровню сложности: легкие, средние и сложные. Если с легкими все проще: в них нужно знать базовые структуры данных, то на среднем и сложном уровнях необходимо знать подходы к решению определенных проблем или уметь применять сразу несколько методов.

Просто решить задачу по программированию — полдела, ведь нужно решить ее эффективно, оптимизировав время и память, а для этого как раз и нужны знания структур данных и алгоритмов.

К такому собеседованию Андрей готовился так: давал себе время на решение задачи (например, 15 минут), если решить ее не получалось, то изучал решение, воспроизводил его, а потом нарешивал похожие задачи.

Еще здорово, когда вы знаете, в какой компании проходите собеседование — тогда можно посмотреть, какие вопросы часто задают на интервью.

Несколько советов:

➖ Потратьте на размышления не больше минуты-двух, а затем озвучьте свои мысли.
➖ Задавайте уточняющие вопросы об ограничениях и крайних случаях.
➖ Сначала представьте решение методом перебора, объясните его сложность, а затем предложите варианты оптимизации.
➖ Объясняйте, что вы делаете, когда пишете код. Не молчите.
➖ Внимательно прислушивайтесь к подсказкам интервьюера: скорее всего, они намекают на ошибку.
➖ Рассмотрите пример входных данных и объясните, как ваш код будет их обрабатывать.

➡️ Теория по статистике и ML
Считается, что это самый непредсказуемый этап, так как никогда не знаешь заранее, какие вопросы зададут. Можно лишь догадываться, исходя из компании или команды.

Самое неприятное, что интервьюеры сильно различаются по глубине своих ожиданий. Некоторым достаточно общих объяснений, другим нужны формулы. Некоторые могут спросить о чём-то, что они прочитали накануне.

Помнить абсолютно все практически невозможно. Поэтому перед собеседованиями Андрей просто освежал в памяти теорию. Но такой подход дает сбой, когда забываешь то, чем не пользуешься регулярно, поэтому он старается делать заметки по теории. Кстати, они открыты для всех желающих.

Совет:

Если вы не применяете какие-то знания на практике, вы их забудете. Поэтому либо применяйте их, либо документируйте, либо хотя бы добавляйте в закладки необходимые материалы для повторения перед собеседованиями.

Research Engineer in Google DeepMind
From 166,000$ + bonus + benefits
Office in California

What To Do: ou’ll be applying the most promising models and research to high-impact real world problems, by rapid-prototyping initial concepts, and designing and running experiments to evaluate the opportunity..... find out more 🔵

Сэм Альтман о замене человека ИИ и навыках 💬

Сейчас многие студенты переживают по поводу поиска работы, так как ИИ активно внедряют на позиции джуна, да и эффективность образования в эпоху ИИ многие ставят под сомнение. На недавнем интервью Альтману задали о том, какие навыки нужны человеку, чтоб оставаться востребованным.

Мета-навык — учиться тому, как учиться, учиться адаптироваться, учиться быть устойчивым к постоянным изменениям. Я упоминал об этом ранее: умение понимать, чего хотят люди, как создавать для них полезные продукты и услуги, как взаимодействовать с миром. Я абсолютно уверен, что люди по-прежнему будут оставаться в центре повествования друг для друга. И всё, что будет в этом мире, я считаю, будет прекрасным.

Также Сэм немного успокаивает студентов, упоминаю о том, что технологический прогресс никогда не стоял на месте.

Я легко могу представить себе мир, в котором 40% задач, выполняемых сегодня в экономике, в недалёком будущем будут выполняться искусственным интеллектом.. Примерно каждые 75 лет половина рабочих мест в обществе меняется, и это даже без учета ИИ. Возможно, это произойдет, но я ожидаю, что теперь это будет происходить быстрее.

Подборка открытых вакансий 🔵

Data Scientist в Авито
Удаленно / Гибрид / Офис в Москве

Data Analyst в Авиасейлс
Удаленно

Middle Data Engineer в МТС
Офис в Москве

Middle Data Scientist в Lamoda
Офис в Москве

Team Lead Data Scientist в Bia Technologies
Удаленно / Гибрид / Офис в СПб, Москве, Омске, Владимире

Senior Data Engineer в VK Team
Офис в Москве

Наткнулись на крик души одного рекрутера, который говорит об основных ошибках при подаче резюме:

➖ 2-страничные резюме. Нет никаких причин, по которым ваше резюме не помещается на 1 странице. Указывайте релевантные роли для желаемой компании должности. Если рекрутер увидит, что у вас было слишком много компаний в последнее время, это является тревожным сигналом для HR.

➖ Резюме с двойным интервалом. Это делает невозможным быстро прочитать резюме и сбивает с толку ATS при разборе. Это не рукопись, никто ее не аннотирует, используйте одинарный интервал.

➖Маркеры - это одна строка текста, может быть две. Если у вас есть 3+ строки или абзац, единственное, что мы понимаем, это то, что вы не знаете, как использовать маркеры.

➖ Хорошо, если ваше имя стилистически больше (честно говоря, оно даже предпочтительнее), но оно не должно быть 72pt. То же самое относится и к местоположению.

➖ Дважды проверьте все свои URL-адреса. Рекрутеры як то видят много опечаток linekdin и gtihub, устаревших ссылок и т. д.

➖ Не перечисляйте навыки, которые вы никогда не использовали. Никто не хочет видеть "Vue.js" в ваших навыках, если ваш опыт React. При большом количестве навыком рекрутеры просто предположат, что вы лжете/преувеличиваете, и сбрасывают это со счетов.

➖ Держите свой список навыков в одной или двух строках в качестве основных моментов или просто опустите его вообще. Это также распространяется на список Word, Photoshop и т. д., они не имеют значения. Не перечисляйте их вертикально, потому что вы будете использовать половину страницы для наименее важного раздела вашего резюме.

➖ Согласуйте шрифты! Если маркеры в одном разделе 14pt, затем 10pt в следующем, затем 24pt в следующем, это просто выглядит так, как будто вы не приложили усилий в свое резюме.

➖Ваше образование должно быть легко читаемым. Лучший формат образования это «университет - степень, специальность».

Половина российских айтишников работают, не имея профильного образования

Согласно исследованию HHru и T1, в ходе которого было опрошено 1000 специалистов, 55% айтишников работают не по специальности.

🔷Более половины (57%) пришли в профессию благодаря «самообразованию», еще 51% — получили необходимые навыки уже после трудоустройства. Лишь треть российских айтишников имеют диплом о профильном образовании — чаще всего это разработчики, аналитики и специалисты по кибербезопасности.

🔷Среди молодежи 18–24 лет две трети уже работают или стажируются по профессии, «нарабатывая портфолио». Среди респондентов старше 25 лет таких оказалось всего 40%. Таким образом, старшее поколение айтишников — люди, пришедшие из других сфер экономики.

🔷Среди айтишников более трети (38%) предпочитают формат удаленной работы на столичные компании. 62% опрошенных признались, что выбирают родной регион ради экономии расходов. 54% не хотят разлучаться с семьей. Переезд в Москву или Санкт-Петербург рассматривали единицы: каждый четвертый получал такое предложение, но согласились только 7%.

И так каждый раз 🥲

Middle Data Scientist в Мегафон
Гибрид / Офис в Москве

Предстоит: Разрабатывать, тестировать и улучшать алгоритмы и модели NLP в задачах обработки, понимания и генерации естественного языка; Внедрять передовые методы в области NLP и их интеграция в существующие системы... Узнать подробнее 🔵

Куда бы сходить в октябре? 🚀

Avito.tech.conf — хорошая возможность послушать доклады и про то, как собеседуют руководителей в Автито, и то как ребята внедряют инструменты ИИ в свои рабочие процессы. Ну и конечно сходить на афтепати!
17 октября в Москве.

IVI.tech — еще одно классное мероприятие, на котором опытные специалисты расскажут о сложности внедрения ClickHouse для хранения агрегированных данных и то, как ребята сократили время выкатки A/B-тестов с месяца до нескольких дней.
16 октября в Москве.

Серия митапов для джунов от T-Банка. Сотрудники Т-Банка поделятся своим опытом и расскажут про старт карьеры в разных ИТ-направлениях: frontend-разработка, машинное обучение и системный анализ.
8 октября в Новосибирске.

IT Talk by Sber. Ребята из Сбера расскажут про современные тенденции в генеративных сетях, создающих изображения и видео, а также обсудят эволюции ИИ — от инструмента, помогающего в написании кода, до полноценного автономного агента.
9 октября в Екатеринбурге.

Подборка открытых вакансий 🔵

Middle/Senior Data Scientist в Авито
Удаленно / Гибрид / Офис в Москве

Middle/Senior ML-разработчик в Яндекс
Офис в Москве

Middle Data Engineer в МТС
Офис в Москве

Junior/Middle MLOps Engineer в Lamoda
Офис в Москве

Data Analyst в Сбер
От 110.000₽
Офис в Санкт-Петербурге

Junior/Middle Data Engineer в Wildberries
Удаленно

Middle/Senior Data Scientist в Raft Digital Solutions
Удаленно

Предстоит: Создание и оптимизация RAG-систем; Разработка, обучение и внедрение моделей машинного обучения в связке с LLM... Узнать подробнее 🔵