Git для данных - это давняя мечта многих разработчиков и дата-инженеров. Как организовать хранение и передачу данных так чтобы было похоже на систему контроля версий и учитывало объёмы и изменения в наборах данных.

Несколько проектов существуют для решения этой задачи, например такие:
- Dolt [1] [2] - умеет многое, объединять данные, сравнивать, делать таблицы сравнения, разрешать конфликты и тд. плюс многое из возможностей git'а
- Daff [3] позволяет работать с таблицами CSV и также сравнивать их, объединять и тд. Интегрирован с git
- DVC [4] система контроля версиями для проектов по машинному обучению. Довольно популярна и умеет многое связанное с проектами именно по ML


Ссылки:
[1] https://github.com/liquidata-inc/dolt
[2] https://www.dolthub.com/
[3] https://github.com/paulfitz/daff
[4] https://dvc.org/

#opendata #data #git #datatools

🎒Skyeng в поиске Senior data analyst (Skysmart)

🔈Слово предоставляется ребятам из Skymart:

Тетрадь Skysmart — это новый проект Skyeng для учителей и учеников 5–11 классов.
Мы освобождаем учителей от проверки домашек и делаем задания для учеников интересными и практико-применимыми.
Уже реализована защита от списывания, впереди - реализации новых продуктовых экспериментов и идей.
Процессы только выстраиваются и есть возможность прямо влиять на них. Много свободы и много работы:)
Стек: Python, SQL, Airflow, Tableau + часть данных перевозим в Clickhouse.
Круто, если у тебя есть опыт в том, чем мы еще не работаем и ты нас этому научишь.

📝Откликнуться на вакансию: @bykatya (Быкова Катя)

🔗Ссылка на вакансию: https://hh.ru/vacancy/38106049

#moscow #remote #fulltime #senior #data_analyst

🚂«Первая Грузовая Компания» (ПГК) — крупнейший частный оператор грузовых железнодорожных перевозок России в поиске Senior/Middle data scientist

🔈Слово предоставляется ребятам из ПГК:

Мы видим высокий потенциал в применении различных математических, ML и оптимизационных алгоритмов для создания решений в виде цифровых подсказчиков и инструментов автоматизации бизнес-процессов. Есть беклог на 7 продуктов от стратегического планирования до фактического исполнения грузовых ЖД перевозок. Расчет оптимального плана перевозок, выбор лучших маршрутов и подходящих вагонов, оптимальная передислокация вагонов в онлайн режиме, баланс парка и много другое.
Прямо сейчас мы создаем ядро команды продуктовой разработки. Есть возможность реализовать свои амбиции в части выстраивания процессов разработки и применяемых инструментов с нуля.

Стек: Python, SQL, математический солвер Gurobi.
Круто, если у тебя есть опыт в том, с чем мы еще не работаем и ты нас этому научишь.

📝Откликнуться на вакансию: @dkrupenin (Дима Крупенин)

🔗Ссылка на вакансию: https://hh.ru/vacancy/38174454

#moscow #remote #fulltime #senior #middle #data_analyst

👷‍♂️Profi.ru ищет Middle Data Engineer в команду «BI»

🔈Слово предоставляется тимлиду команды «BI»:

Наша команда раскладывает и визуализирует данные так, чтобы аналитики могли строить дашборды, а бизнес — делать выводы и принимать решения на их основе.
Сейчас мы открываем направление «Аналитика в реальном времени», но для полноценного погружения нам не хватает data-инженера, который подхватит запросы от аналитиков и бизнеса, поддержит текущее развитие хранилища данных и поможет построить хранилище для маркетинговых данных.
Стек: Vertica, Clickhouse, MySQL, Redis, Python, Java, NodeJS, Apache Airflow, Apache Flink.

💬Откликнуться: @natashaprofi

🔗Посмотреть вакансию: https://profi.ru/vacancies/middle_engineer/

#moscow #fulltime #remote_first #middle #data_engineer

У Bena Stancil'а очередной замечательный текст про то как устроен рынок стартапов в областях data analytics и не только. В The end of Big Data [1] он пишет о том что Databricks в текущем виде - это раздутый пузырь и что главная ценность продуктов в области больших данных - это снимать головную боль у тех кто ими пользуется. У него в тексте хороший пример про "скучную" презентацию Snowflake которые без какого-либо глянца просто позиционировали свой продут как "Redshift только быстрее и лучше" и "Postgres только быстрее и лучше" и это работало и работает лучше чем лощёные слайды со стоковыми фотографиями.

Ben пишет ещё один важный момент что ключевые рыночные преимущества у онлайн хранилищ в том что они: а) Бесконечны б) Легко масштабируются. Если создаётся продукт не обладающий этими качествами, то на рынке ему уже места не найдётся.

Чтение интересное, всяческие рекомендую.

Ссылки:
[1] https://benn.substack.com/p/the-end-of-big-data

#data #startups #readings

Яндекс выложили в открытый доступ систему управления базами данных YDB [1] с полным исходным кодом [2]. Эта распределенная SQL база данных, с собственным расширением языка SQL - YQL [3] и, в целом, выглядит любопытно.

Что стоит внимания:
- работа в кластере как часть системы
- обещанная простая масштабируемость

Что удивительно:
- база написана полностью на C++, хотя сейчас более популярно когда базы данных создаются на более высокоуровневых языках, в том числе и для того чтобы привлечь разработчиков которые хотят их изучать
- поддержка JSON и иерархических данных весьма скромная, по крайней мере документации об этом мало, хотя и упоминается
- вместо придумывания своего языка запросов расширяют SQL, что может быть и не плохо, просто +1 SQL диалект
- нет PostgreSQL или MySQL "совместимости из коробки", а это полезная фича которую декларируют многие новые СУБД и сервисы.

В целом база явно написана под высокие нагрузки, стоит пристального внимания и тестирования.

Ссылки:
[1] https://ydb.tech/
[2] https://github.com/ydb-platform/ydb
[3] https://ydb.tech/ru/docs/yql/reference/

#data #opensource #yandex #tools