Недавно на одной встрече, очень большой начальник заметил: с учётом того, что мы теперь много нанимаем по всему миру и в разных часовых зонах, умение писать становится критически важным.

Спорить с этим сложно, и переоценить важность тоже. К сожалению, многие люди катастрофически не умеют формулировать свои мысли — отсюда все эти «давай быстро созвонимся», «пересечёмся раз на раз» или голосовые сообщения. Не всегда, но очень часто это происходит не потому, что встреча действительно нужна, а потому что человек просто не в состоянии организовать свой словесный салат во что-то внятное. В итоге он выливает свои мысленные помои на собеседника в надежде, что тот переработает это во что-то осмысленное — вместо того чтобы самому потратить время и внимание.

Черчилль как-то написал: «Прости, времени было мало, поэтому письмо длинное». И почти все это понимают на подсознательном уровне — отсюда все мемы и приколы про голосовые сообщения. Сложно переоценить важность хорошей культуры письма: она не только экономит кучу времени и сил, позволяет работать асинхронно, но со временем ещё и учит человека мыслить собранно и чётко.

Возможно, не стоит доходить до пределов ребят из провинции Лакония с их «если», но пример с них брать точно стоит. В здоровом письме — здоровый дух. А лучшая встреча - это короткая встреча

Во время лекции о сборе данных на курсе по ML System Design зашёл разговор о data governance. Пришли к неожиданным выводам:

1. Нормального определения нет, даже Data Management Institute не даёт чёткого ответа.
2. Попробовали сформулировать своё: Data Governance — это связка между процессами и политиками (policy), с одной стороны, и контролем + внедрением(policy enforcement), с другой, направленная на реализацию стратегии данных компании. (Часто стратегия сводится к обеспечению быстрого и бесшовного доступа к актуальным, полным и качественным данным с учётом контроля доступа и соблюдения комплаенса. Но, как известно по Румельту, это не совсем стратегия, поэтому требуется стратегия достижения, и data governance ближе к таковой.)

Проблема в том, что вторая часть связки — контроль и внедрение — часто отсутствует. Это приводит к тому, что через X лет после утверждения стратегии участники начинают перекладывать ответственность друг на друга, тыкать пальцем , и побеждает тот, у кого «палец длиннее».

Потенциальным решением видится направление в продуктовые/бизнес команды людей, который будет делать эту неблагодарную и важную работу, но и это непросто

До чего меня довел Игорь. Позвали судить хакатон по вайб-кодингу!

Не прошло и года с момента покупки 4-й версии мегапростыни, как вышла 5-я.

Новая версия, помимо простыни, теперь включает мегаодеяло (греет/холодит), генератор «правильного» шума, специальную базу под матрас, снимающую напряжение со спины и борющуюся с храпом, а также новые датчики для отслеживания здоровья.

Непростая дилемма конечно, брать или нет

https://www.eightsleep.com/uk/product/pod-cover/

Искренне рекомендую прочитать про stage gate для AI проектов
https://xn--r1a.website/c3po_notes/317

Давал как пример студентам в рамках курса по МЛ Систем Дизайну

Удивился второй раз в жизни при работе над инфрой. Первый раз был, когда переезд с Postgres на BigQuery в Blockchain com ускорил (на самом деле!) запросы в 100 раз и снизил стоимость в 10.

Тестировали Iceberg поверх Parquet

AWS Glue + Iceberg: стоимость ↓2.3x, скорость ↑3x
AWS EMR Serverless + Iceberg: стоимость ↓31x, скорость ↑6x
Databricks Serverless on Delta Lake: стоимость ↓3.5x, скорость ↑12x

Полез разбираться, как алгоритмически работает Iceberg поверх Parquet, и в очередной раз убедился, как же приятно читать/смотреть такие инженерные вещи, когда ребята садятся решать человеческие проблемы и находят простые решения.

Умные метаданные: знает статистики каждого файла без его чтения
Убирает дорогие LIST операции в S3 (экономия I/O)
Predicate pushdown: исключает файлы еще на этапе планирования
Hidden partitioning: автоматически находит нужные данные по любым колонкам ( У паркета тоже есть, но не так хорошо)
Snapshot isolation: читает консистентное состояние без блокировок

Главное - важность проверки разных платформ под конкретные бенчмарки. То, что работает для одного типа нагрузок, может быть неоптимально для другого.

P.S. Databricks показал отличные результаты с Delta Lake, но это уже другая история

Ходил по краю два года назад. Одним из вариантов работы в 2023 был VP of AI в buidr

Ранний аналог lovable

Анонимусы (без шуток, так и написано в статье) из неуказанной компании (но дальше честно говорится, что это Яндекс) выпустили статью — Yambda-5B: A Large-Scale Multi-modal Dataset for Ranking and Retrieval.

Собирать и раздавать датасеты — дело богоугодное. Помню, как Женя Макаров на Датафесте в 2018 году ходил и фотографировал эмоции людей, чтобы собрать уникальный датасет (Женя, где датасеты!). А тут сразу:
1 миллион пользователей,
9.39 миллиона треков,
4.78 миллиарда взаимодействий из Яндекс Музыки.

Для каждого трека прилагается эмбеддинг, полученный свёрточной сетью по спектрограмме. Почему не Vision Transformer — вопрос интересный, но идея понятна.

По типу фидбэка:
– Implicit — прослушивания
– Explicit — лайки и прочие действия

Из уникальных штук — флаг is_organic. У каждого события указано, было ли оно органическим или вызвано рекомендацией. Это редкость: можно отдельно изучать, как алгоритмы влияют на поведение и как выглядит "чистое" прослушивание.

Датасет выдают в Parquet (но без Iceberg, увы) — что уже хорошо.

И ещё одна редкость — реалистичная схема сплита (Где то радуется один Information Retrieval) :
• Train — 300 дней
• Gap — 30 минут
• Test — 1 день

Сначала делают Global Temporal Split по таймстемпам, но корректируют его, чтобы в тесте были только те пользователи, что есть в трейне — ближе к продакшену.

В общем, выглядит мощно. Ждём, когда Саша Петров наложит на это свои руки.

Перезалил, с ссылкой на датасет

Появилась первая часть моего разговора с Виктором Кантором

Разбирая архивы, наткнулся на картину, которую мне подарила моя команда в Х5.

«Въезд Цезаря в Рим»

Гордо стояла в моем кабинете

Появилась вторая часть моего разговора с Виктором Кантором

После запрета со стороны Игоря писать Тагиру комментарии от лица своего канала в моем канале, я решил помочь, конечно же, себе! Заодно им и еще паре ребят. Собрали папку.

В папке — каналы инженеров и специалистов по ML и Data Science, которые стоит читать

Вся папка тут: https://xn--r1a.website/addlist/Hy-LPGleDlY4MGRi
Жду Тагира в первом комментарии!

Первый запуск курса по ML-систем дизайну оказался успешным, если верить отзывам и моим впечатлениям (правда он ещё не закончился)

Пока у меня есть силы, я планирую провести ещё один . Сейчас есть примерно 25 заявок от тех, кого мы не приняли в первый раз, поэтому примерно ещё 25 человек готовы принять сверху

Курс проходит вживую, по выходным, по 2 часа два раза в неделю в течение 3 месяцев.

Запись здесь

Хороший пост от фаундера и СЕО Klarna. Во-первых, признали, что не удалось им заменить весь саппорт на агентов и откатились частично обратно, что имеет смысл, но более интересно про организационную структуру.

А именно, правильная организационная структура приводит к тому, что команде требуется минимальное количество согласований.

Это, кстати, полностью соответствует моей собственной модели руководителя как точки решения эскалацииюй, и, соответственно, общий руководитель должен находиться как можно ближе к местами их возникновения , пока их можно решить малой кровью.

What makes an insight "Actionable" at Klarna?

Clear visuals/screenshots, specific problem definition, suggested fix, simple financial impact estimation, effort needed, and clear ownership.

The actionable insights coming out of this blew us away. Many were million dollar opportunities that required days of work. But had been overseen due to lack of clarity of ownership, "nobody thought of them" and so forth. Fix things on website, fix some copy etc

Some were more complex and harder to fix. As we expanded our datamodel for actionable insight we started listing number of teams necessary to resolve tickets. And this has now started guiding us on organization structure and system structure. If a simple fix requires too many...
teams OR requires sign off from too many places that is a bad sign in of itself.

Интересный пример аналитики сигналов второго рода

Pentagon Pizza Report

The Pentagon Pizza Index has been a surprisingly reliable predictor of seismic global events—from coups to wars—since the 1980s. On the night of August 1st 1990 for example, the CIA ordered 21 pizzas in a single night just before the Iraqi invasion of Kuwait (a new record). Who says pie charts aren't useful?

Например, вчера, перед ударами Израиля по Ирану, о которых, вроде как, никто не знал, заказали аномально большое количество пиццы.

Просто история про человека, который из-за проблем с наркотиками наломал дров и сел в тюрьму. Там он научился кодить и нашёл удалённую работу по разработке новой базы данных.