Архитектор Данных
1.12K subscribers
154 photos
9 videos
2 files
119 links
Алексей, архитектор данных из ВК.

Большие данные и облака.

Для связи @alexbelozersky
Download Telegram
В S3 папок нет!

Не все понимают свойства и ограничения такого сервиса как S3.

Все считают что это такая большая файлопомойка, к которой можно примонтировать все что нужно. Хоть Windows проводник.

Но нет.

В S3 даже файлов и папок нет. Вместо файлов - объекты, вместо папок - некоторым образом похожие ключи.

Отсюда и то, что если ты прямо серьезно собрался работать с S3 на больших объемах и нагрузках (привет Лейкхаус и ML-at-Scale), то и подходы надо менять.


Пример:

Вместо листинга положить в "папку" с данными маленький мета файл с тем, что должно оказаться в листинге. Листинг дорогой, файл поднять - дешево.

Это не зашквар, это Айсберг Манифест 😎
152👍2
Грустная и поучительная история

Очень много стартапов, основанных технарями, погибли от неуместного использования google scale решений.

Обратная сторона гипер-доступности технологий.
👀8👍5🤔42🤡1
Впервые увидел себя в выдаче гугла 😎

А конкретно - эта статья на хабре
👍20🔥5👀21
Там Яндекс рост облаков в 3 раза к 2030 году нашел.

Пока же у нас нередки заказчики, у которых в ТЗ на облако написано требование каждый день предоставлять фотоотчет о состоянии их серверов.

Многие не понимают как управлять ИТ инфраструктурой когда нет решетки, бирочек, ключиков и Яков Саныча с журналом доступа.
😁2031
Forwarded from VK Cloud
👏 Вчера на TAdviser SummIT 2025 сразу два проекта VK Tech берут награды в номинации «Проект года».

🛢 ПАО Сургутнефтегаз

Компания перешла на технологическую платформу на базе VK Private Cloud: запустила первые бизнес-приложения, выстраивает собственный центр компетенций и внедряет DevSecOps-подходы. Это модульное частное облако в ЦОДе заказчика — с надежностью, катастрофоустойчивостью и масштабированием под цифровые инициативы.

🏛 Федеральное казначейство

«Электронный бюджет» ускорили за счет миграции неструктурированных объектов из реляционных баз данных в S3-совместимое хранилище VK Object Storage. В итоге получили –50% к отклику БД, 30–60% экономии пространства хранения, 5 миллиардов объектов в хранилище и +50 миллионов объектов каждую неделю.

🎉 Поздравляем команды и продолжаем делать проекты, которые двигают инфраструктуру страны вперед.
1👍1053
Forwarded from 5 minutes of data
Увидел в Airflow одну очень прикольную фичу — Human-in-the-Loop операторы.

Можно просто встроить человеческое подтверждение прямо в DAG.

Работает это так:
AI или любая задача что-то генерит → Airflow ставит паузу и ждёт решения → человек получает ссылку, жмёт approve/reject → пайплайн продолжает работу.

Никаких кастомных сенсоров, костылей и блокировок воркеров — всё из коробки в 3.1.

Очень удобная штука для тех, кто запускает AI в проде и хочет держать ручной контроль там, где это реально важно.

@five_minutes_of_data
👍20👏4👀4🔥2
А можно я лучше в колбасный цех?
5🤣5🫡2
Архитектор Данных
А можно я лучше в колбасный цех?
ЧатГПТ 5.1 подтверждает что разницы с архитектурой данных никакой.

Интересно, когда пинский комбинат догадается переименовать должность в Senior Pig Engineer для повышения престижа профессии.

И тогда вперед к новым карьерным перспективам.
😁1561
Когда придумано идеальное название для стартапа
1😁19👍4411🔥1
Отвез джунов в живописное место.

Нашли памятные места известных людей (цитата): Марина Цветкова, Белая Ахмадуллина, Пауковский.

Также живописную Оку и богатую культурную жизнь.

Вопрос к знатокам: угадайте место!
18👍3😁2😎2🤝1
Что делать тем, кому 20

7 советов тем, кто строит карьеру в айти:

1. Фильтруй информацию и думай своей головой. Контента и мнений очень много, пока один что-то рассказывает, другой держит, третий обводит. Все трое – идиоты. Лучше думать своей головой, а все остальное принимать к сведению.
2. Зарабатывай пруфы. К 30ти надо иметь на руках какие-то доказательства, что ты не астронавт. Либо проект, который ты построил, и он получился. Либо понятные сделанные тобой вещи в найме, которые можно показать и они подтвердят что ты шаришь. Если ты красишь кнопки в админке, которую никто не видит – это огромная проблема.
3. Миром правят гуманитарии. Теперь с каждым годом количество людей в IT увеличивается, а предложение падает, и так будет и дальше. Заработают два типа людей: супер-коммуникаторы, и те, кто делает невозможное возможным. Сейчас это AI.
4. Work-life balance в 20 это бедная старость в 60.
5. Без риска нет результатов. Можно сидеть и просто получать зарплату в корпорации, пока тебя не заменит AGI. Можно рисковать и создавать свои проекты, идти работать в стартапы, ехать с рюкзаком в долину на собеседование к Илону Маску . Очень часто риск мы себе придумываем, а награду не видим, потому что она не близко. Хотя риски минимальны, а награда высока.
6. Никаких кредитов, кредиток, ипотек и других заемных денег на что бы то ни было.
7. Open-source – это мощный карьерный лифт. Многие проекты, которые пилятся энтузиастами сейчас, потом сделают этих людей миллионерами через 5-10 лет.
🤡21🤔72🔥2💩2
Рубрика «непрошеные советы»

Люди любят непрошеные советы от дедов. И поощряют их большим количеством клоунов. Поэтому позвольте продолжить.

Остро всех резанул вопрос об ипотеке. Квартирный вопрос нас всех очень испортил.

Не так давно стал замечать, что постепенно залезаю в образ дядьки, которого младшие родственники и младшие коллеги спрашивают, покупать или нет им свою берлогу. Мамка пушит, на каждом билборде висит реклама, друзья покупают, а мне что делать, дед, подскажи.

Я подсказываю следующее.

Соображение первое. Если видишь инвестиционный инструмент, это говорит о том, что тебе пытаются впарить образ простой русской халявы. 90% вероятность, что халявы там никакой нет, и тебя хотят нагреть неким сложным образом, который ты не выкупаешь. Например зашить эту ставку в цену, которая образует неплохую дельту с аналогами на вторичке - это самый популярный вариант. Есть и сильно более изощренные схемы на..балова финансового инжиниринга. Есть просто мелкий шрифт, что сниженная ставка на 2 года, а дальше рост до рынка. Одним словом - нет ни у кого цели раздать тебе халявы, подумай об этом.

Соображение второе. Тебе 22 года, у тебя есть большое преимущество перед теми, кому 35. Те обросли кредитами, дачами, детьми, собаками и тещами, у них нет возможности исследовать новые полянки. Цена провала для них - семья на улице. Они будут сидеть в своих корпорациях. Ты можешь изучать крипту, строить продукты на нейросетях, делать гейм-беттинг стартапы и заниматься чем-то еще рисковым на новых полянках, где еще не вытоптано. Используй это время. Не спеши обрасти обязательствами, как они. Успеешь.

Третье. Жилье покупается на твои потребности не сейчас, а через 5 лет. Я стал многодетным отцом в 28 лет, имел ли я в 23 хоть какую-то возможность так все рассчитать, грамотно спланировать под себя в 28? Или хотя бы представить себе, что именно и где мне понадобится? Да ни малейшего шанса! И уж точно однушка где-то в кукурузных полях не принесла бы мне счастья. Просто болталась бы на балансе, и ни уму ни сердцу. Ты не сможешь дать себе «пас на ход» на 5 лет вперед, не стоит и пытаться.

Оговорюсь, есть разные ситуации. Один младший друг купил подмосковье, когда его девушка мечты заявила, что готова съехаться только если будет СВОЕ жилье. Ну это прикол конкретной девушки, и могу сказать, в этой ситуации это шаг был оправдан. Но в основной массе 25-летних я замечаю скорее движение к социальной норме, пуши мамок и советчиков. Результат - преждевременное якорение себя куда-то к чему-то, когда этого можно не делать. От этого и пытаюсь отвадить по мере сил.

Сейчас прибегут советчики рассказывать, как они классно вложились и как у них все выросло. Напомню им, что у нас жанр - советы тем кому 20-25 сегодня. У вас было удачное решение, не спорю. Не правильное, а именно удачное. Вы уверены, что снова в этом же месте сегодняшние молодые люди этот же результат повторят?

Если нравится, ставьте клоунов. Когда накопится 50 🤡 и 💩, мы продолжим.
1🤡32👍103🔥1👏1
Прогноз AI в 2026 году

Читаем на Хабре Большой разбор Александра Волынского о будущем ИИ в 2026 году.

Итак, в 2026-м мы получим

1️⃣ Дешевый инференс моделей для технологических гигантов (Google, AWS) за счет TPU собственной разработки.

2️⃣ Как следствие, угасание доминирования NVidia

Эра безальтернативных универсальных GPU подходит к концу. Специализированные чипы (ASIC) под инференс дают слишком большое преимущество в цене, чтобы их игнорировать

Где-то я это уже видел. В майнинге криптовалют, где ASIC вытеснили видео на рынке молочения хешей.

3️⃣ Рост качества маленьких моделей. Современные модели 10В показывают результаты на уровне лидеров 2024 года. А это значит, рост доступности инференса в сегменте «небольших» ИИ-платформ на несколько десятков видеокарт.

4️⃣ Рост использования ИИ-инструментов для взлома и другой незаконной кабер-активности. Как вам вирус, который переписывает собственный код за минуты в случае неудачной атаки? Как вам ЛЛМ-агент, умно управляющий ботнетом? Уже молчим про то, что в социальной инженерии агенты применяются массово уже сейчас. Можно ли против такого бороться стандартными ИБ-средствами?

5️⃣ Законотворческое противостояние распространению ИИ-«заразы». В разных странах по-разному. Плюс к тому разного рода общественный активизм, атаки на дата-центры. Кстати, а куда вдруг делись зеленые? Что-то не слышно их воплей на новости по строительству гигаваттных дата-центов.

6️⃣ Конец эпохи дешевого венчура, когда сотни миллионов выдавались под что-то-там-ИИ. Это давно пора.

Пойду перечитывать "Нейроманта", где ИИ собирает команду людей и кибер-средств для взлома корпорации и доступа к своему ИИ-"брату", а потом оба отправляются бороздить паутину.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥6👌3