Архитектор Данных
1.11K subscribers
153 photos
8 videos
2 files
118 links
Алексей, архитектор данных из ВК.

Большие данные и облака.

Для связи @alexbelozersky
Download Telegram
Forwarded from Ai molodca (Alexander Dobrokotov)
Как контент-фабрики убивают интернет 🌸

Каждый второй в IG — "эксперт" по контент-фабрикам и автоматизации.
YouTube — завален тоннами "образовательного" контента и рыжими котами, которые вечно дерутся и беременеют.
Проблема — не в том, что контент поверхностный.
Проблема — он неправдивый.

Когда образовательные ролики генерятся пачками без проверки фактов, это не просто засоряет платформы — это подрывает доверие к информации вообще. Эффект снежного кома: фейковая инфа попадает в обучающие датасеты и материалы для дипресёрча, потом в новый контент, и так по кругу.

При этом экономика сломана так, что качество проигрывает количеству. Платформы поощряют объём (алгоритмы любят частоту постинга), а не глубину. YouTube не особо заинтересован банить слоп, пока он генерит просмотры и рекламные деньги.

Генеративные тулзы могут быть черновиком для качественного контента, а могут быть финальным продуктом для быстрых денег. Разница — в ответственности создателя.

Думаю мы движемся к расслоению. Будет "премиум-интернет" — курируемые платформы, проверенные источники, подписки — и "слоп-интернет" из автогенерации. Доступ к правде и качеству станет платным де-факто.

Что делать? А черт его знает. Голосовать вниманием, например. Поддерживать создателей, которые не автоматизируют финал. Быть занудой и проверять факты. Если производите контент — нанимать людей для факт-чека и контролировать продакшн-качество.

Ну или просто жить в лесу и трогать траву каждый день. 🥰
Please open Telegram to view this post
VIEW IN TELEGRAM
💯104👍3😁1
В S3 папок нет!

Не все понимают свойства и ограничения такого сервиса как S3.

Все считают что это такая большая файлопомойка, к которой можно примонтировать все что нужно. Хоть Windows проводник.

Но нет.

В S3 даже файлов и папок нет. Вместо файлов - объекты, вместо папок - некоторым образом похожие ключи.

Отсюда и то, что если ты прямо серьезно собрался работать с S3 на больших объемах и нагрузках (привет Лейкхаус и ML-at-Scale), то и подходы надо менять.


Пример:

Вместо листинга положить в "папку" с данными маленький мета файл с тем, что должно оказаться в листинге. Листинг дорогой, файл поднять - дешево.

Это не зашквар, это Айсберг Манифест 😎
152👍2
Грустная и поучительная история

Очень много стартапов, основанных технарями, погибли от неуместного использования google scale решений.

Обратная сторона гипер-доступности технологий.
👀8👍5🤔42🤡1
Впервые увидел себя в выдаче гугла 😎

А конкретно - эта статья на хабре
👍20🔥5👀21
Там Яндекс рост облаков в 3 раза к 2030 году нашел.

Пока же у нас нередки заказчики, у которых в ТЗ на облако написано требование каждый день предоставлять фотоотчет о состоянии их серверов.

Многие не понимают как управлять ИТ инфраструктурой когда нет решетки, бирочек, ключиков и Яков Саныча с журналом доступа.
😁2031
Forwarded from VK Cloud
👏 Вчера на TAdviser SummIT 2025 сразу два проекта VK Tech берут награды в номинации «Проект года».

🛢 ПАО Сургутнефтегаз

Компания перешла на технологическую платформу на базе VK Private Cloud: запустила первые бизнес-приложения, выстраивает собственный центр компетенций и внедряет DevSecOps-подходы. Это модульное частное облако в ЦОДе заказчика — с надежностью, катастрофоустойчивостью и масштабированием под цифровые инициативы.

🏛 Федеральное казначейство

«Электронный бюджет» ускорили за счет миграции неструктурированных объектов из реляционных баз данных в S3-совместимое хранилище VK Object Storage. В итоге получили –50% к отклику БД, 30–60% экономии пространства хранения, 5 миллиардов объектов в хранилище и +50 миллионов объектов каждую неделю.

🎉 Поздравляем команды и продолжаем делать проекты, которые двигают инфраструктуру страны вперед.
1👍1053
Forwarded from 5 minutes of data
Увидел в Airflow одну очень прикольную фичу — Human-in-the-Loop операторы.

Можно просто встроить человеческое подтверждение прямо в DAG.

Работает это так:
AI или любая задача что-то генерит → Airflow ставит паузу и ждёт решения → человек получает ссылку, жмёт approve/reject → пайплайн продолжает работу.

Никаких кастомных сенсоров, костылей и блокировок воркеров — всё из коробки в 3.1.

Очень удобная штука для тех, кто запускает AI в проде и хочет держать ручной контроль там, где это реально важно.

@five_minutes_of_data
👍20👏4👀4🔥2
А можно я лучше в колбасный цех?
5🤣5🫡2
Архитектор Данных
А можно я лучше в колбасный цех?
ЧатГПТ 5.1 подтверждает что разницы с архитектурой данных никакой.

Интересно, когда пинский комбинат догадается переименовать должность в Senior Pig Engineer для повышения престижа профессии.

И тогда вперед к новым карьерным перспективам.
😁1561
Когда придумано идеальное название для стартапа
1😁19👍4411🔥1
Отвез джунов в живописное место.

Нашли памятные места известных людей (цитата): Марина Цветкова, Белая Ахмадуллина, Пауковский.

Также живописную Оку и богатую культурную жизнь.

Вопрос к знатокам: угадайте место!
18👍3😁2😎2🤝1
Что делать тем, кому 20

7 советов тем, кто строит карьеру в айти:

1. Фильтруй информацию и думай своей головой. Контента и мнений очень много, пока один что-то рассказывает, другой держит, третий обводит. Все трое – идиоты. Лучше думать своей головой, а все остальное принимать к сведению.
2. Зарабатывай пруфы. К 30ти надо иметь на руках какие-то доказательства, что ты не астронавт. Либо проект, который ты построил, и он получился. Либо понятные сделанные тобой вещи в найме, которые можно показать и они подтвердят что ты шаришь. Если ты красишь кнопки в админке, которую никто не видит – это огромная проблема.
3. Миром правят гуманитарии. Теперь с каждым годом количество людей в IT увеличивается, а предложение падает, и так будет и дальше. Заработают два типа людей: супер-коммуникаторы, и те, кто делает невозможное возможным. Сейчас это AI.
4. Work-life balance в 20 это бедная старость в 60.
5. Без риска нет результатов. Можно сидеть и просто получать зарплату в корпорации, пока тебя не заменит AGI. Можно рисковать и создавать свои проекты, идти работать в стартапы, ехать с рюкзаком в долину на собеседование к Илону Маску . Очень часто риск мы себе придумываем, а награду не видим, потому что она не близко. Хотя риски минимальны, а награда высока.
6. Никаких кредитов, кредиток, ипотек и других заемных денег на что бы то ни было.
7. Open-source – это мощный карьерный лифт. Многие проекты, которые пилятся энтузиастами сейчас, потом сделают этих людей миллионерами через 5-10 лет.
🤡21🤔72🔥2💩2
Рубрика «непрошеные советы»

Люди любят непрошеные советы от дедов. И поощряют их большим количеством клоунов. Поэтому позвольте продолжить.

Остро всех резанул вопрос об ипотеке. Квартирный вопрос нас всех очень испортил.

Не так давно стал замечать, что постепенно залезаю в образ дядьки, которого младшие родственники и младшие коллеги спрашивают, покупать или нет им свою берлогу. Мамка пушит, на каждом билборде висит реклама, друзья покупают, а мне что делать, дед, подскажи.

Я подсказываю следующее.

Соображение первое. Если видишь инвестиционный инструмент, это говорит о том, что тебе пытаются впарить образ простой русской халявы. 90% вероятность, что халявы там никакой нет, и тебя хотят нагреть неким сложным образом, который ты не выкупаешь. Например зашить эту ставку в цену, которая образует неплохую дельту с аналогами на вторичке - это самый популярный вариант. Есть и сильно более изощренные схемы на..балова финансового инжиниринга. Есть просто мелкий шрифт, что сниженная ставка на 2 года, а дальше рост до рынка. Одним словом - нет ни у кого цели раздать тебе халявы, подумай об этом.

Соображение второе. Тебе 22 года, у тебя есть большое преимущество перед теми, кому 35. Те обросли кредитами, дачами, детьми, собаками и тещами, у них нет возможности исследовать новые полянки. Цена провала для них - семья на улице. Они будут сидеть в своих корпорациях. Ты можешь изучать крипту, строить продукты на нейросетях, делать гейм-беттинг стартапы и заниматься чем-то еще рисковым на новых полянках, где еще не вытоптано. Используй это время. Не спеши обрасти обязательствами, как они. Успеешь.

Третье. Жилье покупается на твои потребности не сейчас, а через 5 лет. Я стал многодетным отцом в 28 лет, имел ли я в 23 хоть какую-то возможность так все рассчитать, грамотно спланировать под себя в 28? Или хотя бы представить себе, что именно и где мне понадобится? Да ни малейшего шанса! И уж точно однушка где-то в кукурузных полях не принесла бы мне счастья. Просто болталась бы на балансе, и ни уму ни сердцу. Ты не сможешь дать себе «пас на ход» на 5 лет вперед, не стоит и пытаться.

Оговорюсь, есть разные ситуации. Один младший друг купил подмосковье, когда его девушка мечты заявила, что готова съехаться только если будет СВОЕ жилье. Ну это прикол конкретной девушки, и могу сказать, в этой ситуации это шаг был оправдан. Но в основной массе 25-летних я замечаю скорее движение к социальной норме, пуши мамок и советчиков. Результат - преждевременное якорение себя куда-то к чему-то, когда этого можно не делать. От этого и пытаюсь отвадить по мере сил.

Сейчас прибегут советчики рассказывать, как они классно вложились и как у них все выросло. Напомню им, что у нас жанр - советы тем кому 20-25 сегодня. У вас было удачное решение, не спорю. Не правильное, а именно удачное. Вы уверены, что снова в этом же месте сегодняшние молодые люди этот же результат повторят?

Если нравится, ставьте клоунов. Когда накопится 50 🤡 и 💩, мы продолжим.
1🤡32👍103🔥1👏1