⚡️ Вышел Apache Spark 4.0. Что интересного в релизе:

1️⃣ Новая архитектура клиент-сервер Spark Connect. Теперь клиентское приложение отделено от кластера Spark. Это значит, что подключаться к Spark можно будет из любой среды и ЯП, включая Python, Scala, Go, Swift и Rust. Кстати, клиент для Python весит всего 1,5 МБ и устанавливается просто через pip install pyspark-connect.

2️⃣ Режим ANSI SQL по умолчанию. Раньше Spark прощал многие ошибки – например, если ты делил на ноль или числа не влезали в столбец, он просто возвращал NULL или тихо обрезал значение. Это было удобно, но могло скрывать баги. Теперь включён режим ANSI SQL по умолчанию – как в классических базах данных. Если в запросе ошибка, Spark сразу об этом скажет и выбросит ошибку. Получается более надежно и предсказуемо.

3️⃣ Materialized Views. Это сохранённый результат SQL-запроса, который может автоматически использоваться при выполнении будущих запросов, если Spark понимает, что часть запроса уже была вычислена и закеширована. То есть теперь повторяющиеся запросы не надо каждый раз пересчитывать, можно просто достать из кэша. Супер существенно для времени и нагрузки на кластер.

4️⃣ Python Data Source API. Это прямо очень приятно: теперь не надо учить Scala, чтобы подключиться к кастомному источнику данных, все можно сделать просто на питоне. Это сильно упрощает интеграцию Spark с веб-сервисами, файлами, базами данных и вообще чем угодно.

5️⃣ Новый тип данных VARIANT. Это специально для полуструктурированных данных. То есть теперь, если у вас где-то лежат вложенные поля или JSON, запросы к ним можно выполнять прямо из коробки, предварительно не описывая схему.

Официальный релиз

Интересное фото прилетело к нам в предложку: на госэкзамене по профилю «Реклама и связи с общественностью» в Финансовом университете при Правительстве РФ в качестве задачи используют кейс Сбера с их моделью Kandinsky, когда компания помогла в сохранении культурного наследия и восстановила изображение картины «Портрет Званцевой» Ильи Репина.

Студентам нужно было предложить план PR-кампании для нейросети. Надеемся, Сбер учтет лучшие предложения 😏

Haha, classic: ИИ лондонской компании BuilderAI на деле оказался сотнями индийцев

За много лет существования в стартап инвестировали Microsoft, Суверенный инвестфонд Катара и ряд других крупных фондов. Всего они привлекли около 440 миллионов долларов. В 2018 году стоимость компании достигала 1.5 миллиардов.

Суть в том, что заказчики оставляют ТЗ, а «нейросеть» Natasha AI пишет для них код приложения или сайта. Вот только оказалось, что вместо нейросети в стартапе использовали труд сотен живых сотрудников.

Самое интересное, что это не такая уж и новость: об этом еще в 2019 году сделали расследование The Wall Street Journal. Вот только почему-то тогда на него никто не обратил внимание, и инвесторы продолжили нести деньги.

И даже после бума ИИ в 2022 компания еще несколько лет продолжала оставаться на плаву за счет живых программистов и, частично, API сторонних вендоров. Теперь кредиторы наконец проснулись и заморозили стартапу большинство счетов. Плюсом ко всему теперь BuilderAI подозревают в фальсификации финансовых прогнозов.

Сейчас они подают в суд по защите от банкротства 🤡

У Manus тоже обновление: теперь там есть тулза для генерации презентаций

По одному текстовому запросу и любым референсам (картинки, шаблоны и прочее) можно сгенерировать нужное количество слайдов с желаемым дизайном, наполнением и даже графиками.

Если нужно что-то отредактировать, можно просто нажать на нужное место и поправить, ну или попросить это сделать агента.

Тем, у кого скоро защита диплома – привет 😁

Anthropic опенсорснули свой микроскоп для LLM

Помните, в марте мы рассказывали о большом исследовании Anthropic про способ отслеживания "мыслей" моделей? Метод назывался Circuit Tracing (то есть цепная трассировка) и позволял выделять какие-то интерпретируемые концепты и рисовать настоящие карты внутренних "размышлений" LLM.

Тогда эта работа стала большым шагом в исследованиях по интерпретируемости, и вот теперь Anthropic выпустили целую опенсорсную библиотеку, основанную на их методе + готовую интерактивную песочницу на Neuronpedia.

Вот как это работает:
➖ вы выбираете модель,
➖ задаете промпт,
➖ настраиваете гиперпараметры (если хотите)
➖ ... и получаете большой аналитический граф того, как модель обдумывает ответ на ваш запрос. С этим графом можно взаимодействовать, рассматривать на разных уровнях и тд.

Как это все работает технически – читайте в нашем разборе вот тут. Ну и пробуйте сами, конечно, работа у ребят получилась большая и интересная

🥳 Кстати, сегодня мы празднуем месяц с того момента, как Grok 3.5 должен был выйти через неделю

Как вам модель? 🍜