🔥 Дайджест полезных материалов из мира Больших данных за неделю

Почитать:
— Как автоматизировать проверки данных в Airflow с Great Expectations
— 5 уровней зрелости MLOps
— Лучшие ресурсы чтобы выучить Git и Github
— Персонализация тарифного плана для новых абонентов: как оцифровать привлекательность
— Деревья ltree в PostgreSQL – простым языком
— Лучшие практики Golang (20 лучших)
— How to install NVIDIA drivers for machine learning on Ubuntu
— Working through the fast.ai book in Rust - Part 1
— Why ChatGPT and other LLMs are overrated and won't take your job
— Demystifying Transformer Models: Unveiling the Magic of Natural Language Processing
— A Quick Look At Natural Language Generation (NLG)
— AI Log #2: What is a Cost Function in Machine Learning?
— The Next Generation of AI Developer Tools
— AI Development Guide 2024
— What is a Conditional Generative Adversarial Network?
— The State of Serverless GPU Part -2

Посмотреть:
🌐 Пишем генератор Shorts видео на Python для заработка на YouTube. (⏱ 11:50)
🌐 Озвучка и генерации контента с помощью #Python и AI (⏱ 00:44)
🌐 Замена лица на любой фотографии с помощью #python БЕСПЛАТНО! (⏱ 00:59)
🌐 Lightning Interview “Large Language Models: Past, Present and Future” (⏱ 01:00:00)
🌐 Thomas Scialom, PhD - Large Language Models: Past, Present and Future (⏱ 34:45)
🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24)
🌐 AI Art: How is This Quality Even Possible? (⏱ 05:29)

Хорошего дня!

#digest #bigdata

@bigdatai

🔥 Дайджест полезных материалов из мира Больших данных за неделю

Почитать:
— Разметка данных: неочевидные затраты на голосовые технологии
— Используем MLOps-конвейер: пример работы с Cloud ML Platform для построения сервиса распознавания лиц
— Наиболее часто используемые команды Linux
— 79 Ресурсов, которые следует прочитать, чтобы улучшить свои навыки в области проектирования систем:
— Бесплатные сертификационные курсы для специалистов по данным
— RFM-сегментация в оптимизации CRM-стратегий
— MDM и CDP: различия систем. Как сделать выбор
— Бесконечные проверки – к успешному развитию: как мы обеспечиваем качество данных
— Как мы наводим порядок с данными в столичном транспортном институте
— Survey: Retrieving Supporting Evidence for Generative Question Answering
— Introduction to NannyML: Model Evaluation without labels
— Revolutionizing Data Integration: The Role of AI and ML
— How to Use Pandas for Data Analysis
— Open Source Advent
— Bulk Text Analytics with Azure AI Language
— Top 10 Benefits of Artificial Intelligence (AI)
— Deciphering the EU's AI Act - A Technical Perspective
— Harness the power of multiple LLMs 🤝
— Google Gemini and Face Recognition

Посмотреть:

🌐 Mixtral 8x7B - это сет из 8 нейронок, которые работают вместе
🌐 How to use Llama2 locally (⏱ 09:00)
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно. (⏱ 07:40)
🌐 Shutil: лучший инструмент для управления файлами Python. (⏱ 17:05)
🌐 Как использовать API ChatGpt. Работа с Api c нуля (⏱ 12:42)
🌐 💡Задача Python: Максимальное среднее подмассива (⏱ 01:00)
🌐 Нахождение позиций в отсортированном массиве #python #array #shorts #сортировка (⏱ 00:40)
🌐 Lightning Interview "Catastrophic AI Risks" (⏱ 01:04:57)
🌐 Finetuning, Serving, and Evaluating LLMs in the Wild - Hao Zhang, PhD (⏱ 29:20)
🌐 New AI: 6,000,000,000 Steps In 24 Hours! (⏱ 08:28)
🌐 NVIDIA’s New AI: Virtual Worlds From Nothing! + Gemini Update! (⏱ 09:40)

Хорошего дня!

@bigdatai

🔥 Дайджест полезных материалов из мира Больших данных за неделю

Почитать:
— Разметка данных в 2023 году: текущие тренды и требования будущего
— Полный отчет Github за 2023 о состоянии проектов.
— 100 вопросов для подготовки к собесу Python
— 10 лучших библиотек Python для графического интерфейса в 2024 году
— fsspec и вообще зачем оно нам нужно
— Заблуждения о семантической сегментации
— Расчетная архитектура платформы для A/B-тестов Mail.Ru
— Фреймворк для дизайна A/B-теста
— Методы балансировки в А/Б тестировании
— Зачем Программисту Микроконтроллеров Математическая Статистика? (или так ли хороши UWB трансиверы?)
— Automate the boring stuff with Julia
— Как выпустить ML-сервис в прод малыми силами: кейс работы в облаке
— АБ тесты и подводные камни при их автоматизации
— A Beginner’s Guide to Neural Networks
— How many stages are there for Amazon’s SQL interview?
— Unleashing Generative AI Capabilities: The Power of Large Language Models Explained
— Removing comments from code-based data source
— Revolutionizing Healthcare: Expanding Ultrasound Access with the Power of AI
— Data Scientist turned Dev Advocate
— AWS Reinvent 2023: Unleashing the Power of ML and Generative AI
— Adaptive Traffic Signal Control System
— Understanding Neuromorphic Chips: Revolutionizing Machine Learning
— Microsoft PHI-2 + Huggine Face + Langchain = Super Tiny Chatbot

Посмотреть:
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями (⏱ 08:04)
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. (⏱ 34:27)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон (⏱ 00:49)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито (⏱ 00:54)
🌐 ODSC Webinar | Preparing for your First Enterprise Large Language Model (LLM) Application (⏱ 48:16)
🌐 Adversarial Validation and Training in Stock Market Price Prediction (⏱ 28:09)
🌐 NVIDIA’s New AI Is 20x Faster…But How? (⏱ 08:16)
🌐 Here’s How ChatGPT is Changing The World! (⏱ 08:33)

Хорошего дня!

@bigdatai

Nvidia не смогла получить от TSMC выделенную линию для упаковки ИИ-чипов

💡 Nvidia не смогла получить от TSMC выделенную линию для упаковки ИИ-чипов, используя метод CoWoS. Основатель Nvidia Дженсен Хуанг встретился с руководителями TSMC, но получил отказ. TSMC признала, что не сможет удовлетворить спрос на компоненты для ИИ-систем до 2026 года, и решила сохранять равные условия для всех клиентов. Хотя TSMC ранее предоставляла привилегии крупным клиентам, как Apple, ситуация с Nvidia отличается. Компания будет жестко отстаивать свои интересы в переговорах. 🌐

#python #machinelearning #neuralnetwork #ml

@bigdatai

🔥 Thyme: Think Beyond Images

Thyme — это инновационная модель, которая улучшает обработку изображений и сложные задачи рассуждения, используя автономное генерирование и выполнение операций через исполняемый код. Она сочетает в себе методы супервайзинга и обучения с подкреплением, обеспечивая высокую точность выполнения кода.

🚀 Основные моменты:
- Автономная генерация и выполнение операций с изображениями.
- Комбинация супервайзинга и обучения с подкреплением.
- Поддержка высокоразрешающей перцепции и сложного рассуждения.
- Использует алгоритм GRPO-ATS для оптимизации работы.

📌 GitHub: https://github.com/yfzhang114/Thyme

#python

@bigdatai

🧩 Multi-View 3D Point Tracking

MVTracker — это инновационный инструмент для отслеживания 3D-точек с использованием данных с нескольких камер. Он объединяет многоview-функции в единую 3D-точечную облачную модель, применяя корреляцию на основе kNN для учета пространственно-временных взаимосвязей. Модель адаптируется к различным условиям съемки и эффективно справляется с затенениями.

🚀Основные моменты:
- Первое решение для отслеживания 3D-точек с нескольких ракурсов.
- Использует трансформеры для итеративного улучшения треков.
- Поддерживает работу с различными настройками камер без оптимизации для каждой последовательности.
- Доступен через PyTorch Hub для быстрого начала работы.

📌 GitHub: https://github.com/ethz-vlg/mvtracker

#python

⚡️ FastVGGT: Ускорение 3D-реконструкции без обучения

FastVGGT предлагает метод ускорения для 3D-реконструкции, достигая до 4× более быстрой работы без потери точности. Он использует схожесть карт внимания для оптимизации процесса.

🚀Основные моменты:
- Ускорение работы без необходимости в обучении.
- Поддержка длинных последовательностей.
- Высокая точность при быстром выводе.
- Оценка на наборе данных ScanNet.

📌 GitHub: https://github.com/mystorm16/FastVGGT

#python

🧠 Qwen3-ASR Toolkit: Умный инструмент для транскрипции аудио

Qwen3-ASR Toolkit — это мощный Python-инструмент для работы с API Qwen-ASR, позволяющий обрабатывать аудио и видео любой длины. Он преодолевает ограничение в 3 минуты, умно разбивая длинные файлы и обрабатывая их параллельно, что значительно ускоряет транскрипцию.

🚀 Основные моменты:
- Обходит 3-минутное ограничение API для транскрипции.
- Умное разделение аудио с использованием детекции активности голоса.
- Параллельная обработка для быстрого получения результатов.
- Автоматическая очистка текста от артефактов ASR.
- Поддержка множества форматов медиа благодаря FFmpeg.

📌 GitHub: https://github.com/QwenLM/Qwen3-ASR-Toolkit

#python

🎥📊 SpatialVID: Обширный видеодатасет с пространственными аннотациями

SpatialVID предлагает более 21,000 часов видео с детализированными 3D аннотациями, включая позиции камер и карты глубины. Этот датасет создан для улучшения моделей пространственного интеллекта и подходит для исследований в области видео и 3D-визуализации.

🚀Основные моменты:
- Более 2.7 миллиона клипов с разнообразными сценами
- Аннотации включают динамические маски и структурированные подписи
- Поддержка реальных динамических сцен с точными данными о движении камер
- Уникальный ресурс для повышения обобщающей способности моделей

📌 GitHub: https://github.com/NJU-3DV/SpatialVID

#python

🤖 Tongyi DeepResearch: мощная языковая модель для глубокого поиска

Tongyi DeepResearch — это языковая модель с 30,5 миллиарда параметров, специально разработанная для глубоких информационно-ориентированных задач. Она демонстрирует выдающиеся результаты на различных бенчмарках, включая Humanity's Last Exam и WebWalkerQA, благодаря автоматизированному синтезу данных и передовым методам обучения с подкреплением.

🚀Основные моменты:
- Высокая производительность на сложных задачах поиска.
- Полностью автоматизированный процесс синтеза данных.
- Совместимость с несколькими парадигмами вывода.
- Эффективное обучение с использованием данных агентных взаимодействий.

📌 GitHub: https://github.com/Alibaba-NLP/DeepResearch

#python

🧬 ShinkaEvolve: Эволюция программ с помощью ИИ

ShinkaEvolve — это фреймворк, который сочетает большие языковые модели с эволюционными алгоритмами для автоматизации научных открытий. Он позволяет улучшать научный код, используя креативные возможности ИИ и оптимизацию через эволюцию, поддерживая параллельную оценку кандидатов.

🚀 Основные моменты:
- Комбинирует LLM и эволюционные алгоритмы.
- Поддерживает параллельную оценку на локальных машинах и кластерах.
- Хранит архив успешных решений для передачи знаний.
- Оптимизирует производительность при сохранении корректности кода.
- Идеален для научных задач с доступными проверяющими.

📌 GitHub: https://github.com/SakanaAI/ShinkaEvolve

#python