🔵 عنوان مقاله
BigQuery Under the Hood: Scalability, Reliability, and Usability Enhancements for Gen AI Inference (7 minute read)
🟢 خلاصه مقاله:
BigQuery با تمرکز بر مقیاسپذیری، قابلیت اتکا و سهولت استفاده، اجرای Gen AI را در خود دادهانبار پیش میبرد. هسته بهبودها، استفاده از dynamic token‑based batching است که بهجای شمارش ردیفها، به طول توکنی ورودیها توجه میکند و تا حد امکان ردیفهای بیشتری را در یک درخواست جا میدهد. نتیجه، جهش چشمگیر کارایی است: بیش از 100 برابر برای first‑party LLMs و حدود 30 برابر برای embeddings.
از نظر قابلیت اتکا، سیستم با partial failure modes و adaptive retries تضمین میکند که خطای یک ردیف کل پرسوجو را مختل نکند؛ ردیفهای سالم ادامه مییابند و خطاها با تکرارهای هوشمند و مدیریت خطا مهار میشوند. حاصل، بیش از 99.99٪ تکمیل پرسوجو بدون شکست ردیفی و بیش از 99.99٪ موفقیت در سطح ردیف است.
این توانمندیها با تجربه کاربری ساده ارائه میشوند: انتخاب خودکار اندازه بچها، تعادل میان تاخیر و توان عملیاتی، و ارایه بازخورد شفاف درباره خطاها و بازیابی. جمعبندی اینکه کاربران میتوانند استنتاج LLM و embeddings را مستقیماً در BigQuery با سرعت بالا و پایداری قوی اجرا کنند، بدون نیاز به تغییرات پیچیده در کد یا عملیات.
#BigQuery #GenAI #LLMInference #Scalability #Reliability #Embeddings #Batching #DataWarehouse
🟣لینک مقاله:
https://cloud.google.com/blog/products/data-analytics/bigquery-enhancements-to-boost-gen-ai-inference/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
BigQuery Under the Hood: Scalability, Reliability, and Usability Enhancements for Gen AI Inference (7 minute read)
🟢 خلاصه مقاله:
BigQuery با تمرکز بر مقیاسپذیری، قابلیت اتکا و سهولت استفاده، اجرای Gen AI را در خود دادهانبار پیش میبرد. هسته بهبودها، استفاده از dynamic token‑based batching است که بهجای شمارش ردیفها، به طول توکنی ورودیها توجه میکند و تا حد امکان ردیفهای بیشتری را در یک درخواست جا میدهد. نتیجه، جهش چشمگیر کارایی است: بیش از 100 برابر برای first‑party LLMs و حدود 30 برابر برای embeddings.
از نظر قابلیت اتکا، سیستم با partial failure modes و adaptive retries تضمین میکند که خطای یک ردیف کل پرسوجو را مختل نکند؛ ردیفهای سالم ادامه مییابند و خطاها با تکرارهای هوشمند و مدیریت خطا مهار میشوند. حاصل، بیش از 99.99٪ تکمیل پرسوجو بدون شکست ردیفی و بیش از 99.99٪ موفقیت در سطح ردیف است.
این توانمندیها با تجربه کاربری ساده ارائه میشوند: انتخاب خودکار اندازه بچها، تعادل میان تاخیر و توان عملیاتی، و ارایه بازخورد شفاف درباره خطاها و بازیابی. جمعبندی اینکه کاربران میتوانند استنتاج LLM و embeddings را مستقیماً در BigQuery با سرعت بالا و پایداری قوی اجرا کنند، بدون نیاز به تغییرات پیچیده در کد یا عملیات.
#BigQuery #GenAI #LLMInference #Scalability #Reliability #Embeddings #Batching #DataWarehouse
🟣لینک مقاله:
https://cloud.google.com/blog/products/data-analytics/bigquery-enhancements-to-boost-gen-ai-inference/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Google Cloud Blog
BigQuery enhancements to boost gen AI inference | Google Cloud Blog
With recent performance improvements to BigQuery, users can expect gains in scalability, reliability, and usability across BigQuery and BigQuery ML.
🔵 عنوان مقاله
Introducing Apache Airflow® 3.1 (8 minute read)
🟢 خلاصه مقاله:
**نسخه 3.1 از Apache Airflow با تمرکز بر جریانهای داده مدرن، امکاناتی مانند اپراتورهای HITL و اجرای همگام DAG را برای پوشش بهتر سناریوهای GenAI/MLOps ارائه میکند. این نسخه یک رابط افزونه مبتنی بر React برای توسعه رابط کاربری سفارشی اضافه کرده و تجربه کاربری را با قابلیتهایی مثل افزودن DAG به علاقهمندیها و انتخاب زبان بهبود میدهد. همچنین زمان پارس شدن DAGها را نمایش میدهد، از Python 3.13 پشتیبانی میکند و یک trigger rule جدید برای انعطافپذیری بیشتر در تعریف وابستگیها ارائه شده است.
#ApacheAirflow #Airflow3_1 #DataEngineering #MLOps #GenAI #Python313 #DAG #WorkflowOrchestration
🟣لینک مقاله:
https://www.astronomer.io/blog/introducing-apache-airflow-3-1/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Introducing Apache Airflow® 3.1 (8 minute read)
🟢 خلاصه مقاله:
**نسخه 3.1 از Apache Airflow با تمرکز بر جریانهای داده مدرن، امکاناتی مانند اپراتورهای HITL و اجرای همگام DAG را برای پوشش بهتر سناریوهای GenAI/MLOps ارائه میکند. این نسخه یک رابط افزونه مبتنی بر React برای توسعه رابط کاربری سفارشی اضافه کرده و تجربه کاربری را با قابلیتهایی مثل افزودن DAG به علاقهمندیها و انتخاب زبان بهبود میدهد. همچنین زمان پارس شدن DAGها را نمایش میدهد، از Python 3.13 پشتیبانی میکند و یک trigger rule جدید برای انعطافپذیری بیشتر در تعریف وابستگیها ارائه شده است.
#ApacheAirflow #Airflow3_1 #DataEngineering #MLOps #GenAI #Python313 #DAG #WorkflowOrchestration
🟣لینک مقاله:
https://www.astronomer.io/blog/introducing-apache-airflow-3-1/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
www.astronomer.io
Introducing Apache Airflow® 3.1
The momentum continues from the release of Airflow 3