🔵 عنوان مقاله
BigQuery Under the Hood: Scalability, Reliability, and Usability Enhancements for Gen AI Inference (7 minute read)
🟢 خلاصه مقاله:
BigQuery با تمرکز بر مقیاسپذیری، قابلیت اتکا و سهولت استفاده، اجرای Gen AI را در خود دادهانبار پیش میبرد. هسته بهبودها، استفاده از dynamic token‑based batching است که بهجای شمارش ردیفها، به طول توکنی ورودیها توجه میکند و تا حد امکان ردیفهای بیشتری را در یک درخواست جا میدهد. نتیجه، جهش چشمگیر کارایی است: بیش از 100 برابر برای first‑party LLMs و حدود 30 برابر برای embeddings.
از نظر قابلیت اتکا، سیستم با partial failure modes و adaptive retries تضمین میکند که خطای یک ردیف کل پرسوجو را مختل نکند؛ ردیفهای سالم ادامه مییابند و خطاها با تکرارهای هوشمند و مدیریت خطا مهار میشوند. حاصل، بیش از 99.99٪ تکمیل پرسوجو بدون شکست ردیفی و بیش از 99.99٪ موفقیت در سطح ردیف است.
این توانمندیها با تجربه کاربری ساده ارائه میشوند: انتخاب خودکار اندازه بچها، تعادل میان تاخیر و توان عملیاتی، و ارایه بازخورد شفاف درباره خطاها و بازیابی. جمعبندی اینکه کاربران میتوانند استنتاج LLM و embeddings را مستقیماً در BigQuery با سرعت بالا و پایداری قوی اجرا کنند، بدون نیاز به تغییرات پیچیده در کد یا عملیات.
#BigQuery #GenAI #LLMInference #Scalability #Reliability #Embeddings #Batching #DataWarehouse
🟣لینک مقاله:
https://cloud.google.com/blog/products/data-analytics/bigquery-enhancements-to-boost-gen-ai-inference/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
BigQuery Under the Hood: Scalability, Reliability, and Usability Enhancements for Gen AI Inference (7 minute read)
🟢 خلاصه مقاله:
BigQuery با تمرکز بر مقیاسپذیری، قابلیت اتکا و سهولت استفاده، اجرای Gen AI را در خود دادهانبار پیش میبرد. هسته بهبودها، استفاده از dynamic token‑based batching است که بهجای شمارش ردیفها، به طول توکنی ورودیها توجه میکند و تا حد امکان ردیفهای بیشتری را در یک درخواست جا میدهد. نتیجه، جهش چشمگیر کارایی است: بیش از 100 برابر برای first‑party LLMs و حدود 30 برابر برای embeddings.
از نظر قابلیت اتکا، سیستم با partial failure modes و adaptive retries تضمین میکند که خطای یک ردیف کل پرسوجو را مختل نکند؛ ردیفهای سالم ادامه مییابند و خطاها با تکرارهای هوشمند و مدیریت خطا مهار میشوند. حاصل، بیش از 99.99٪ تکمیل پرسوجو بدون شکست ردیفی و بیش از 99.99٪ موفقیت در سطح ردیف است.
این توانمندیها با تجربه کاربری ساده ارائه میشوند: انتخاب خودکار اندازه بچها، تعادل میان تاخیر و توان عملیاتی، و ارایه بازخورد شفاف درباره خطاها و بازیابی. جمعبندی اینکه کاربران میتوانند استنتاج LLM و embeddings را مستقیماً در BigQuery با سرعت بالا و پایداری قوی اجرا کنند، بدون نیاز به تغییرات پیچیده در کد یا عملیات.
#BigQuery #GenAI #LLMInference #Scalability #Reliability #Embeddings #Batching #DataWarehouse
🟣لینک مقاله:
https://cloud.google.com/blog/products/data-analytics/bigquery-enhancements-to-boost-gen-ai-inference/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Google Cloud Blog
BigQuery enhancements to boost gen AI inference | Google Cloud Blog
With recent performance improvements to BigQuery, users can expect gains in scalability, reliability, and usability across BigQuery and BigQuery ML.
🔵 عنوان مقاله
How to Implement the Outbox Pattern in Go and Postgres
🟢 خلاصه مقاله:
** الگوی Outbox روشی عملی برای حذف مشکل دونوشتن و تضمین تحویل مطمئن پیامهاست. در این روش، تغییرات دامنه و یک رکورد رویداد در جدول outbox داخل همان تراکنش Postgres ذخیره میشوند؛ سپس یک پردازشگر در Go رویدادها را از جدول خوانده و به پیامرسانهایی مانند Kafka یا RabbitMQ منتشر میکند. با استفاده از فیلدهایی مانند ID، کلید موجودیت، نوع رویداد، payload به صورت JSONB، وضعیت/تعداد تلاش، و زمانها، همگامی داده و پیام تضمین میشود. پردازشگر با انتخاب دستههای کوچک و بهکارگیری SELECT … FOR UPDATE SKIP LOCKED از رقابت جلوگیری کرده، پس از انتشار وضعیت را به «پردازششده» تغییر میدهد و شکستها را با backoff و صف خطا مدیریت میکند. این الگو تحویل حداقل-یکبار را فراهم میکند و با مصرفکنندههای idempotent میتوان به پردازش مؤثرِ یکباره رسید. برای کارایی بهتر، ایندکسگذاری بر status و created_at، پارتیشنبندی جدول، حفظ ترتیب بر اساس کلید موجودیت و نظارت بر عمق صف و تأخیر انتشار توصیه میشود. بهعنوان جایگزین، CDC با منبعخوانی منطقی Postgres (مثلاً Debezium) میتواند بهجای polling استفاده شود، هرچند پیچیدگی عملیاتی بیشتری دارد. با آزمونهای یکپارچه، مدیریت مهاجرتهای شِما و پاکسازی دادههای پردازششده، پیادهسازی در Go و Postgres به پلی پایدار بین پایگاهداده و سامانه پیامرسان تبدیل میشود؛ همان رویکردی که Alex Pliutau در معرفی پیادهسازی Outbox با Go و Postgres بر آن تأکید دارد.
#OutboxPattern #Go #Postgres #Microservices #EventDriven #TransactionalOutbox #Reliability #Messaging
🟣لینک مقاله:
https://postgresweekly.com/link/174464/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How to Implement the Outbox Pattern in Go and Postgres
🟢 خلاصه مقاله:
** الگوی Outbox روشی عملی برای حذف مشکل دونوشتن و تضمین تحویل مطمئن پیامهاست. در این روش، تغییرات دامنه و یک رکورد رویداد در جدول outbox داخل همان تراکنش Postgres ذخیره میشوند؛ سپس یک پردازشگر در Go رویدادها را از جدول خوانده و به پیامرسانهایی مانند Kafka یا RabbitMQ منتشر میکند. با استفاده از فیلدهایی مانند ID، کلید موجودیت، نوع رویداد، payload به صورت JSONB، وضعیت/تعداد تلاش، و زمانها، همگامی داده و پیام تضمین میشود. پردازشگر با انتخاب دستههای کوچک و بهکارگیری SELECT … FOR UPDATE SKIP LOCKED از رقابت جلوگیری کرده، پس از انتشار وضعیت را به «پردازششده» تغییر میدهد و شکستها را با backoff و صف خطا مدیریت میکند. این الگو تحویل حداقل-یکبار را فراهم میکند و با مصرفکنندههای idempotent میتوان به پردازش مؤثرِ یکباره رسید. برای کارایی بهتر، ایندکسگذاری بر status و created_at، پارتیشنبندی جدول، حفظ ترتیب بر اساس کلید موجودیت و نظارت بر عمق صف و تأخیر انتشار توصیه میشود. بهعنوان جایگزین، CDC با منبعخوانی منطقی Postgres (مثلاً Debezium) میتواند بهجای polling استفاده شود، هرچند پیچیدگی عملیاتی بیشتری دارد. با آزمونهای یکپارچه، مدیریت مهاجرتهای شِما و پاکسازی دادههای پردازششده، پیادهسازی در Go و Postgres به پلی پایدار بین پایگاهداده و سامانه پیامرسان تبدیل میشود؛ همان رویکردی که Alex Pliutau در معرفی پیادهسازی Outbox با Go و Postgres بر آن تأکید دارد.
#OutboxPattern #Go #Postgres #Microservices #EventDriven #TransactionalOutbox #Reliability #Messaging
🟣لینک مقاله:
https://postgresweekly.com/link/174464/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
packagemain.tech
How to implement the Outbox pattern in Go and Postgres
How and why to use the Outbox pattern to build a robust event-driven system.