🔵 عنوان مقاله
Inside Husky's query engine: Real-time access to 100 trillion events (10 minute read)
🟢 خلاصه مقاله:
Husky از Datadog با جداسازی سه بخش Planner، Router و Executor، اجرای پرسوجوها را در مقیاس بسیار بزرگ و بهصورت بیدرنگ ممکن میکند. Planner پرسوجو را به گراف منطقی از stageها تبدیل میکند، آن را به segmentهای قابل اجرا تقسیم کرده و برنامهٔ اجرا تولید میکند. Router براساس قواعد و شرایط زمان اجرا، هر segment را به backend مناسب مسیردهی میکند تا همزمانی بالا، توازن بار و انعطاف در انتخاب مسیر تضمین شود. Executor کارها را به موتورهای تخصصی مانند SQL engine و custom operators میفرستد و نتایج موازی را ترکیب میکند. این تفکیک ماژولار باعث مقیاسپذیری، امکان اتصال backendهای جدید و بهینهسازی پویا برای هر پرسوجو میشود و دسترسی بیدرنگ به حجم عظیمی از رویدادها را فراهم میکند.
#Datadog #Husky #QueryEngine #RealTimeAnalytics #DistributedSystems #Scalability #DataInfrastructure
🟣لینک مقاله:
https://www.datadoghq.com/blog/engineering/husky-query-architecture/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Inside Husky's query engine: Real-time access to 100 trillion events (10 minute read)
🟢 خلاصه مقاله:
Husky از Datadog با جداسازی سه بخش Planner، Router و Executor، اجرای پرسوجوها را در مقیاس بسیار بزرگ و بهصورت بیدرنگ ممکن میکند. Planner پرسوجو را به گراف منطقی از stageها تبدیل میکند، آن را به segmentهای قابل اجرا تقسیم کرده و برنامهٔ اجرا تولید میکند. Router براساس قواعد و شرایط زمان اجرا، هر segment را به backend مناسب مسیردهی میکند تا همزمانی بالا، توازن بار و انعطاف در انتخاب مسیر تضمین شود. Executor کارها را به موتورهای تخصصی مانند SQL engine و custom operators میفرستد و نتایج موازی را ترکیب میکند. این تفکیک ماژولار باعث مقیاسپذیری، امکان اتصال backendهای جدید و بهینهسازی پویا برای هر پرسوجو میشود و دسترسی بیدرنگ به حجم عظیمی از رویدادها را فراهم میکند.
#Datadog #Husky #QueryEngine #RealTimeAnalytics #DistributedSystems #Scalability #DataInfrastructure
🟣لینک مقاله:
https://www.datadoghq.com/blog/engineering/husky-query-architecture/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Datadog
Inside Husky’s query engine: Real-time access to 100 trillion events | Datadog
See how Husky enables interactive querying across 100 trillion events daily by combining caching, smart indexing, and query pruning.
❤1
🔵 عنوان مقاله
State of Containers and Serverless (8 minute read)
🟢 خلاصه مقاله:
روندهای کلیدی در گزارش State of Containers and Serverless از Datadog که بر پایه دادههای هزاران محیط cloud-native تهیه شده، پنج نکته اصلی را نشان میدهد: ۱) استفاده از GPU با سرعت در حال رشد است؛ اکنون حدود ۶٪ از سازمانها از آن بهره میبرند و ساعات اجرای اینستنسها نسبت به دو سال پیش تقریباً سه برابر شده است. ۲) بارهای کاری AI در حال ظهورند و حدود ۷٪ از workloadهای کانتینری را تشکیل میدهند و در کنار پایگاهدادهها و سرویسهای وب اجرا میشوند. ۳) بیشتر کانتینرها کمتر از ۵۰٪ حافظه و کمتر از ۲۵٪ CPU مصرف میکنند که بیانگر افزونتخصیص گسترده و فرصتهای بهینهسازی هزینه از طریق right-sizing و تنظیم بهتر autoscaling است. ۴) بیش از ۶۴٪ از کلاسترهای Kubernetes از Horizontal Pod Autoscaler (HPA) استفاده میکنند، اما تنها ۲۰٪ به آن متریکهای سفارشی اپلیکیشن میدهند؛ تکیه صرف بر CPU/Memory باعث مقیاسپذیری نامتوازن با تقاضای واقعی میشود. ۵) پلتفرمهای مبتنی بر Arm در حال گسترشاند و با قیمت/کارایی و بهرهوری انرژی بهتر جذاب شدهاند، اما به پشتیبانی multi-arch، سازگاری وابستگیها و تنظیم درست CI/CD نیاز دارند. جمعبندی: پذیرش GPU و AI شتاب گرفته، اما برای بهبود کارایی و واکنشپذیری، باید روی right-sizing، متریکهای سفارشی برای HPA و ارزیابی هدفمند Arm تمرکز شود.
#CloudNative #Containers #Kubernetes #Serverless #Datadog #GPU #AI #ARM
🟣لینک مقاله:
https://www.datadoghq.com/state-of-containers-and-serverless/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
State of Containers and Serverless (8 minute read)
🟢 خلاصه مقاله:
روندهای کلیدی در گزارش State of Containers and Serverless از Datadog که بر پایه دادههای هزاران محیط cloud-native تهیه شده، پنج نکته اصلی را نشان میدهد: ۱) استفاده از GPU با سرعت در حال رشد است؛ اکنون حدود ۶٪ از سازمانها از آن بهره میبرند و ساعات اجرای اینستنسها نسبت به دو سال پیش تقریباً سه برابر شده است. ۲) بارهای کاری AI در حال ظهورند و حدود ۷٪ از workloadهای کانتینری را تشکیل میدهند و در کنار پایگاهدادهها و سرویسهای وب اجرا میشوند. ۳) بیشتر کانتینرها کمتر از ۵۰٪ حافظه و کمتر از ۲۵٪ CPU مصرف میکنند که بیانگر افزونتخصیص گسترده و فرصتهای بهینهسازی هزینه از طریق right-sizing و تنظیم بهتر autoscaling است. ۴) بیش از ۶۴٪ از کلاسترهای Kubernetes از Horizontal Pod Autoscaler (HPA) استفاده میکنند، اما تنها ۲۰٪ به آن متریکهای سفارشی اپلیکیشن میدهند؛ تکیه صرف بر CPU/Memory باعث مقیاسپذیری نامتوازن با تقاضای واقعی میشود. ۵) پلتفرمهای مبتنی بر Arm در حال گسترشاند و با قیمت/کارایی و بهرهوری انرژی بهتر جذاب شدهاند، اما به پشتیبانی multi-arch، سازگاری وابستگیها و تنظیم درست CI/CD نیاز دارند. جمعبندی: پذیرش GPU و AI شتاب گرفته، اما برای بهبود کارایی و واکنشپذیری، باید روی right-sizing، متریکهای سفارشی برای HPA و ارزیابی هدفمند Arm تمرکز شود.
#CloudNative #Containers #Kubernetes #Serverless #Datadog #GPU #AI #ARM
🟣لینک مقاله:
https://www.datadoghq.com/state-of-containers-and-serverless/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Datadog
State of Containers and Serverless | Datadog
We analyze cloud compute trends, from containers to serverless to rising GPU and Arm adoption, as organizations seek efficiency and cost control.