🔵 عنوان مقاله
How to run AI model inference with GPUs on Amazon EKS Auto Mode
🟢 خلاصه مقاله:
اجرای استنتاج مدلهای هوش مصنوعی روی GPU در Amazon EKS Auto Mode با اعلام نیازمندیها در سطح Pod ساده میشود و خودکار ظرفیت GPU را فراهم و مقیاس میدهد. کافی است سرور استنتاج (مثل TensorFlow Serving، TorchServe یا NVIDIA Triton Inference Server) را با CUDA/cuDNN و NVIDIA Container Toolkit در یک ایمیج آماده کنید، در Deployment منابع nvidia.com/gpu و CPU/Memory را درخواست دهید، و با نصب NVIDIA device plugin امکان شناسایی GPU را فراهم کنید. Auto Mode براساس این درخواستها نودهای GPU مناسب را در EC2 تأمین و زمانبندی را تسریع میکند. برای مقیاسپذیری از HPA و اتوسکیلینگ کلاستر استفاده کنید و با تکنیکهایی مثل dynamic batching و multi-model throughput را بالا ببرید؛ برای مدیریت هزینه، right-sizing، استفاده هدفمند از Spot و scale-to-zero را در نظر بگیرید. امنیت و شبکه با VPC CNI، Security Group و IAM Roles for Service Accounts و مشاهدهپذیری با Prometheus/Grafana، DCGM و CloudWatch تکمیل میشوند. در نهایت، با CI/CD و Amazon ECR و الگوهای انتشار امن (blue/green یا canary) استقرار بهصورت قابل تکرار و پایدار از توسعه تا تولید انجام میشود.
#AmazonEKS #Kubernetes #GPU #MLOps #AWS #Inference #AutoScaling #NVIDIA
🟣لینک مقاله:
https://ku.bz/jyGr1NGBX
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
How to run AI model inference with GPUs on Amazon EKS Auto Mode
🟢 خلاصه مقاله:
اجرای استنتاج مدلهای هوش مصنوعی روی GPU در Amazon EKS Auto Mode با اعلام نیازمندیها در سطح Pod ساده میشود و خودکار ظرفیت GPU را فراهم و مقیاس میدهد. کافی است سرور استنتاج (مثل TensorFlow Serving، TorchServe یا NVIDIA Triton Inference Server) را با CUDA/cuDNN و NVIDIA Container Toolkit در یک ایمیج آماده کنید، در Deployment منابع nvidia.com/gpu و CPU/Memory را درخواست دهید، و با نصب NVIDIA device plugin امکان شناسایی GPU را فراهم کنید. Auto Mode براساس این درخواستها نودهای GPU مناسب را در EC2 تأمین و زمانبندی را تسریع میکند. برای مقیاسپذیری از HPA و اتوسکیلینگ کلاستر استفاده کنید و با تکنیکهایی مثل dynamic batching و multi-model throughput را بالا ببرید؛ برای مدیریت هزینه، right-sizing، استفاده هدفمند از Spot و scale-to-zero را در نظر بگیرید. امنیت و شبکه با VPC CNI، Security Group و IAM Roles for Service Accounts و مشاهدهپذیری با Prometheus/Grafana، DCGM و CloudWatch تکمیل میشوند. در نهایت، با CI/CD و Amazon ECR و الگوهای انتشار امن (blue/green یا canary) استقرار بهصورت قابل تکرار و پایدار از توسعه تا تولید انجام میشود.
#AmazonEKS #Kubernetes #GPU #MLOps #AWS #Inference #AutoScaling #NVIDIA
🟣لینک مقاله:
https://ku.bz/jyGr1NGBX
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Amazon
How to run AI model inference with GPUs on Amazon EKS Auto Mode | Amazon Web Services
In this post, we show you how to swiftly deploy inference workloads on EKS Auto Mode and demonstrate key features that streamline GPU management. We walk through a practical example by deploying open weight models from OpenAI using vLLM, while showing best…
🔵 عنوان مقاله
Best Practices Cluster Setup Guide for Real-Time Inference on Amazon EKS
🟢 خلاصه مقاله:
**این راهنما نشان میدهد چگونه مدلهای ML را به سرویسهای آمادهٔ تولید روی Amazon EKS تبدیل کنید، بهویژه برای بارهای GenAI با نیاز به تأخیر کم و ظرفیت الاستیک. محتوای آن اصول طراحی کلاستر (انتخاب CPU/GPU، تفکیک بارها با Node Group، چند-AZ، امنیت با Namespace و NetworkPolicy و IRSA)، استقرار استاندارد (کانتینرسازی، مدیریت کانفیگ و آرتیفکتها)، و مقیاسپذیری چندلایه را پوشش میدهد: HPA در سطح Pod بر اساس متریکها و Cluster Autoscaler برای افزودن/کاهش ظرفیت. همچنین به پیشگرمسازی برای کاهش Cold Start، مدیریت ترافیک با Ingress/Load Balancer، و بهینهسازی هزینه با Right-Sizing و ترکیب On-Demand و Spot اشاره میکند. برای پایداری، الگوهای Canary/Blue‑Green، PDB و پراکندگی توپولوژیک پیشنهاد میشود؛ و برای عملیات، مشاهدهپذیری و هشداردهی مبتنی بر SLO بههمراه آزمون کارایی توصیه شده است. نتیجه: سادهسازی دیپلوی، مقیاسگذاری کارآمد، و کاهش هزینهٔ عملیاتی برای ارائهٔ بیوقفهٔ استنتاج بلادرنگ روی EKS.
#AmazonEKS #Kubernetes #MLOps #RealTimeInference #GenAI #Autoscaling #CostOptimization #CloudArchitecture
🟣لینک مقاله:
https://ku.bz/y5sWmP7sM
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Best Practices Cluster Setup Guide for Real-Time Inference on Amazon EKS
🟢 خلاصه مقاله:
**این راهنما نشان میدهد چگونه مدلهای ML را به سرویسهای آمادهٔ تولید روی Amazon EKS تبدیل کنید، بهویژه برای بارهای GenAI با نیاز به تأخیر کم و ظرفیت الاستیک. محتوای آن اصول طراحی کلاستر (انتخاب CPU/GPU، تفکیک بارها با Node Group، چند-AZ، امنیت با Namespace و NetworkPolicy و IRSA)، استقرار استاندارد (کانتینرسازی، مدیریت کانفیگ و آرتیفکتها)، و مقیاسپذیری چندلایه را پوشش میدهد: HPA در سطح Pod بر اساس متریکها و Cluster Autoscaler برای افزودن/کاهش ظرفیت. همچنین به پیشگرمسازی برای کاهش Cold Start، مدیریت ترافیک با Ingress/Load Balancer، و بهینهسازی هزینه با Right-Sizing و ترکیب On-Demand و Spot اشاره میکند. برای پایداری، الگوهای Canary/Blue‑Green، PDB و پراکندگی توپولوژیک پیشنهاد میشود؛ و برای عملیات، مشاهدهپذیری و هشداردهی مبتنی بر SLO بههمراه آزمون کارایی توصیه شده است. نتیجه: سادهسازی دیپلوی، مقیاسگذاری کارآمد، و کاهش هزینهٔ عملیاتی برای ارائهٔ بیوقفهٔ استنتاج بلادرنگ روی EKS.
#AmazonEKS #Kubernetes #MLOps #RealTimeInference #GenAI #Autoscaling #CostOptimization #CloudArchitecture
🟣لینک مقاله:
https://ku.bz/y5sWmP7sM
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Amazon
Best Practices Cluster Setup Guide for Real-Time Inference on Amazon EKS - Amazon EKS
Learn how to set up an Amazon EKS cluster optimized for real-time online inference workloads using GPU-accelerated nodes, Karpenter for autoscaling, and integrate AWS services to serve a model.
🔵 عنوان مقاله
Under the hood: Amazon EKS Auto Mode
🟢 خلاصه مقاله:
Amazon EKS Auto Mode با خودکارسازی راهاندازی، مقیاسدهی و نگهداری کنترل پلین و worker nodeها، بار مدیریت زیرساخت Kubernetes را برمیدارد تا تیمها بر توسعه محصول تمرکز کنند. در این مطلب، AWS توضیح میدهد این رویکرد برای بارهای کاری Kubernetes چه مزایایی دارد؛ از تأمین خودکار ظرفیت و مقیاسپذیری متناسب با ترافیک تا کاهش اضافهظرفیت و سادهسازی عملیات برای سناریوهای مختلف مانند microservices و پردازش دستهای. همچنین نگاهی به سازوکار درونی EKS Auto Mode ارائه میشود—نحوه ایجاد و نگهداری منابع کلاستر، تصمیمهای مقیاسدهی، اعمال بهروزرسانیها و وصلههای امنیتی با حداقل اختلال، و ادغام با قابلیتهای شبکه، ذخیرهسازی و observability در AWS. در پایان، به ملاحظات هزینه، بهترینروشها و نحوه همراستسازی با CI/CD اشاره میشود تا تیمها با اعتماد بیشتری از این اتوماسیون استفاده کنند.
#AmazonEKS #Kubernetes #AWS #Cloud #DevOps #Containers #Autoscaling #PlatformEngineering
🟣لینک مقاله:
https://ku.bz/pdcLkB9Hn
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Under the hood: Amazon EKS Auto Mode
🟢 خلاصه مقاله:
Amazon EKS Auto Mode با خودکارسازی راهاندازی، مقیاسدهی و نگهداری کنترل پلین و worker nodeها، بار مدیریت زیرساخت Kubernetes را برمیدارد تا تیمها بر توسعه محصول تمرکز کنند. در این مطلب، AWS توضیح میدهد این رویکرد برای بارهای کاری Kubernetes چه مزایایی دارد؛ از تأمین خودکار ظرفیت و مقیاسپذیری متناسب با ترافیک تا کاهش اضافهظرفیت و سادهسازی عملیات برای سناریوهای مختلف مانند microservices و پردازش دستهای. همچنین نگاهی به سازوکار درونی EKS Auto Mode ارائه میشود—نحوه ایجاد و نگهداری منابع کلاستر، تصمیمهای مقیاسدهی، اعمال بهروزرسانیها و وصلههای امنیتی با حداقل اختلال، و ادغام با قابلیتهای شبکه، ذخیرهسازی و observability در AWS. در پایان، به ملاحظات هزینه، بهترینروشها و نحوه همراستسازی با CI/CD اشاره میشود تا تیمها با اعتماد بیشتری از این اتوماسیون استفاده کنند.
#AmazonEKS #Kubernetes #AWS #Cloud #DevOps #Containers #Autoscaling #PlatformEngineering
🟣لینک مقاله:
https://ku.bz/pdcLkB9Hn
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Amazon
Under the hood: Amazon EKS Auto Mode | Amazon Web Services
This blog post was co-authored by Alex Kestner, Sr Product Manager – EKS; Todd Neal, Sr. Software Engineer – EKS; Neelendra Bhandari, Sr Software Dev Manager – EKS; and Sai Vennam, Principal Specialist Solutions Architect. At re:Invent 2024, we launched Amazon…
🔵 عنوان مقاله
Migrating VPC CNI from Self-Managed to EKS Managed Add-on
🟢 خلاصه مقاله:
در این راهنما، نحوه انتقال شبکه VPC CNI در کلاسترهای Amazon EKS از حالت مدیریتشده به حالت افزودنی مدیریتشده توسط AWS توضیح داده میشود. فرآیند این انتقال شامل نگهداری تنظیمات محیطی سفارشی، انتقال مجوزها به سیستم IRSA (IAM Roles for Service Accounts)، و همچنین جلوگیری از قطعی خدمت در طول فرآیند است. هدف این است که بدون توقف سرویس، مهاجرتی آرام و بیوقفه انجام شود تا امنیت و کارایی کلاستر حفظ گردد.
در ابتدای کار، اهمیت انتقال شبکه VPC CNI به حالت مدیریتشده توسط AWS مشخص میشود؛ چرا که این روش مدیریت سادهتر، بهروزرسانیهای خودکار، و امنیت بهتر را برای کاربران فراهم میکند. سپس، در بخش بعدی، گام به گام چگونگی نگهداری تنظیمات سفارشی موجود و انتقال مجوزها به IRSA مورد بحث قرار میگیرد؛ این کار باعث میشود تا تنظیمات قدیمی حفظ شده و سطح دسترسیها ایمنتر و مدیریتپذیرتر شوند. در نهایت، راهکارهای اجرایی برای جلوگیری از downtime و کاهش ریسکهای احتمالی در حین عملیات ارائه میشود تا کاربران بتوانند با اطمینان کامل فرآیند مهاجرت را طی کنند.
در کل، این مقاله دستورالعملی جامع است برای مدیران سیستمها و تیمهای DevOps که قصد دارند سرویسهای خود را بدون وقفه و با کمترین ریسک، به روش مدیریتشده توسط AWS منتقل کنند، و از امکانات بهروز و امن این پلتفرم بهرهمند شوند.
#AmazonEKS #VPC CNI #مدیریتشده #مهاجرتوسیستم
🟣لینک مقاله:
https://ku.bz/HLl9fhxc7
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Migrating VPC CNI from Self-Managed to EKS Managed Add-on
🟢 خلاصه مقاله:
در این راهنما، نحوه انتقال شبکه VPC CNI در کلاسترهای Amazon EKS از حالت مدیریتشده به حالت افزودنی مدیریتشده توسط AWS توضیح داده میشود. فرآیند این انتقال شامل نگهداری تنظیمات محیطی سفارشی، انتقال مجوزها به سیستم IRSA (IAM Roles for Service Accounts)، و همچنین جلوگیری از قطعی خدمت در طول فرآیند است. هدف این است که بدون توقف سرویس، مهاجرتی آرام و بیوقفه انجام شود تا امنیت و کارایی کلاستر حفظ گردد.
در ابتدای کار، اهمیت انتقال شبکه VPC CNI به حالت مدیریتشده توسط AWS مشخص میشود؛ چرا که این روش مدیریت سادهتر، بهروزرسانیهای خودکار، و امنیت بهتر را برای کاربران فراهم میکند. سپس، در بخش بعدی، گام به گام چگونگی نگهداری تنظیمات سفارشی موجود و انتقال مجوزها به IRSA مورد بحث قرار میگیرد؛ این کار باعث میشود تا تنظیمات قدیمی حفظ شده و سطح دسترسیها ایمنتر و مدیریتپذیرتر شوند. در نهایت، راهکارهای اجرایی برای جلوگیری از downtime و کاهش ریسکهای احتمالی در حین عملیات ارائه میشود تا کاربران بتوانند با اطمینان کامل فرآیند مهاجرت را طی کنند.
در کل، این مقاله دستورالعملی جامع است برای مدیران سیستمها و تیمهای DevOps که قصد دارند سرویسهای خود را بدون وقفه و با کمترین ریسک، به روش مدیریتشده توسط AWS منتقل کنند، و از امکانات بهروز و امن این پلتفرم بهرهمند شوند.
#AmazonEKS #VPC CNI #مدیریتشده #مهاجرتوسیستم
🟣لینک مقاله:
https://ku.bz/HLl9fhxc7
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Medium
Migrating VPC CNI from Self-Managed to EKS Managed Add-on
If you’ve been running Amazon EKS clusters for a while, chances are your VPC CNI plugin is self-managed. This was the default for clusters…
🔵 عنوان مقاله
Session policies for Amazon EKS pod identity
🟢 خلاصه مقاله:
در این راهنما، به موضوع سیاستهای نشست (Session Policies) در سرویس Amazon EKS پرداخته شده است. این سیاستها به تیمها امکان میدهند تا مجوزهای هویت پودهای (Pods) در کلاسترهای EKS را به صورت محدود و کنترلشده تنظیم کنند. با استفاده از این سیاستها، تیمها میتوانند سطح دسترسیهایی که پودها دارند را مشخص و مدیریت نمایند، و بدین ترتیب امنیت و کنترل بهتر بر منابع ابری خود داشته باشند.
در ادامه، نحوه کار این سیاستها و مزایای آنها توضیح داده شده است. با استفادۀ از سیاستهای نشست، میتوان تصمیم گرفت چه مجوزهایی در طول عمر هر پود فعال باشد و چگونه این مجوزها به صورت inline یا مستقیم در سیاستهای IAM تنظیم شوند. این موضوع به بهبود امنیت و کاهش ریسکهای ناخواسته کمک میکند، زیرا دسترسیهای غیرضروری محدود میشود و نقشها و مجوزها بهتر کنترل میگردند.
در نهایت، این راهنمای عملی، نمونههایی از پیادهسازی سیاستهای نشست و نحوه مدیریت آنها را ارائه میدهد. این ابزار قدرتمند به تیمهای توسعه و عملیات کمک میکند تا سیاستهای امنیتی متناسب با نیازهای کاری خود را به طور دقیق تنظیم و اجرا کنند و در نتیجه، راهکاری مطمئن و منعطف برای کنترل دسترسیهای پودهای EKS باشد.
#امنیت_کلاستر #AmazonEKS #سیاست_نشست #مدیریت_دسترسی
🟣لینک مقاله:
https://ku.bz/NtVpLWQ60
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Session policies for Amazon EKS pod identity
🟢 خلاصه مقاله:
در این راهنما، به موضوع سیاستهای نشست (Session Policies) در سرویس Amazon EKS پرداخته شده است. این سیاستها به تیمها امکان میدهند تا مجوزهای هویت پودهای (Pods) در کلاسترهای EKS را به صورت محدود و کنترلشده تنظیم کنند. با استفاده از این سیاستها، تیمها میتوانند سطح دسترسیهایی که پودها دارند را مشخص و مدیریت نمایند، و بدین ترتیب امنیت و کنترل بهتر بر منابع ابری خود داشته باشند.
در ادامه، نحوه کار این سیاستها و مزایای آنها توضیح داده شده است. با استفادۀ از سیاستهای نشست، میتوان تصمیم گرفت چه مجوزهایی در طول عمر هر پود فعال باشد و چگونه این مجوزها به صورت inline یا مستقیم در سیاستهای IAM تنظیم شوند. این موضوع به بهبود امنیت و کاهش ریسکهای ناخواسته کمک میکند، زیرا دسترسیهای غیرضروری محدود میشود و نقشها و مجوزها بهتر کنترل میگردند.
در نهایت، این راهنمای عملی، نمونههایی از پیادهسازی سیاستهای نشست و نحوه مدیریت آنها را ارائه میدهد. این ابزار قدرتمند به تیمهای توسعه و عملیات کمک میکند تا سیاستهای امنیتی متناسب با نیازهای کاری خود را به طور دقیق تنظیم و اجرا کنند و در نتیجه، راهکاری مطمئن و منعطف برای کنترل دسترسیهای پودهای EKS باشد.
#امنیت_کلاستر #AmazonEKS #سیاست_نشست #مدیریت_دسترسی
🟣لینک مقاله:
https://ku.bz/NtVpLWQ60
➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon
Amazon
Session policies for Amazon EKS Pod Identity | Amazon Web Services
In this post, we demonstrate how to use session policies to dynamically scope down IAM permissions for your Kubernetes pods without creating additional IAM roles, and discuss important considerations when adopting this feature.