530 subscribers
36 photos
5 videos
2 files
1.55K links
👑 DevOps Labdon

حمایت مالی:
https://www.coffeete.ir/mrbardia72

ادمین:
@mrbardia72
Download Telegram
🔵 عنوان مقاله
AWS Glue 6.0 now available with 30% lower price and full Apache Iceberg v3 support (3 minute read)

🟢 خلاصه مقاله:
نسخه جدید AWS Glue 6.0 اکنون در تمامی مناطق آمازون وب سرویس‌ها که سرویس Glue فعال است، در دسترس عموم قرار دارد. یکی از مهم‌ترین ویژگی‌های این بروزرسانی، کاهش قیمت آن به میزان ۳۰ درصد در مقایسه با نسخه‌های قبلی است که می‌تواند هزینه‌های کسب‌وکارها را به طور چشمگیری کاهش دهد. این نسخه جدید بر پایه فناوری‌های قدرتمند مانند Apache Spark 4.1، Python 3.13 و Scala 2.13 توسعه یافته است و علاوه بر این، از کامل‌ترین نسخه‌های Apache Iceberg، یعنی نسخه 3، پشتیبانی می‌کند که از طریق Iceberg 1.11.0 امکان‌پذیر شده است.

یکی از تغییرات کلیدی در این نسخه، معرفی نوع داده جدیدی به نام VARIANT است. این نوع داده قابلیت استخراج و پردازش اطلاعات بدون نیاز به صاف کردن یا Flatten کردن ساختارهای JSON، لاگ‌ها و رویدادها را فراهم می‌کند؛ بدین ترتیب تیم‌ها می‌توانند به راحتی داده‌های چندلایه و پیچیده را ذخیره و مورد جست‌وجو قرار دهند. نکته مهم این است که این بروزرسانی نیاز به تغییر در APIهای موجود ندارد و تمامی کاربران می‌توانند بدون دردسر از امکانات جدید بهره‌مند شوند.

نسخه جدید AWS Glue 6.0 با امکانات بهبود یافته، امنیت، و کاهش هزینه، ابزار قدرتمندی برای تحلیل داده‌های بزرگ در خدمت شرکت‌ها قرار می‌دهد و امکان مدیریت و پردازش داده‌های متنوع و پیچیده را به طرز موثری فراهم می‌آورد.

#AWSGlue #داده_پردازی #تحلیل_داده #فناوری

🟣لینک مقاله:
https://aws.amazon.com/blogs/aws/aws-glue-6-0-now-available-with-30-lower-price-and-full-apache-iceberg-v3-support/?utm_source=tldrdevops


👑 @DevOps_Labdon
🔵 عنوان مقاله
Zero-Downtime EKS Migration: Production-Grade Kubernetes at Scale

🟢 خلاصه مقاله:
در این مطالعه موردی، نحوه مهاجرت یک برنامه ECS به سرویس EKS در دو منطقه جغرافیایی مختلف ارائه شده است، بدون اینکه در فرآیند انتقال هیچ‌گونه نقص در روند کاری یا کاهش در زمان فعالیت سرویس‌ها رخ دهد. این فرآیند، نمونه‌ای موفق از مهاجرت بدون توقف کامل سیستم در محیط‌های ابری است که اهمیت زیادی در بهبود کارایی و امکان‌پذیری عملیات‌های بزرگ دارد.

در این پروژه، برای اطمینان از مقیاس‌پذیری و پاسخگو بودن برنامه، از فناوری KEDA بهره گرفته شد که امکان خودکارسازی بر اساس نیازهای مصرفی را فراهم می‌کرد. همچنین، برای محافظت و مدیریت امن اطلاعات حساس، از HashiCorp Vault استفاده شد که نقش محوری در مدیریت مجوزها و کلیدها ایفا می‌کند.

در کنار این موارد، از IRSA (IAM Roles for Service Accounts) برای ارتقاء سطح امنیت و یکپارچه‌سازی احراز هویت سرویس‌ها بهره گرفته شد. اهمیت طراحی و اجرای یک استراتژی قوی برای بازیابی در برابر بحران‌ها، بر عهده عملیات بازیابی بحران گذاشته شد تا در صورت بروز مشکلات، راه‌حل‌های سریع و مطمئن ارائه گردد. همه مراحل این مهاجرت با هماهنگی دقیق و برنامه‌ریزی صحیح انجام شد تا فرآیند قطعی تولید (production cutover) بدون ایجاد اختلال و به صورت همزمان در هر دو منطقه اجرا شود، و سرویس‌ها به صورت بی‌وقفه ادامه یابند.

این نمونه نشان می‌دهد که با استراتژی‌های دقیق، ابزارهای مناسب و برنامه‌ریزی مناسب، می‌توان مهاجرت به کلاسترهای Kubernetes بدون توقف سرویس و به طور کامل سازگار با نیازهای تولید انجام داد.

#کابرنتیز #مهاجرت_بی_وقفه #AWS #پایداری

🟣لینک مقاله:
https://ku.bz/VDHmS189t


👑 @DevOps_Labdon
1
🔵 عنوان مقاله
Apache Maka (GitHub Repo)

🟢 خلاصه مقاله:
آپاچی ماکا یک فضای کاری هوش مصنوعی مبتنی بر محلی است که به صورت پیش‌فرض، مدل‌ها و ابزارها را در یک محیط ایمن و جدا شده اجرا می‌کند. این سیستم قادر است تمامی جلسات، فراخوانی ابزارها، نتایج، و اطلاعات بازیابی را در دستگاه کاربر نگهداری کند، که این امر تضمین می‌کند داده‌ها در محیط کاربر باقی بمانند و از حریم شخصی محافظت شود.

آپاچی ماکا رابط‌های متنوعی را شامل رابط‌های دسکتاپ، خط فرمان/رابط‌های متنی و سیستم‌های ارزیابی ارائه می‌دهد. این پلتفرم از ابزارهای فایل و شل داخلی پشتیبانی می‌کند و تاریخچه‌های اجرایی مستحکم و قابل بازیابی را ثبت می‌کند تا در صورت سقوط سیستم یا نیاز به بازنشانی، داده‌ها به راحتی بازیابی شوند. علاوه بر این، این سیستم توانایی اتصال به APIهای ابری، مدل‌های محلی، و گیت‌وی‌های سازگار را دارد، که امکانات گسترده و انعطاف‌پذیری در اجرای پروژه‌های هوش مصنوعی را برای کاربر فراهم می‌کند.

در نتیجه، آپاچی ماکا هم برای توسعه‌دهندگان و هم برای افراد علاقه‌مند به هوش مصنوعی، ابزاری قدرتمند، امن و کاربرپسند است که امکان مدیریت بهتر پروژه‌های AI بر بستر محلی را میسر می‌کند.

#هوش_مصنوعی #پلتفرم_محلی #خودکفا #توسعه_هوشمند

🟣لینک مقاله:
https://github.com/apache/maka?utm_source=tldrdevops


👑 @DevOps_Labdon
🔵 عنوان مقاله
Kafka on Kubernetes: Performance Lessons for Any Disk-Heavy Data Service

🟢 خلاصه مقاله:
در این مقاله، به بررسی چالش‌هایی که هنگام انتقال سرویس کا Kafka از زیرساخت‌های مبتنی بر EC2 به محیط کلاود مدیریت‌شده EKS به وجود آمد، می‌پردازیم. یکی از نکات اصلی که مشخص شد، فشار ناشی از بازپس‌گیری منابع در کنترل گروه‌ها (cgroup v2) بود که باعث شد Kafka پس از مهاجرت، برای خواندن داده‌ها بیشتر به دیسک مراجعه کند. این موضوع نشان می‌دهد که مدیریت وضایف و منابع در محیط‌های کلاود، تاثیر قابل توجهی بر عملکرد سرویس‌های مبتنی بر دیسک دارد.

در ادامه، تحقیقاتی صورت گرفت تا دلایل این تغییر کارکرد مشخص شود و راه‌حل‌هایی برای بهبود عملکرد ارائه گردد. از آنجا که Kafka برای نگهداری داده‌های حجیم و پردازش پیوسته نیازمند دسترسی سریع به دیسک است، هر گونه فشار در سیستم‌های مدیریت منابع می‌تواند تاثیر مخربی بر کارایی داشته باشد. در شرایط جدید، محدودیت‌های اعمال شده توسط cgroup v2 منجر به کاهش بهره‌وری منابع و نیاز بیشتر به خواندن از دیسک شد که این موضوع نشان‌دهنده اهمیت بررسی و بهینه‌سازی تنظیمات سیستم‌های میزبان است.

در نتیجه، این مطالعه اهمیت طراحی سیستم‌های مبتنی بر کانتینر و کلاود را در حوزه دیتاسنترهای مدرن برجسته می‌کند. آشنایی با نحوه مدیریت صحیح منابع و کاهش فشارهای سیستمی، کلید حفظ کارایی و سرعت تراکنش‌ها در سرویس‌هایی مانند Kafka است. در نهایت، درک عمیق‌تر این مسائل به مدیران فناوری اطلاعات کمک می‌کند تا بتوانند سیستم‌هایی پایدارتر و بهینه‌تر پیاده‌سازی نمایند و تجربه‌ی بهتری برای کاربران رقم بزنند.

#Kafka #کلاود #مدیریت_منابع #بهینه‌سازی

🟣لینک مقاله:
https://ku.bz/0P1BSLKKz


👑 @DevOps_Labdon
🔵 عنوان مقاله
DigitalOcean Inference Router, Now Cache-Aware: Why the Cheapest Model Isn't Always the Best Deal (8 minute read)

🟢 خلاصه مقاله:
در دنیای فناوری و هوش مصنوعی، اهمیت سرعت و کارایی سیستم‌ها بر کسی پوشیده نیست. اخیرا، شرکت دیجیتال اوشن قابلیت جدیدی به نام "مسیر یابی هوشمند مبتنی بر حافظه پنهان" یا همان Cache-Aware Routing را به روتر استنتاج خود افزوده است. این توسعه، به سیستم اجازه می‌دهد تا هنگام تصمیم‌گیری درباره تغییر مدل در حین یک نشست، هزینه‌ی مربوط به از بین رفتن کش (پورتال حافظه موقتی) مربوط به درخواست‌های قبلی را در نظر بگیرد. در واقع، این قابلیت، نقش مهمی در بهینه‌سازی مصرف منابع و کاهش هزینه‌های غیرضروری ایفا می‌کند.

این به‌روزرسانی با دو کنترل جدید همراه شده است: یکی هدر منحصر به فردی که به صورت صریح، رابطه درخواست‌ها و نشست‌ها را مشخص می‌کند و دیگری پارامتر بودجه مسیر یابی است که حداکثر هزینه‌ای را محدود می‌کند که در صورت تغییر مدل، باید پرداخت شود. این اقدامات، باعث می‌شود توازن منطقی بین هزینه و کارایی در سیستم‌های استنتاج هوشمند برقرار شود و کاربران بتوانند تصمیمات بهتری در انتخاب مدل‌ها و مسیرهای پردازش اتخاذ کنند. به طور کلی، این امکانات جدید، دنیای هوش مصنوعی را به سمت سیستم‌های هوشمندتر و اقتصادی‌تر سوق می‌دهد و نشان می‌دهد که در این حوزه، نوآوری‌های فناورانه همچنان ادامه دارند.
#هوش_مصنوعی #یادگیری_ماشین #پرهیز_از_هزینه #مدیریت_منابع

🟣لینک مقاله:
https://www.digitalocean.com/blog/inference-router-cache-aware?utm_source=tldrdevops


👑 @DevOps_Labdon
🔵 عنوان مقاله
Octopus Easy Mode - Kubernetes Microservice Orchestration (6 minute read)

🟢 خلاصه مقاله:
در دنیای فناوری مدرن، مدیریت و هم‌آهنگی میکروسرویس‌ها در محیط‌های ابری مانند Kubernetes اهمیت ویژه‌ای پیدا کرده است. یکی از ابزارهای قدرتمند در این حوزه، Octopus است که امکان عملیات اورکستراسیون را به صورت خودکفا و کارآمد فراهم می‌کند. این سیستم به تیم‌های توسعه اجازه می‌دهد تا میکروسرویس‌های قابل انتشار مستقل را به شکل منسجم و همزمان مدیریت کنند، بدون اینکه نیاز به مداخلات پیچیده باشد.

از طریق پروژه مادر در Octopus، می‌توان فرآیندهای استقرار نسخه‌ها را با استفاده از مراحل Deploy a Release تنظیم و اجرا کرد. این کار امکان هماهنگی عملیات استقرار در محیط‌های مختلف را فراهم می‌آورد، چه به صورت پشت سر هم و چه همزمان. در نتیجه، مدیران سیستم قادر خواهند بود تا استقرارهای تکراری، منسجم و کنترل‌شده‌ای داشته باشند که علاوه بر محافظت از هر سرویس، آن‌ها را در قالب یک واحد واحد با چرخه حیات مشخص و کنترل‌شده، مدیریت کنند.

این رویکرد به تیم‌ها اجازه می‌دهد تا استراتژی‌های استقرار واحدی را پیاده‌سازی کنند، که در آن خدمات مختلف می‌توانند هم‌زمان یا متوالی مستقر شوند، بدون اینکه فرآیندهای هر سرویس به صورت جداگانه انجام شود. نتیجه نهایی، افزایش بهره‌وری، کاهش خطاهای استقراری و امکان ارتقاء سریع‌تر و هماهنگ‌تر سرویس‌ها است، که در نهایت به بهبود عملکرد و رضایت کاربران منجر می‌شود.

#اورکستراسیون #کوبرنیتس #میکروسرویس #استقرارپایدار

🟣لینک مقاله:
https://octopus.com/blog/octo-easy-mode-20-microservices?utm_source=tldrdevops


👑 @DevOps_Labdon