🔵 عنوان مقاله
Polars at Decathlon: Ready to Play? (5 minute read)

🟢 خلاصه مقاله:
Decathlon با به‌کارگیری Polars، پیچیدگی و هزینه زیرساخت داده را کاهش داد. آن‌ها برای پایپ‌لاین‌هایی با ورودی کمتر از 50 GiB، Polars را جایگزین pandas کردند و در کنار آن، Spark را برای موارد مناسب حفظ نمودند. موتور استریمینگ جدید Polars امکان اجرای پایپ‌لاین‌هایی تا 1 TiB را تنها با 10 GiB RAM و 4 CPU فراهم کرد؛ در حالی‌که اجرای درون‌حافظه‌ای قبلی به حدود 100 GiB RAM نیاز داشت. نتیجه این تغییر، هزینه محاسباتی افزایشی نزدیک به صفر، اجرای بسیار سریع‌تر کارها و ساده‌تر شدن توسعه و نگه‌داری پایپ‌لاین‌ها برای بارهای کاری مناسب بود.

#Polars
#Decathlon
#DataPipelines
#StreamingEngine
#Spark
#Pandas
#CostOptimization

🟣لینک مقاله:
https://pola.rs/posts/case-decathlon/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy