🔵 عنوان مقاله
BigQuery to ClickHouse at 15M Call Minutes a Day: What Broke, What We Fixed, and How We Cut Costs 6x (8 minute read)

🟢 خلاصه مقاله:
در پروژه‌های تجزیه و تحلیل داده‌ها، انتقال سیستم‌های مورد استفاده نقش مهمی در بهبود کارایی و کاهش هزینه‌ها ایفا می‌کند. شرکت بولنا تصمیم گرفت فرآیندهای تحلیل داده‌های خود را از پلتفرم BigQuery به ClickHouse منتقل کند. این تغییرات نه تنها به هدف کاهش هزینه‌ها کمک کرد، بلکه فرآیندهای داخلی شرکت را نیز بهبود بخشید.

در این مسیر، بولنا با انتقال عملیات‌های مربوط به حذف تکراری داده‌ها (CDC) به داخل نمایه‌های مادی (Materialized Views)، توانست فرآیندهای تکراری را به نحوی بهینه‌تر مدیریت کند. همچنین، برای حل مشکل مقادیر JSONB که به دلیل فرآیند TOAST نشده بودند، از ویژگی REPLICA IDENTITY FULL بهره برد. این اقدامات باعث شد تا کارایی سیستم افزایش یافته و داده‌ها به صورت کامل و دقیق‌تر قابل بازیابی باشند.

یکی از مهم‌ترین نتایج این تغییرات، کاهش چشمگیر ترافیک مربوط به نوشتن‌های موقت در برنامه‌های کاربردی بود، زیرا این نوشتن‌ها دیگر نیاز به تکرارهای غیرضروری نداشتند. در نتیجه، هزینه‌های مرتبط با تحلیل‌های داده حدود ۶ برابر کاهش یافت و زمان دسترسی به داده‌ها پس از پایان تماس‌های تلفنی بهبود چشمگیری داشت؛ از ۵-۱۵ دقیقه به تنها ۱-۲ دقیقه رسید. این پیشرفت‌ها نشان می‌دهد که با طراحی مناسب، انتقال سیستم‌ها و بهینه‌سازی فرآیندهای داخلی می‌تواند تاثیر قابل توجهی بر رضایت‌مندی کاربران و صرفه‌جویی در هزینه‌ها داشته باشد.

#تحلیل_داده #کاهش_هزینه #ClickHouse #BigQuery

🟣لینک مقاله:
https://www.bolna.ai/blog/bigquery-to-clickhouse-15m-call-minutes?utm_source=tldrdevops

➖➖➖➖➖➖➖➖
👑 @DevOps_Labdon