🔵 عنوان مقاله
How We Scaled Raw GROUP BY to 100 B+ Rows In Under A Second (30 minute read)
🟢 خلاصه مقاله:
کلیکهاوس با معرفی قابلیت Parallel Replicas نشان میدهد چگونه میتوان اجرای پرسوجوهای GROUP BY را بهصورت افقی و بدون تغییر در چیدمان دادهها مقیاس داد؛ بهگونهای که تجمیع بیش از ۱۰۰ میلیارد ردیف در کمتر از یک ثانیه ممکن شود. در این روش، کار یک پرسوجوی واحد میان همهی Replicaهای یک Shard تقسیم میشود، هر Replica بخشی از داده را میخواند و تجمیعهای جزئی را میسازد، و در پایان نتایج بهصورت قطعی با هم ادغام میشوند.
این رویکرد، بدون نیاز به Re-sharding، از Replicaها برای موازیسازی Query استفاده میکند، با SQL استاندارد سازگار است، و تأخیر انتهایی را برای داشبوردها و تحلیلهای تعاملی کاهش میدهد. بهدلیل سهم بالای GROUP BY در پرسوجوهای BI و رشد بارهای observability و AI analytics، Parallel Replicas راهی عملی برای مقیاسپذیری تقریباً نامحدود فراهم میکند و نمونهی ۱۰۰B+ ردیف در <۱ ثانیه نشان میدهد که استفاده از Replicaها بهعنوان ظرفیت محاسباتی موازی چه جهشی در کارایی ایجاد میکند.
#ClickHouse #ParallelReplicas #GROUPBY #Scalability #BigData #Analytics #OLAP #RealTime
🟣لینک مقاله:
https://clickhouse.com/blog/clickhouse-parallel-replicas?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How We Scaled Raw GROUP BY to 100 B+ Rows In Under A Second (30 minute read)
🟢 خلاصه مقاله:
کلیکهاوس با معرفی قابلیت Parallel Replicas نشان میدهد چگونه میتوان اجرای پرسوجوهای GROUP BY را بهصورت افقی و بدون تغییر در چیدمان دادهها مقیاس داد؛ بهگونهای که تجمیع بیش از ۱۰۰ میلیارد ردیف در کمتر از یک ثانیه ممکن شود. در این روش، کار یک پرسوجوی واحد میان همهی Replicaهای یک Shard تقسیم میشود، هر Replica بخشی از داده را میخواند و تجمیعهای جزئی را میسازد، و در پایان نتایج بهصورت قطعی با هم ادغام میشوند.
این رویکرد، بدون نیاز به Re-sharding، از Replicaها برای موازیسازی Query استفاده میکند، با SQL استاندارد سازگار است، و تأخیر انتهایی را برای داشبوردها و تحلیلهای تعاملی کاهش میدهد. بهدلیل سهم بالای GROUP BY در پرسوجوهای BI و رشد بارهای observability و AI analytics، Parallel Replicas راهی عملی برای مقیاسپذیری تقریباً نامحدود فراهم میکند و نمونهی ۱۰۰B+ ردیف در <۱ ثانیه نشان میدهد که استفاده از Replicaها بهعنوان ظرفیت محاسباتی موازی چه جهشی در کارایی ایجاد میکند.
#ClickHouse #ParallelReplicas #GROUPBY #Scalability #BigData #Analytics #OLAP #RealTime
🟣لینک مقاله:
https://clickhouse.com/blog/clickhouse-parallel-replicas?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ClickHouse
How we scaled raw GROUP BY to 100 B+ rows in under a second | ClickHouse
ClickHouse Cloud now scales analytical queries with parallel replicas, fanning a single query across thousands of cores for terabyte-per-second throughput. This post dives into the internals and lets you see and feel the speed.
👍1🔥1
🔵 عنوان مقاله
Introducing pg_clickhouse: A Postgres Extension for Querying ClickHouse
🟢 خلاصه مقاله:
پروژه جدیدی با نام pg_clickhouse معرفی شده است که یک افزونه برای پایگاه دادهی پستگرس (Postgres) است و امکان اجرای مستقیم و شفاف استعلامهای تحلیلی روی سیستم ClickHouse را فراهم میکند.
ClickHouse یکی از سیستمهای محبوب متنباز برای تحلیل دادههای بزرگ و OLAP است که به خاطر سرعت بالا و کاراییاش در پردازش حجم عظیمی از اطلاعات شناخته شده است. این افزونه به توسعهدهندگان و کارشناسان دادهها اجازه میدهد تا بدون نیاز به مهاجرت یا استفاده از ابزارهای جداگانه، استعلامهای تحلیلی خود را مستقیماً از محیط پستگرس اجرا کنند و نتیجههای سریعتری بگیرند.
با این ابزار، فرآیند تحلیل دادهها بسیار سادهتر، سریعتر و کارآمدتر میشود، چون میتوان از قدرت هر دو سیستم بهرهمند شد و عملیات دادهای پیچیده را به راحتی مدیریت کرد. این توسعه، یک راه حل مؤثر برای کسانی است که نیاز به تحلیل سریع و همزمان در پروژههای بزرگ داده دارند و میخواهند انعطافپذیری و کارایی سیستمهایشان را افزایش دهند.
#تحلیل_داده #Postgres #ClickHouse #پایگاه_داده
🟣لینک مقاله:
https://postgresweekly.com/link/178335/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Introducing pg_clickhouse: A Postgres Extension for Querying ClickHouse
🟢 خلاصه مقاله:
پروژه جدیدی با نام pg_clickhouse معرفی شده است که یک افزونه برای پایگاه دادهی پستگرس (Postgres) است و امکان اجرای مستقیم و شفاف استعلامهای تحلیلی روی سیستم ClickHouse را فراهم میکند.
ClickHouse یکی از سیستمهای محبوب متنباز برای تحلیل دادههای بزرگ و OLAP است که به خاطر سرعت بالا و کاراییاش در پردازش حجم عظیمی از اطلاعات شناخته شده است. این افزونه به توسعهدهندگان و کارشناسان دادهها اجازه میدهد تا بدون نیاز به مهاجرت یا استفاده از ابزارهای جداگانه، استعلامهای تحلیلی خود را مستقیماً از محیط پستگرس اجرا کنند و نتیجههای سریعتری بگیرند.
با این ابزار، فرآیند تحلیل دادهها بسیار سادهتر، سریعتر و کارآمدتر میشود، چون میتوان از قدرت هر دو سیستم بهرهمند شد و عملیات دادهای پیچیده را به راحتی مدیریت کرد. این توسعه، یک راه حل مؤثر برای کسانی است که نیاز به تحلیل سریع و همزمان در پروژههای بزرگ داده دارند و میخواهند انعطافپذیری و کارایی سیستمهایشان را افزایش دهند.
#تحلیل_داده #Postgres #ClickHouse #پایگاه_داده
🟣لینک مقاله:
https://postgresweekly.com/link/178335/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ClickHouse
Introducing pg_clickhouse: A Postgres extension for querying ClickHouse | ClickHouse
Today, we’re pleased to release pg_clickhouse, an Apache 2-licensed PostgreSQL extension to transparently execute analytics queries on ClickHouse directly from PostgreSQL.
🔵 عنوان مقاله
managed Postgres service natively integrated with ClickHouse.
🟢 خلاصه مقاله:
در دنیای مدیریت دیتابیسها، یکی از چالشهای اصلی، فراهم کردن سرویسهای قدرتمند و کارا برای پایگاههای داده مختلف است. اخیراً، توسعهدهندگان و مدیران سیستم توجه زیادی به راهکارهای یکپارچه و بدون نیاز به تنظیمات پیچیده نشان دادهاند تا بتوانند دیتابیسهای پرکاربرد را به بهترین شکل مدیریت و بهروزرسانی کنند. در این میان، ارائه سرویسهایی که به طور طبیعی و مستقیم با دیگر فناوریها همگام شوند، اهمیت ویژهای پیدا کرده است.
در خبرنامه هفتگی Golang، آخرین مقالهای منتشر شده است که به معرفی سرویس «مدیریتشده Postgres» میپردازد که به صورت بومی و مستقیم با ClickHouse ادغام شده است. این ادغام، امکان بهرهبرداری همزمان از قدرتهای PostgreSQL و ClickHouse را برای توسعهدهندگان و شرکتها فراهم میکند، بدون نیاز به تنظیمات پیچیده یا استفاده از ابزارهای خارجی. در واقع، این سرویس انعطافپذیری و کارایی بالایی را برای پروژههای با نیازهای پایگاه داده مختلف فراهم میکند، و فرآیند مدیریت پایگاههای داده را بسیار سادهتر میسازد.
این توسعه، بخشی از روند رو به رشد استفاده از فناوریهایی است که قابلیتهای چندگانه را در قالب راهکارهای یکپارچه ارائه میدهند، و نشان میدهد که چگونه ادغام نیتیو میتواند بهرهوری و سرعت توسعه را افزایش دهد. به طور کلی، معرفی چنین سرویسهایی نشان میدهد که آینده مدیریت پایگاه داده، بیشتر بر پایه راهکارهای نوآورانه و همگام با نیازهای روز بازار استوار است.
#پایگاه_داده #PostgreSQL #ClickHouse #توسعه
🟣لینک مقاله:
https://postgresweekly.com/link/179891/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
managed Postgres service natively integrated with ClickHouse.
🟢 خلاصه مقاله:
در دنیای مدیریت دیتابیسها، یکی از چالشهای اصلی، فراهم کردن سرویسهای قدرتمند و کارا برای پایگاههای داده مختلف است. اخیراً، توسعهدهندگان و مدیران سیستم توجه زیادی به راهکارهای یکپارچه و بدون نیاز به تنظیمات پیچیده نشان دادهاند تا بتوانند دیتابیسهای پرکاربرد را به بهترین شکل مدیریت و بهروزرسانی کنند. در این میان، ارائه سرویسهایی که به طور طبیعی و مستقیم با دیگر فناوریها همگام شوند، اهمیت ویژهای پیدا کرده است.
در خبرنامه هفتگی Golang، آخرین مقالهای منتشر شده است که به معرفی سرویس «مدیریتشده Postgres» میپردازد که به صورت بومی و مستقیم با ClickHouse ادغام شده است. این ادغام، امکان بهرهبرداری همزمان از قدرتهای PostgreSQL و ClickHouse را برای توسعهدهندگان و شرکتها فراهم میکند، بدون نیاز به تنظیمات پیچیده یا استفاده از ابزارهای خارجی. در واقع، این سرویس انعطافپذیری و کارایی بالایی را برای پروژههای با نیازهای پایگاه داده مختلف فراهم میکند، و فرآیند مدیریت پایگاههای داده را بسیار سادهتر میسازد.
این توسعه، بخشی از روند رو به رشد استفاده از فناوریهایی است که قابلیتهای چندگانه را در قالب راهکارهای یکپارچه ارائه میدهند، و نشان میدهد که چگونه ادغام نیتیو میتواند بهرهوری و سرعت توسعه را افزایش دهد. به طور کلی، معرفی چنین سرویسهایی نشان میدهد که آینده مدیریت پایگاه داده، بیشتر بر پایه راهکارهای نوآورانه و همگام با نیازهای روز بازار استوار است.
#پایگاه_داده #PostgreSQL #ClickHouse #توسعه
🟣لینک مقاله:
https://postgresweekly.com/link/179891/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ClickHouse
Fast, scalable, enterprise-grade Postgres natively integrated with ClickHouse | ClickHouse
ClickHouse launch a fast, scalable and enterprise-grade managed Postgres service natively integrated with ClickHouse, built for real-time and AI-driven applications.
🔵 عنوان مقاله
pg_stat_ch: An Extension That Exports Every Metric to ClickHouse
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، داشتن دید جامع و دقیق نسبت به عملکرد کوئریها و فعالیتهای سیستم اهمیت زیادی دارد. یکی از راهکارهای کارآمد در این زمینه، افزونهای به نام pg_stat_ch است که طراحی شده تا هر آمارداری را به صورت کامل و پیوسته به سیستم تحلیلی ClickHouse منتقل کند. این افزونه بهطور خودکار و در لحظه، اطلاعات مربوط به هر اجرای کوئری را جمعآوری کرده و آنها را به شکل رویدادهای با اندازه ثابت حدود ۴.۶کیلوبایت تبدیل میکند. این رویدادها سپس به صورت پیوسته وارد پایگاه داده ClickHouse میشوند تا تحلیلها، نظارتها و بهینهسازیهای لازم بر اساس دادههای دقیق و در لحظه انجام شود.
بهطور کلی، این سیستم به مدیران و تحلیلگران این امکان را میدهد که با دیدی کامل به عملکرد کوئریها و فعالیتهای سیستم، مشکلات را سریعتر شناسایی و برطرف کنند، و در نتیجه کارایی و بهرهوری دیتابیسها را ارتقاء دهند. ترکیب این فناوریها، سیستمهای پایش و گزارشگیری را به سطح جدیدی میبرد و امکانات تجزیه و تحلیل عمیقتر و موثرتری در اختیار کاربران قرار میدهد.
#پایگاه_داده #تحلیل_دقیقی #ClickHouse #نظارت_سیستم
🟣لینک مقاله:
https://postgresweekly.com/link/180902/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_stat_ch: An Extension That Exports Every Metric to ClickHouse
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، داشتن دید جامع و دقیق نسبت به عملکرد کوئریها و فعالیتهای سیستم اهمیت زیادی دارد. یکی از راهکارهای کارآمد در این زمینه، افزونهای به نام pg_stat_ch است که طراحی شده تا هر آمارداری را به صورت کامل و پیوسته به سیستم تحلیلی ClickHouse منتقل کند. این افزونه بهطور خودکار و در لحظه، اطلاعات مربوط به هر اجرای کوئری را جمعآوری کرده و آنها را به شکل رویدادهای با اندازه ثابت حدود ۴.۶کیلوبایت تبدیل میکند. این رویدادها سپس به صورت پیوسته وارد پایگاه داده ClickHouse میشوند تا تحلیلها، نظارتها و بهینهسازیهای لازم بر اساس دادههای دقیق و در لحظه انجام شود.
بهطور کلی، این سیستم به مدیران و تحلیلگران این امکان را میدهد که با دیدی کامل به عملکرد کوئریها و فعالیتهای سیستم، مشکلات را سریعتر شناسایی و برطرف کنند، و در نتیجه کارایی و بهرهوری دیتابیسها را ارتقاء دهند. ترکیب این فناوریها، سیستمهای پایش و گزارشگیری را به سطح جدیدی میبرد و امکانات تجزیه و تحلیل عمیقتر و موثرتری در اختیار کاربران قرار میدهد.
#پایگاه_داده #تحلیل_دقیقی #ClickHouse #نظارت_سیستم
🟣لینک مقاله:
https://postgresweekly.com/link/180902/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ClickHouse
pg_stat_ch: a PostgreSQL extension that exports every metric to ClickHouse | ClickHouse
We’re open sourcing pg_stat_ch: a PostgreSQL extension that turns every query execution into a fixed-size ~4.6KB event and streams them into ClickHouse.
🔵 عنوان مقاله
pg_stat_ch: Export Per-Query Postgres Telemetry to ClickHouse
🟢 خلاصه مقاله:
تیم توسعه ClickHouse اخیراً یک افزونه مخصوص PostgreSQL ساخته است که امکان جمعآوری اطلاعات جزئی از هر پرسوجو را فراهم میکند. این افزونه به صورت لحظهای دادههای مرتبط با اجرای هر کوئری را ضبط کرده و بلافاصله به سیستم تحلیلی قدرتمند ClickHouse ارسال مینماید. هدف این است که مدیران پایگاه داده و تحلیلگران بتوانند به صورت دقیق و سریع بر روند اجرای پرسوجوها نظارت داشته باشند، مشکلات را شناسایی کرده و بهینهسازیهای لازم را انجام دهند. این ابزار جدید، امکانات پیشرفتهای را در زمینه نظارت بر عملکرد پایگاههای داده فراهم میکند و از نظر انتقال دادهها در زمان واقعی، به مدیران امکان اتخاذ تصمیمات سریع و هوشمندانه را میدهد.
در نتیجه، این توسعه، رابطه بهتری میان PostgreSQL و ClickHouse برقرار کرده و بهرهوری سازمانها در تحلیلهای دادهای را افزایش میدهد. با استفاده از این افزونه، امکان جمعآوری دادههای جامع و دقیق درباره هر پرسوجو فراهم میشود که باعث بهبود عملکرد سیستم و کاهش هزینههای نگهداری میشود. چنین ابزارهایی پایهای محکم برای نظارت و تحلیل گستردهتر سیستمهای دیتابیس فراهم میآورد و روند مدیریت و بهینهسازی پایگاههای داده را سرعت میبخشد.
#پایگاه_داده #تحلیل_داده #ClickHouse #PostgreSQL
🟣لینک مقاله:
https://postgresweekly.com/link/182396/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_stat_ch: Export Per-Query Postgres Telemetry to ClickHouse
🟢 خلاصه مقاله:
تیم توسعه ClickHouse اخیراً یک افزونه مخصوص PostgreSQL ساخته است که امکان جمعآوری اطلاعات جزئی از هر پرسوجو را فراهم میکند. این افزونه به صورت لحظهای دادههای مرتبط با اجرای هر کوئری را ضبط کرده و بلافاصله به سیستم تحلیلی قدرتمند ClickHouse ارسال مینماید. هدف این است که مدیران پایگاه داده و تحلیلگران بتوانند به صورت دقیق و سریع بر روند اجرای پرسوجوها نظارت داشته باشند، مشکلات را شناسایی کرده و بهینهسازیهای لازم را انجام دهند. این ابزار جدید، امکانات پیشرفتهای را در زمینه نظارت بر عملکرد پایگاههای داده فراهم میکند و از نظر انتقال دادهها در زمان واقعی، به مدیران امکان اتخاذ تصمیمات سریع و هوشمندانه را میدهد.
در نتیجه، این توسعه، رابطه بهتری میان PostgreSQL و ClickHouse برقرار کرده و بهرهوری سازمانها در تحلیلهای دادهای را افزایش میدهد. با استفاده از این افزونه، امکان جمعآوری دادههای جامع و دقیق درباره هر پرسوجو فراهم میشود که باعث بهبود عملکرد سیستم و کاهش هزینههای نگهداری میشود. چنین ابزارهایی پایهای محکم برای نظارت و تحلیل گستردهتر سیستمهای دیتابیس فراهم میآورد و روند مدیریت و بهینهسازی پایگاههای داده را سرعت میبخشد.
#پایگاه_داده #تحلیل_داده #ClickHouse #PostgreSQL
🟣لینک مقاله:
https://postgresweekly.com/link/182396/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - ClickHouse/pg_stat_ch
Contribute to ClickHouse/pg_stat_ch development by creating an account on GitHub.