🔵 عنوان مقاله
pg_duckdb 1.0: DuckDB-Powered Postgres for High Performance Analytics
🟢 خلاصه مقاله:
نسخه ۱.۰ pg_duckdb یک افزونه رسمی Postgres است که با همکاری Hydra و MotherDuck توسعه یافته و موتور تحلیلی ستونی و برداری DuckDB را مستقیماً داخل Postgres قرار میدهد. نتیجه این است که میتوانید پرسوجوهای تحلیلی سنگین و سریع را بدون راهاندازی سامانه جداگانه یا جابهجایی داده، در همان محیط Postgres اجرا کنید. این رویکرد اجرای اسکنها، تجمعها و اتصالهای بزرگ را برای سناریوهای OLAP شتاب میدهد و همزمان از اکوسیستم و ابزارهای Postgres بهره میبرد. مخزن GitHub شامل کد، مستندات و نمونههاست تا ارزیابی و شروع کار را ساده کند؛ راهکاری مناسب برای تسریع گزارشگیری، تحلیل اکتشافی و داشبوردها در کنار جریانهای داده موجود.
#Postgres #DuckDB #Analytics #OLAP #DataEngineering #PostgreSQL #MotherDuck #DatabaseExtensions
🟣لینک مقاله:
https://postgresweekly.com/link/174135/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_duckdb 1.0: DuckDB-Powered Postgres for High Performance Analytics
🟢 خلاصه مقاله:
نسخه ۱.۰ pg_duckdb یک افزونه رسمی Postgres است که با همکاری Hydra و MotherDuck توسعه یافته و موتور تحلیلی ستونی و برداری DuckDB را مستقیماً داخل Postgres قرار میدهد. نتیجه این است که میتوانید پرسوجوهای تحلیلی سنگین و سریع را بدون راهاندازی سامانه جداگانه یا جابهجایی داده، در همان محیط Postgres اجرا کنید. این رویکرد اجرای اسکنها، تجمعها و اتصالهای بزرگ را برای سناریوهای OLAP شتاب میدهد و همزمان از اکوسیستم و ابزارهای Postgres بهره میبرد. مخزن GitHub شامل کد، مستندات و نمونههاست تا ارزیابی و شروع کار را ساده کند؛ راهکاری مناسب برای تسریع گزارشگیری، تحلیل اکتشافی و داشبوردها در کنار جریانهای داده موجود.
#Postgres #DuckDB #Analytics #OLAP #DataEngineering #PostgreSQL #MotherDuck #DatabaseExtensions
🟣لینک مقاله:
https://postgresweekly.com/link/174135/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
MotherDuck
Announcing Pg_duckdb Version 1.0 - MotherDuck Blog
PostgreSQL gets a DuckDB-flavored power-up for faster analytical queries without ever leaving Postgres.
🔥1
🔵 عنوان مقاله
How We Scaled Raw GROUP BY to 100 B+ Rows In Under A Second (30 minute read)
🟢 خلاصه مقاله:
کلیکهاوس با معرفی قابلیت Parallel Replicas نشان میدهد چگونه میتوان اجرای پرسوجوهای GROUP BY را بهصورت افقی و بدون تغییر در چیدمان دادهها مقیاس داد؛ بهگونهای که تجمیع بیش از ۱۰۰ میلیارد ردیف در کمتر از یک ثانیه ممکن شود. در این روش، کار یک پرسوجوی واحد میان همهی Replicaهای یک Shard تقسیم میشود، هر Replica بخشی از داده را میخواند و تجمیعهای جزئی را میسازد، و در پایان نتایج بهصورت قطعی با هم ادغام میشوند.
این رویکرد، بدون نیاز به Re-sharding، از Replicaها برای موازیسازی Query استفاده میکند، با SQL استاندارد سازگار است، و تأخیر انتهایی را برای داشبوردها و تحلیلهای تعاملی کاهش میدهد. بهدلیل سهم بالای GROUP BY در پرسوجوهای BI و رشد بارهای observability و AI analytics، Parallel Replicas راهی عملی برای مقیاسپذیری تقریباً نامحدود فراهم میکند و نمونهی ۱۰۰B+ ردیف در <۱ ثانیه نشان میدهد که استفاده از Replicaها بهعنوان ظرفیت محاسباتی موازی چه جهشی در کارایی ایجاد میکند.
#ClickHouse #ParallelReplicas #GROUPBY #Scalability #BigData #Analytics #OLAP #RealTime
🟣لینک مقاله:
https://clickhouse.com/blog/clickhouse-parallel-replicas?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How We Scaled Raw GROUP BY to 100 B+ Rows In Under A Second (30 minute read)
🟢 خلاصه مقاله:
کلیکهاوس با معرفی قابلیت Parallel Replicas نشان میدهد چگونه میتوان اجرای پرسوجوهای GROUP BY را بهصورت افقی و بدون تغییر در چیدمان دادهها مقیاس داد؛ بهگونهای که تجمیع بیش از ۱۰۰ میلیارد ردیف در کمتر از یک ثانیه ممکن شود. در این روش، کار یک پرسوجوی واحد میان همهی Replicaهای یک Shard تقسیم میشود، هر Replica بخشی از داده را میخواند و تجمیعهای جزئی را میسازد، و در پایان نتایج بهصورت قطعی با هم ادغام میشوند.
این رویکرد، بدون نیاز به Re-sharding، از Replicaها برای موازیسازی Query استفاده میکند، با SQL استاندارد سازگار است، و تأخیر انتهایی را برای داشبوردها و تحلیلهای تعاملی کاهش میدهد. بهدلیل سهم بالای GROUP BY در پرسوجوهای BI و رشد بارهای observability و AI analytics، Parallel Replicas راهی عملی برای مقیاسپذیری تقریباً نامحدود فراهم میکند و نمونهی ۱۰۰B+ ردیف در <۱ ثانیه نشان میدهد که استفاده از Replicaها بهعنوان ظرفیت محاسباتی موازی چه جهشی در کارایی ایجاد میکند.
#ClickHouse #ParallelReplicas #GROUPBY #Scalability #BigData #Analytics #OLAP #RealTime
🟣لینک مقاله:
https://clickhouse.com/blog/clickhouse-parallel-replicas?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ClickHouse
How we scaled raw GROUP BY to 100 B+ rows in under a second
ClickHouse Cloud now scales analytical queries with parallel replicas, fanning a single query across thousands of cores for terabyte-per-second throughput. This post dives into the internals and lets you see and feel the speed.
👍1🔥1
🔵 عنوان مقاله
pg_roaringbitmap 1.0: Roaring Bitmap Extension
🟢 خلاصه مقاله:
** نسخه ۱.۰ pg_roaringbitmap یک افزونه پایدار و آمادهبهکار برای PostgreSQL ارائه میکند که Roaring bitmaps را بهصورت بومی در پایگاهداده در دسترس میگذارد. Roaring bitmaps ساختارهایی فشرده و بهینه برای نمایش مجموعههای بزرگ از اعداد صحیح هستند که معمولاً در سرعت و مصرف حافظه از بیتمپهای فشرده مرسوم بهتر عمل میکنند، بهویژه در عملگرهایی مانند اجتماع، اشتراک و محاسبه کاردینالیتی.
این افزونه امکان ذخیرهسازی و پردازش مستقیم Roaring bitmaps در SQL را فراهم میکند؛ در نتیجه فیلترهای عضویت، پرسوجوهای تحلیلی و بارهای کاری بزرگ با حافظه و I/O کمتر و سرعت بیشتر اجرا میشوند. چنین قابلیتی برای تحلیل رویداد، تلهمتری، حوزههای ad-tech و ایندکسگذاری معکوس کاربرد ویژهای دارد و به تیمها کمک میکند بدون ترک پایگاهداده، از مزایای فشردهسازی و کارایی بالای Roaring bitmaps بهره ببرند.
#PostgreSQL #pg_roaringbitmap #RoaringBitmap #Database #Compression #Performance #Analytics
🟣لینک مقاله:
https://postgresweekly.com/link/176997/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_roaringbitmap 1.0: Roaring Bitmap Extension
🟢 خلاصه مقاله:
** نسخه ۱.۰ pg_roaringbitmap یک افزونه پایدار و آمادهبهکار برای PostgreSQL ارائه میکند که Roaring bitmaps را بهصورت بومی در پایگاهداده در دسترس میگذارد. Roaring bitmaps ساختارهایی فشرده و بهینه برای نمایش مجموعههای بزرگ از اعداد صحیح هستند که معمولاً در سرعت و مصرف حافظه از بیتمپهای فشرده مرسوم بهتر عمل میکنند، بهویژه در عملگرهایی مانند اجتماع، اشتراک و محاسبه کاردینالیتی.
این افزونه امکان ذخیرهسازی و پردازش مستقیم Roaring bitmaps در SQL را فراهم میکند؛ در نتیجه فیلترهای عضویت، پرسوجوهای تحلیلی و بارهای کاری بزرگ با حافظه و I/O کمتر و سرعت بیشتر اجرا میشوند. چنین قابلیتی برای تحلیل رویداد، تلهمتری، حوزههای ad-tech و ایندکسگذاری معکوس کاربرد ویژهای دارد و به تیمها کمک میکند بدون ترک پایگاهداده، از مزایای فشردهسازی و کارایی بالای Roaring bitmaps بهره ببرند.
#PostgreSQL #pg_roaringbitmap #RoaringBitmap #Database #Compression #Performance #Analytics
🟣لینک مقاله:
https://postgresweekly.com/link/176997/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - ChenHuajun/pg_roaringbitmap: RoaringBitmap extension for PostgreSQL
RoaringBitmap extension for PostgreSQL. Contribute to ChenHuajun/pg_roaringbitmap development by creating an account on GitHub.