🔵 عنوان مقاله
pg_duckdb 1.0: DuckDB-Powered Postgres for High Performance Analytics
🟢 خلاصه مقاله:
نسخه ۱.۰ pg_duckdb یک افزونه رسمی Postgres است که با همکاری Hydra و MotherDuck توسعه یافته و موتور تحلیلی ستونی و برداری DuckDB را مستقیماً داخل Postgres قرار میدهد. نتیجه این است که میتوانید پرسوجوهای تحلیلی سنگین و سریع را بدون راهاندازی سامانه جداگانه یا جابهجایی داده، در همان محیط Postgres اجرا کنید. این رویکرد اجرای اسکنها، تجمعها و اتصالهای بزرگ را برای سناریوهای OLAP شتاب میدهد و همزمان از اکوسیستم و ابزارهای Postgres بهره میبرد. مخزن GitHub شامل کد، مستندات و نمونههاست تا ارزیابی و شروع کار را ساده کند؛ راهکاری مناسب برای تسریع گزارشگیری، تحلیل اکتشافی و داشبوردها در کنار جریانهای داده موجود.
#Postgres #DuckDB #Analytics #OLAP #DataEngineering #PostgreSQL #MotherDuck #DatabaseExtensions
🟣لینک مقاله:
https://postgresweekly.com/link/174135/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_duckdb 1.0: DuckDB-Powered Postgres for High Performance Analytics
🟢 خلاصه مقاله:
نسخه ۱.۰ pg_duckdb یک افزونه رسمی Postgres است که با همکاری Hydra و MotherDuck توسعه یافته و موتور تحلیلی ستونی و برداری DuckDB را مستقیماً داخل Postgres قرار میدهد. نتیجه این است که میتوانید پرسوجوهای تحلیلی سنگین و سریع را بدون راهاندازی سامانه جداگانه یا جابهجایی داده، در همان محیط Postgres اجرا کنید. این رویکرد اجرای اسکنها، تجمعها و اتصالهای بزرگ را برای سناریوهای OLAP شتاب میدهد و همزمان از اکوسیستم و ابزارهای Postgres بهره میبرد. مخزن GitHub شامل کد، مستندات و نمونههاست تا ارزیابی و شروع کار را ساده کند؛ راهکاری مناسب برای تسریع گزارشگیری، تحلیل اکتشافی و داشبوردها در کنار جریانهای داده موجود.
#Postgres #DuckDB #Analytics #OLAP #DataEngineering #PostgreSQL #MotherDuck #DatabaseExtensions
🟣لینک مقاله:
https://postgresweekly.com/link/174135/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
MotherDuck
Announcing Pg_duckdb Version 1.0 - MotherDuck Blog
PostgreSQL gets a DuckDB-flavored power-up for faster analytical queries without ever leaving Postgres.
🔥1
🔵 عنوان مقاله
How We Scaled Raw GROUP BY to 100 B+ Rows In Under A Second (30 minute read)
🟢 خلاصه مقاله:
کلیکهاوس با معرفی قابلیت Parallel Replicas نشان میدهد چگونه میتوان اجرای پرسوجوهای GROUP BY را بهصورت افقی و بدون تغییر در چیدمان دادهها مقیاس داد؛ بهگونهای که تجمیع بیش از ۱۰۰ میلیارد ردیف در کمتر از یک ثانیه ممکن شود. در این روش، کار یک پرسوجوی واحد میان همهی Replicaهای یک Shard تقسیم میشود، هر Replica بخشی از داده را میخواند و تجمیعهای جزئی را میسازد، و در پایان نتایج بهصورت قطعی با هم ادغام میشوند.
این رویکرد، بدون نیاز به Re-sharding، از Replicaها برای موازیسازی Query استفاده میکند، با SQL استاندارد سازگار است، و تأخیر انتهایی را برای داشبوردها و تحلیلهای تعاملی کاهش میدهد. بهدلیل سهم بالای GROUP BY در پرسوجوهای BI و رشد بارهای observability و AI analytics، Parallel Replicas راهی عملی برای مقیاسپذیری تقریباً نامحدود فراهم میکند و نمونهی ۱۰۰B+ ردیف در <۱ ثانیه نشان میدهد که استفاده از Replicaها بهعنوان ظرفیت محاسباتی موازی چه جهشی در کارایی ایجاد میکند.
#ClickHouse #ParallelReplicas #GROUPBY #Scalability #BigData #Analytics #OLAP #RealTime
🟣لینک مقاله:
https://clickhouse.com/blog/clickhouse-parallel-replicas?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How We Scaled Raw GROUP BY to 100 B+ Rows In Under A Second (30 minute read)
🟢 خلاصه مقاله:
کلیکهاوس با معرفی قابلیت Parallel Replicas نشان میدهد چگونه میتوان اجرای پرسوجوهای GROUP BY را بهصورت افقی و بدون تغییر در چیدمان دادهها مقیاس داد؛ بهگونهای که تجمیع بیش از ۱۰۰ میلیارد ردیف در کمتر از یک ثانیه ممکن شود. در این روش، کار یک پرسوجوی واحد میان همهی Replicaهای یک Shard تقسیم میشود، هر Replica بخشی از داده را میخواند و تجمیعهای جزئی را میسازد، و در پایان نتایج بهصورت قطعی با هم ادغام میشوند.
این رویکرد، بدون نیاز به Re-sharding، از Replicaها برای موازیسازی Query استفاده میکند، با SQL استاندارد سازگار است، و تأخیر انتهایی را برای داشبوردها و تحلیلهای تعاملی کاهش میدهد. بهدلیل سهم بالای GROUP BY در پرسوجوهای BI و رشد بارهای observability و AI analytics، Parallel Replicas راهی عملی برای مقیاسپذیری تقریباً نامحدود فراهم میکند و نمونهی ۱۰۰B+ ردیف در <۱ ثانیه نشان میدهد که استفاده از Replicaها بهعنوان ظرفیت محاسباتی موازی چه جهشی در کارایی ایجاد میکند.
#ClickHouse #ParallelReplicas #GROUPBY #Scalability #BigData #Analytics #OLAP #RealTime
🟣لینک مقاله:
https://clickhouse.com/blog/clickhouse-parallel-replicas?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
ClickHouse
How we scaled raw GROUP BY to 100 B+ rows in under a second | ClickHouse
ClickHouse Cloud now scales analytical queries with parallel replicas, fanning a single query across thousands of cores for terabyte-per-second throughput. This post dives into the internals and lets you see and feel the speed.
👍1🔥1
🔵 عنوان مقاله
Streaming Patterns with DuckDB (6 minute read)
🟢 خلاصه مقاله:
** DuckDB با وجود ریشههای OLAP، با الگوهای معماری سازگارشده مثل الگوی Materialized View و رویکرد Streaming Engine میتواند تحلیلهای جریانی را بهخوبی پشتیبانی کند و در آزمونهای اخیر بیش از یک میلیون ردیف بر ثانیه پردازش کرده است. یکپارچگی با فرمتهای lakehouse مانند DuckLake و افزونههای جامعه برای دریافت مستقیم از Kafka نیز قابلیتهای تحلیل بلادرنگ آن را گسترش میدهند. هرچند DuckDB فاقد Materialized View بومی و ویژگیهای کامل stateful streaming است، اما سادگی، طراحی درونفرآیندی و کارایی بالای آن اجرای میکروبچ، بهروزرسانیهای نزدیک به بلادرنگ و پایپلاینهای سبکوزن را ممکن میکند و برای بسیاری از سناریوهای «بهاندازه کافی بلادرنگ» گزینهای عملی و کمهزینه است.
#DuckDB #StreamingAnalytics #RealTimeData #OLAP #Kafka #Lakehouse #MaterializedViews
🟣لینک مقاله:
https://duckdb.org/2025/10/13/duckdb-streaming-patterns.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Streaming Patterns with DuckDB (6 minute read)
🟢 خلاصه مقاله:
** DuckDB با وجود ریشههای OLAP، با الگوهای معماری سازگارشده مثل الگوی Materialized View و رویکرد Streaming Engine میتواند تحلیلهای جریانی را بهخوبی پشتیبانی کند و در آزمونهای اخیر بیش از یک میلیون ردیف بر ثانیه پردازش کرده است. یکپارچگی با فرمتهای lakehouse مانند DuckLake و افزونههای جامعه برای دریافت مستقیم از Kafka نیز قابلیتهای تحلیل بلادرنگ آن را گسترش میدهند. هرچند DuckDB فاقد Materialized View بومی و ویژگیهای کامل stateful streaming است، اما سادگی، طراحی درونفرآیندی و کارایی بالای آن اجرای میکروبچ، بهروزرسانیهای نزدیک به بلادرنگ و پایپلاینهای سبکوزن را ممکن میکند و برای بسیاری از سناریوهای «بهاندازه کافی بلادرنگ» گزینهای عملی و کمهزینه است.
#DuckDB #StreamingAnalytics #RealTimeData #OLAP #Kafka #Lakehouse #MaterializedViews
🟣لینک مقاله:
https://duckdb.org/2025/10/13/duckdb-streaming-patterns.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
DuckDB
Streaming Patterns with DuckDB
DuckDB used for streaming analytics? This post will show you some patterns in which you can use DuckDB to refresh your data at near real-time speed.
🔵 عنوان مقاله
Jack of All Trades: Query Federation in Modern OLAP Databases (15 minute read)
🟢 خلاصه مقاله:
در دنیای بانکهای اطلاعاتی OLAP مدرن، مفهوم "فدراسیون کوئری" به عنوان یک اصل ضروری تبدیل شده است. این روش امکان اجرای یکپارچه و همزمان کوئریهای SQL بر روی چندین منبع داده متفاوت را فراهم میکند، بدون نیاز به عملیات پیچیده ETL و یا تکرار دادهها. در حال حاضر، ابزارهای چند منظورهای مانند ترینو، که به عنوان اجرایگرهای بدون حالت (stateless orchestrators) عمل میکنند، به کاربران اجازه میدهند تا با گستره وسیعی از منابع دادهها ارتباط برقرار کنند و عملیاتهای مختلف را انجام دهند. اما در طرف دیگر، در موتورهای اورکلیت با کارایی بالا مانند استارراکس، فدراسیون داخلی و یکپارچه، باعث بهبود قابل توجه در عملکرد میشود.
این موتورهای پیشرفته با بهرهگیری از تکنیکهای بهینهسازی مانند اجرای برداری، کش کردن متادیتا و پشتیبانی قوی از فرمت Iceberg، توانستهاند کوئریهای فدرال را با سرعت و کارایی بیشتری اجرا کنند. این امکانات نه تنها موجب بهبود چشمگیر در سرعت پاسخگویی میشوند، بلکه به توسعه دهندگان و تحلیلگران داده اجازه میدهند تا با اطمینان و سهولت بیشتری از منابع متعدد بهرهبرداری کنند. بنابراین، فدراسیون کوئری به عنوان یک فناوری کلیدی در عرصه بانکهای اطلاعاتی OLAP مدرن شناخته میشود که توانسته است نیازهای پیچیده امروز در مدیریت و تحلیل دادهها را برآورده کند.
#فدراسیون_کوئری #OLAP #پایگاه_داده #تحلیل_داده
🟣لینک مقاله:
https://medium.com/fresha-data-engineering/jack-of-all-trades-query-federation-in-modern-olap-databases-8be0fdf2ade9?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Jack of All Trades: Query Federation in Modern OLAP Databases (15 minute read)
🟢 خلاصه مقاله:
در دنیای بانکهای اطلاعاتی OLAP مدرن، مفهوم "فدراسیون کوئری" به عنوان یک اصل ضروری تبدیل شده است. این روش امکان اجرای یکپارچه و همزمان کوئریهای SQL بر روی چندین منبع داده متفاوت را فراهم میکند، بدون نیاز به عملیات پیچیده ETL و یا تکرار دادهها. در حال حاضر، ابزارهای چند منظورهای مانند ترینو، که به عنوان اجرایگرهای بدون حالت (stateless orchestrators) عمل میکنند، به کاربران اجازه میدهند تا با گستره وسیعی از منابع دادهها ارتباط برقرار کنند و عملیاتهای مختلف را انجام دهند. اما در طرف دیگر، در موتورهای اورکلیت با کارایی بالا مانند استارراکس، فدراسیون داخلی و یکپارچه، باعث بهبود قابل توجه در عملکرد میشود.
این موتورهای پیشرفته با بهرهگیری از تکنیکهای بهینهسازی مانند اجرای برداری، کش کردن متادیتا و پشتیبانی قوی از فرمت Iceberg، توانستهاند کوئریهای فدرال را با سرعت و کارایی بیشتری اجرا کنند. این امکانات نه تنها موجب بهبود چشمگیر در سرعت پاسخگویی میشوند، بلکه به توسعه دهندگان و تحلیلگران داده اجازه میدهند تا با اطمینان و سهولت بیشتری از منابع متعدد بهرهبرداری کنند. بنابراین، فدراسیون کوئری به عنوان یک فناوری کلیدی در عرصه بانکهای اطلاعاتی OLAP مدرن شناخته میشود که توانسته است نیازهای پیچیده امروز در مدیریت و تحلیل دادهها را برآورده کند.
#فدراسیون_کوئری #OLAP #پایگاه_داده #تحلیل_داده
🟣لینک مقاله:
https://medium.com/fresha-data-engineering/jack-of-all-trades-query-federation-in-modern-olap-databases-8be0fdf2ade9?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Medium
Jack of all trades: query federation in modern OLAP databases
As analytics ecosystems grow more diverse, organisations increasingly need to query data across warehouses, data lakes, and operational…