🔵 عنوان مقاله
Introducing pg_lake: Integrate Your Data Lakehouse with Postgres
🟢 خلاصه مقاله:
pg_lake مجموعهای از افزونهها برای Postgres است که اتصال مستقیم به درياچهداده و Lakehouse را ممکن میکند: پشتیبانی جامع از Iceberg و دسترسی به فایلهای Parquet، CSV و JSON بدون جابهجایی داده یا خروج از محیط Postgres. این راهکار با ادغام شفاف DuckDB در موتور پرسوجوی Postgres، اجرای برداری و ستونی سریع را برای اسکنها و تجمعهای سنگین فراهم میکند، در حالیکه همچنان با SQL آشنا کار میکنید. با pg_lake میتوانید دادههای دریاچه را مثل جدولهای عادی بخوانید، آنها را با جداول عملیاتی Postgres جوین بزنید و نیاز به ETL اضافی را کاهش دهید. پشتیبانی از Iceberg برای سناریوهایی مثل پارتیشنبندی و تکامل طرحواره مناسب است و مسیرهایی مانند تحلیلهای موردی، کوئریهای فدره، و مهاجرت تدریجی به Lakehouse را ساده میکند. کد و مستندات آن در GitHub در دسترس است.
#pg_lake #Postgres #DataLakehouse #Iceberg #DuckDB #Parquet #SQL #OpenSource
🟣لینک مقاله:
https://postgresweekly.com/link/176670/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Introducing pg_lake: Integrate Your Data Lakehouse with Postgres
🟢 خلاصه مقاله:
pg_lake مجموعهای از افزونهها برای Postgres است که اتصال مستقیم به درياچهداده و Lakehouse را ممکن میکند: پشتیبانی جامع از Iceberg و دسترسی به فایلهای Parquet، CSV و JSON بدون جابهجایی داده یا خروج از محیط Postgres. این راهکار با ادغام شفاف DuckDB در موتور پرسوجوی Postgres، اجرای برداری و ستونی سریع را برای اسکنها و تجمعهای سنگین فراهم میکند، در حالیکه همچنان با SQL آشنا کار میکنید. با pg_lake میتوانید دادههای دریاچه را مثل جدولهای عادی بخوانید، آنها را با جداول عملیاتی Postgres جوین بزنید و نیاز به ETL اضافی را کاهش دهید. پشتیبانی از Iceberg برای سناریوهایی مثل پارتیشنبندی و تکامل طرحواره مناسب است و مسیرهایی مانند تحلیلهای موردی، کوئریهای فدره، و مهاجرت تدریجی به Lakehouse را ساده میکند. کد و مستندات آن در GitHub در دسترس است.
#pg_lake #Postgres #DataLakehouse #Iceberg #DuckDB #Parquet #SQL #OpenSource
🟣لینک مقاله:
https://postgresweekly.com/link/176670/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Snowflake
Introducing pg_lake: Integrate Your Data Lakehouse with Postgres
Introducing pg_lake, a set of open-source PostgreSQL extensions from Snowflake that allow you to query, manage, and write to Iceberg tables in your data lakehouse.
🔵 عنوان مقاله
Did You Know Postgres Tables are Limited to 1,600 Columns?
🟢 خلاصه مقاله:
اگر نمیدانستید، در Postgres هر جدول حداکثر ۱۶۰۰ ستون میتواند داشته باشد. این یک محدودیت سخت در هسته سیستم است و با NULL بودن فیلدها یا TOAST دور زده نمیشود. اگر شماره issue 226 در سال 2017 را خوانده باشید، احتمالاً این نکته را به خاطر دارید. این سقف به معنای آن است که طراحیهایی با جدولهای بسیار عریض—مثل هر شاخص یک ستون یا طرحهای EAV تثبیتشده—بهسرعت به حد میخورند. راهحلهای بهتر شامل نرمالسازی، تفکیک عمودی، تبدیل ستونها به سطرها برای سنجهها، یا استفاده از JSONB برای ویژگیهای کماستفاده و پراکنده است. جدولهای خیلی عریض علاوه بر ریسک رسیدن به سقف، هزینه I/O و نگهداری را بالا میبرند. نتیجه عملی: با در نظر گرفتن حد ۱۶۰۰ ستون، از طرحهای باریکتر و انعطافپذیرتر استفاده کنید و قبل از اعمال مهاجرتها، تعداد ستونها را بررسی کنید.
#Postgres #PostgreSQL #SQL #DatabaseDesign #DataModeling #SchemaDesign #JSONB #SoftwareEngineering
🟣لینک مقاله:
https://postgresweekly.com/link/176989/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Did You Know Postgres Tables are Limited to 1,600 Columns?
🟢 خلاصه مقاله:
اگر نمیدانستید، در Postgres هر جدول حداکثر ۱۶۰۰ ستون میتواند داشته باشد. این یک محدودیت سخت در هسته سیستم است و با NULL بودن فیلدها یا TOAST دور زده نمیشود. اگر شماره issue 226 در سال 2017 را خوانده باشید، احتمالاً این نکته را به خاطر دارید. این سقف به معنای آن است که طراحیهایی با جدولهای بسیار عریض—مثل هر شاخص یک ستون یا طرحهای EAV تثبیتشده—بهسرعت به حد میخورند. راهحلهای بهتر شامل نرمالسازی، تفکیک عمودی، تبدیل ستونها به سطرها برای سنجهها، یا استفاده از JSONB برای ویژگیهای کماستفاده و پراکنده است. جدولهای خیلی عریض علاوه بر ریسک رسیدن به سقف، هزینه I/O و نگهداری را بالا میبرند. نتیجه عملی: با در نظر گرفتن حد ۱۶۰۰ ستون، از طرحهای باریکتر و انعطافپذیرتر استفاده کنید و قبل از اعمال مهاجرتها، تعداد ستونها را بررسی کنید.
#Postgres #PostgreSQL #SQL #DatabaseDesign #DataModeling #SchemaDesign #JSONB #SoftwareEngineering
🟣لینک مقاله:
https://postgresweekly.com/link/176989/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy