882 subscribers
44 photos
3 videos
1 file
1.39K links
🕸 Database Academy

حمایت مالی:
https://www.coffeete.ir/mrbardia72

ادمین:
@mrbardia72
Download Telegram
🔵 عنوان مقاله
Here's how it works at a technical level.

🟢 خلاصه مقاله:
در سطح فنی، روش کار به چه صورت است؟ در این مطلب، به بررسی جزئیات فنی این فرآیند می‌پردازیم و نگاهی عمیق‌تر به نحوه عملکرد آن خواهیم داشت. با درک بهتر این موضوع، می‌توانیم نکات کلیدی مربوط به ساختار و عملکرد آن را بشناسیم و بهره‌مندی بیشتری از امکانات آن داشته باشیم.

در مقاله آخرین شماره خبرنامه Golang Weekly، به جذاب‌ترین و مهم‌ترین ویژگی‌های این فناوری اشاره شده است. این مطالب، برای توسعه‌دهندگان و علاقه‌مندان به فناوری‌های نوین بسیار مفید و قابل توجه است، چراکه به روز نگه داشتن دانش فنی اهمیت زیادی دارد و شناخت عمیق‌تر از روش‌های فنی، نقش مهمی در بهبود پروژه‌ها و رفع چالش‌های توسعه ایفا می‌کند.

در نتیجه، درک نحوه کار این سیستم در سطح فنی، یکی از مواردی است که می‌تواند مسیر رشد و پیشرفت در حوزه فناوری را هموارتر کند. با مطالعه دقیق و درک موجز این مطالب، توسعه‌دهندگان قادر خواهند بود بهترین بهره‌برداری را از ابزارها و فناوری‌های جدید داشته باشند و توسعه پروژه‌های پایدار و کارآمد را تضمین کنند.

#فناوری #توسعه_نرم‌افزار #گولنگ #فناوری‌های_عصرتنظيم

🟣لینک مقاله:
https://postgresweekly.com/link/182749/web


👑 @Database_Academy
🔵 عنوان مقاله
Change Data Capture: Stop Copying 50M Rows to Move 5K Changes (7 minute read)

🟢 خلاصه مقاله:
در دنیای مدیریت داده‌ها، روش‌هایی وجود دارد تا فرآیند انتقال و به‌روزرسانی داده‌ها به‌صورت مؤثرتر انجام شود. یکی از این تکنیک‌ها، «کشف تغییرات داده‌ها» یا همان Change Data Capture (CDC) است. این تکنیک به جای کپی‌برداری مکرر تمامی جداول و داده‌های منبع، تنها تغییرات جدید و مهم را شناسایی و منتقل می‌کند. این رویکرد، به‌طور قابل توجهی هزینه و زمان صرف‌شده را کاهش می‌دهد، مخصوصاً در مواردی که حجم داده‌ها بسیار زیاد است. ابزارهای محبوب در این حوزه شامل Debezium، Kafka، Fivetran و Striim هستند که هر کدام امکانات متنوعی را برای پیاده‌سازی و مدیریت CDC فراهم می‌کنند.

در ابتدا، می‌توان راهکارهای ساده‌تری مانند استفاده از برچسب زمانی ( timestamps) برای شناسایی تغییرات اولیه پیاده کرد، اما در آینده، پیشنهاد می‌شود از CDC مبتنی بر لاگ‌های تراکنش‌های سیستم، که بسیار معتبر و کم‌تاخیر است، بهره‌مند شد. این نوع CDC، گزینه‌ای عالی برای همگام‌سازی داده‌ها در خطوط لوله‌های داده مدرن است؛ چراکه قابلیت انجام همزمان‌سازی سریع و مقیاس‌پذیر را دارد، به طوری که در کمترین زمان ممکن تغییرات را شناسایی و انتقال می‌دهد. به طور خلاصه، با استفاده از CDC، نه تنها از انتقال حجم عظیم داده‌ها جلوگیری می‌شود، بلکه فرآیند بروزرسانی سیستم‌ها به‌وضوح و انعطاف‌پذیری زیادی دست می‌یابد.

#کشف_تغییرات #مدیریت_داده #سیستم_همگام‌سازی #دیتا_پایپلاین

🟣لینک مقاله:
https://podostack.com/p/change-data-capture-cdc-intro?utm_source=tldrdata


👑 @Database_Academy
1
🔵 عنوان مقاله
Streambed: Stream Postgres to Iceberg on S3

🟢 خلاصه مقاله:
در دنیای مدیریت داده‌های حجیم، انتقال و نگهداری اطلاعات به صورت کارآمد و مقیاس‌پذیر یکی از دغدغه‌های اصلی است. ابزار «Streambed» یک راه‌حل نوآورانه است که فرایند انتقال داده‌ها را از پایگاه داده‌ی معروف PostgreSQL به سیستم‌های مدیریت داده‌های بزرگتر، مانند Iceberg بر روی سرویس آمازون S3، بسیار ساده و مؤثر می‌کند. این ابزار از توانمندی‌های مهمی مانند کپی‌برداری از رکوردهای تغییر (WAL) به صورت منطقی، و نگهداری فرمت‌های پرکاربرد مانند Parquet بهره می‌برد، در نتیجه فرآیند انتقال داده‌ها سریع‌تر و انعطاف‌پذیرتر انجام می‌شود.

این سیستم با استفاده از تکرار منطقی (logical replication) به‌روزرسانی‌های پایگاه داده را در حین اجرا به صورت همزمان منتقل می‌کند و نشان می‌دهد که چگونه می‌توان داده‌های جاری را در قالب فایل‌های پرکاربرد Parquet روی S3 ذخیره کرد. علاوه بر این، تمامی اطلاعات مربوط به متادیتای Iceberg در فرآیند ارائه، به طور کامل ثبت و نگهداری می‌شود که امکان مدیریت بهتر و به‌روزرسانی آسان داده‌ها را فراهم می‌آورد. یکی دیگر از ویژگی‌های جالب این ابزار، قابلیت اجرای پرس و جوهای ساده با استفاده از psql است، بدون نیاز به راه‌اندازی سرویس‌های پیچیده یا انتقال داده‌ها به محیط‌های متفاوت؛ چرا که این ابزار یک سرور پروتکل‌سایرلسی داخلی دارد که امکان ارتباط سریع و مستقیم با داده‌ها را فراهم می‌کند.

در مجموع، «Streambed» با ترکیب قابلیت‌های مهمی چون تکرار منطقی، استفاده از قالب‌های محبوب داده‌ها و مدیریت ساده متادیتا، گزینه‌ای قدرتمند برای سازمان‌هایی است که به دنبال راهکارهای کارآمد و مقیاس‌پذیر در انتقال و تحلیل داده‌های بزرگ خود هستند. این ابزار نه تنها فرآیندهای انتقال داده را بهبود می‌بخشد، بلکه ضمن کاهش زمان و پیچیدگی، امکانات تازه‌ای برای اجرای پرس و جوهای سریع و مؤثر فراهم می‌کند.

#داده_بزرگ #پایگاه_داده #آمازونS3 #Iceberg

🟣لینک مقاله:
https://github.com/viggy28/streambed


👑 @Database_Academy
🔵 عنوان مقاله
pgBackRest was 'dead'

🟢 خلاصه مقاله:
در حالی که نگرانی‌هایی در مورد توقف پروژه pgBackRest به وجود آمده بود و عنوان شده بود که این پروژه مرده است، اما در دنیای پستگرس تغییرات سریع و غیرقابل پیش‌بینی است. طی تنها یک هفته، حمایت و نگاه مثبت جامعه به قدری زیاد شد که این نگرانی‌ها تا حد زیادی برطرف شد. مدیر پروژه، دیوید استیل، پس از دریافت محبت و حمایت‌های بی‌شمار، حالا امیدوار است که بتواند منابع مالی کافی برای ادامه فعالیت این پروژه مهم تامین کند. این موفقیت نشان می‌دهد که در جامعه متن‌باز و کاربران وفادار، همبستگی و پشتیبانی می‌تواند هر چالشی را برطرف کند و پروژه‌های مهم را زنده نگه دارد.

پشتیبانی قوی از سوی جامعه، نشان می‌دهد که pgBackRest هنوز جایگاه مهمی در اکوسیستم پستگرس دارد و تلاش‌های دیوید استیل و سایر توسعه‌دهندگان می‌تواند آینده‌ای روشن برای این ابزار فراهم کند. این اتفاق همچنین یادآوری می‌کند که پیگیری و حمایت مستمر از پروژه‌های متن‌باز چقدر حیاتی است تا فناوری‌های حیاتی همچنان به رشد و توسعه خود ادامه دهند.

#پستگرس #پشتیبانی #توسعه_پروژه #جامعه_متن_باز

🟣لینک مقاله:
https://postgresweekly.com/link/184810/web


👑 @Database_Academy
🔵 عنوان مقاله
NornicDB (GitHub Repo)

🟢 خلاصه مقاله:
نورنیک‌دی‌بی، پایگاه داده‌ای با کمترین تأخیر و سازگار با Neo4j، یک فناوری پیشرفته است که به‌طور خاص برای کارهای مبتنی بر هوش مصنوعی طراحی شده است. این سیستم قدرتمند قادر است همزمان از قابلیت‌های جستجوی گراف و برداری، به همراه پرس‌وجوهای Cypher، بهره‌برداری کند و در عین حال از موتورهای GPU برای تسریع در فرآیندهای جستجو و تحلیل بهره‌مند شود. یکی از ویژگی‌های جذاب این پایگاه داده، توانایی درک و کشف خودکار روابط و پیوندهای پیچیده میان داده‌ها است که این موضوع، فرآیند تحلیل و یادگیری در پروژه‌های هوش مصنوعی را بسیار آسان‌تر و سریع‌تر می‌کند.

نورنیک‌دی‌بی با ادغام مفاهیم گراف، بردار و حافظه در یک سامانه منسجم، امکان ساخت و توسعه نمودارهای دانش متغیر و پویا را فراهم می‌سازد. این رویکرد، نه تنها باعث می‌شود که سیستم بتواند دانش‌های جدید را به راحتی اضافه و به‌روزرسانی کند، بلکه حافظه بلندمدت و مستمر برای عامل‌های هوشمند نیز فراهم می‌آورد. در نتیجه، دیگر نیاز نیست چندین ابزار مختلف برای مدیریت داده‌ها و روابط را کنار هم قرار داد و به‌صورت مجزا استفاده کرد؛ زیرا هر آنچه برای پروژه‌های هوش مصنوعی ضروری است در این سیستم ادغام شده است و هماهنگ کار می‌کند.

در مجموع، نورنیک‌دی‌بی ابزاری قدرتمند است که کار توسعه دهندگان و محققان هوش مصنوعی را به شدت تسهیل می‌کند، با در بر گرفتن قابلیت‌های پیشرفته‌ای که به توسعه سیستم‌های هوشمند و دانش‌محور کمک می‌کنند. این فناوری، آینده‌ای نوین در زمینه مدیریت داده‌ها و ساخت سیستم‌های خودیادگیر است.

#هوش_مصنوعی #پایگاه_داده #مدیریت_دانش #نورنیک‌دی‌بی

🟣لینک مقاله:
https://github.com/orneryd/NornicDB?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
Lift the Elephant: A Book about Scaling Beyond the Query

🟢 خلاصه مقاله:
کتابی با عنوان «بالا بردن فیل: راهنمایی برای فراتر رفتن از محدودیت‌های جستجو» در قالب فایل PDF شامل ۱۶۰ صفحه است که به عنوان نقشۀ ذهنی، امکانات و ابزارهای مختلف بهبود عملکرد در سیستم پایگاه داده پُستگرس (PostgreSQL) را بررسی می‌کند. این کتاب توضیح می‌دهد که کدام عوامل و تنظیمات می‌توانند تاثیر قابل توجهی بر سرعت و کارایی سیستم داشته باشند، و اهمیت هر کدام در چه مواردی است. هدف اصلی این اثر، آموزش روش‌های نظام‌مند برای بهینه‌سازی کارایی است، به طوری که کاربران بتوانند به شکلی منطقی و استراتژیک به تنظیم و بهبود پایگاه‌های داده خود بپردازند.

در این کتاب، نویسندگان تلاش کرده‌اند تا مفاهیم پیچیده را به زبانی ساده و قابل درک بیان کنند و نمونه‌های عملی و بازی‌های واقعی را برای بهتر درک کردن مسیرهای بهینه‌سازی ارائه دهند. این راهنمای جامع، مخصوص کاربران میانی است که در زمینه کار با پستگرس تجربه دارند و به دنبال ارتقاء مهارت‌های خود با روشی موثر و مستدل هستند. به طور کلی، این اثر ابزاری ارزشمند برای هر کسی است که می‌خواهد دنیای عملکرد پایگاه داده را بهتر بشناسد و در پروژه‌های واقعی خود، نتایج قابل توجهی رقم بزند.

در نهایت، این کتاب به عنوان یک منبع قابل اعتماد، مسیرهای عملی و استراتژیک برای بهبود کارایی سیستم‌های پایگاه داده را نشان می‌دهد و به خوانندگان کمک می‌کند تا با دانش و اعتماد بیشتری وارد دنیای تنظیمات تخصصی شوند.

#پایگاه_داده #بهینه‌سازی #PostgreSQL #توسعه

🟣لینک مقاله:
https://postgresweekly.com/link/183425/web


👑 @Database_Academy
🔵 عنوان مقاله
Data Inlining in DuckLake: Unlocking Streaming for Data Lakes (13 minute read)

🟢 خلاصه مقاله:
در دنیای داده‌کاوی مدرن، مدیریت حجم عظیم و متنوعی از داده‌ها یکی از چالش‌های اصلی است. یکی از فناوری‌هایی که به حل این مشکل کمک می‌کند، تکنیک «درون‌سازی داده‌ها» یا همان Data Inlining است. این روش در پلتفرم DuckLake طراحی شده است تا بتواند جریان‌های داده‌ای سریع و کارآمد را در درون دریاهای داده‌ها (Data Lakes) فعال کند.

در این تکنیک، تغییرات کوچک مانند افزودن، حذف یا ویرایش‌هایی که کمتر از یک آستانه مشخص هستند، مستقیماً در پایگاه داده نشستگاه یا همان کاتالوگ سیستم ذخیره می‌شوند. برخلاف رویکرد مرسومی که این تغییرات در فایل‌های کوچک پارکت در فضای ابری ذخیره می‌شود، این روش به صورت هوشمندانه‌تری عمل می‌کند و از ایجاد فایل‌های کوچک مکرر جلوگیری می‌کند. نتیجه این است که فرآیندهای استریمینگ با حجم کم، مانند داده‌های حسگرها، بدون نیاز به اجرای مکرر عملیات کنارگذاری و فشرده‌سازی کارآمدتر انجام می‌شوند و هزینه‌ها و زمان را کاهش می‌دهند.

این رویکرد به شدت به جلب رضایت کاربران کمک می‌کند، زیرا امکان پردازش سریع و کم‌تاخیری را فراهم می‌سازد و در عین حال مدیریت داده‌ها ساده‌تر و بهینه‌تر انجام می‌پذیرد. در نتیجه، سیستم‌های مبتنی بر DuckLake قادر خواهند بود تمرکز خود را بر روی تحلیل و کسب دانش از داده‌ها بگذارند و عملیات‌های پشتیبانی مانند کنارگذاری و نگهداری فایل‌های کوچک را به حداقل برسانند.

#داده_درون_سازی #دراهای_داده #پردازش_درون‌سازمان #استریمینگ

🟣لینک مقاله:
https://ducklake.select/2026/04/02/data-inlining-in-ducklake/?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
the ability to deploy PlanetScale-hosted databases directly from the Cloudflare dashboard

🟢 خلاصه مقاله:
امکان راه‌اندازی مستقیم پایگاه‌های داده میزبانی‌شده توسط PlanetScale، در داخل پنل کاربری Cloudflare، یک قدم بزرگ در بهبود کارایی و سادگی مدیریت منابع در فضای ابری است. با افزودن این قابلیت، کاربران دیگر نیاز ندارند برای راه‌اندازی و مدیریت پایگاه داده‌های خود بین پلتفرم‌های مختلف جابجا شوند؛ بلکه می‌توانند به راحتی از داخل داشبورد Cloudflare، این فرآیند را انجام دهند. این ادغام نه تنها زمان و تلاش لازم برای پیکربندی را کاهش می‌دهد بلکه با فراهم کردن یک واسطه مرکزی، مدیریت فناوری اطلاعات در پروژه‌های مختلف ساده‌تر و کارآمدتر می‌شود. در نتیجه، این توسعه به کسب‌وکار‌ها و تیم‌های توسعه کمک می‌کند تا تمرکز بیشتری روی توسعه و نوآوری‌های خود داشته باشند، بدون نگرانی در مورد زیرساخت‌های پایگاه داده.

راهکار نوین ارائه شده توسط Golang Weekly، نشان می‌دهد چگونه ابزارهای قدرتمند در فضای ابری و توسعه نرم‌افزار می‌توانند با یکدیگر ادغام شوند تا تجربه کاربری بهتری فراهم آورند و چالش‌های فنی را کاهش دهند. این قابلیت جدید، به توسعه‌دهندگان امکان می‌دهد تا بر روی پروژه‌های کاربردی تمرکز کنند، در حالی که فرآیندهای پیکربندی و مدیریت پایگاه داده به صورت حرفه‌ای و با کارایی بالا انجام می‌شود. این تغییر، آینده‌ای امیدوارکننده برای توسعه سریع و امن برنامه‌های کاربردی است، جایی که اطمینان از صحت عملیات پایگاه‌های داده درون بستر‌های ابری، نقش مهمی ایفا می‌کند.

در نهایت، این نوآوری نشان می‌دهد که چگونه فناوری‌های نوین می‌توانند با هم ترکیب شوند تا فرآیندهای توسعه و استقرار نرم‌افزار را تسهیل کنند، و مسیر را برای ساخت برنامه‌های قدرتمندتر هموار سازند. با استفاده از سرویس‌های پیشرفته و یکپارچه، جامعه توسعه‌دهندگان شاهد افزایش بهره‌وری و کاهش خطاهای عملیاتی هستند و می‌توانند سریع‌تر به بازار عرضه شوند. این حرکت، آینده‌ای روشن‌تر برای توسعه برنامه‌های مبتنی بر فضای ابری و مدیریت پایگاه داده‌ها ترسیم می‌کند.

#پایگاه‌داده #ابری #توسعه_نرم‌افزار #پیشرفت

🟣لینک مقاله:
https://postgresweekly.com/link/184114/web


👑 @Database_Academy
🔵 عنوان مقاله
Egress Problems and Where to Find Them

🟢 خلاصه مقاله:
اگر پایگاه داده شما در مرکز داده‌ای قرار دارد که متعلق به فرد دیگری است، مدیریت ترافیک خروجیِ داده و هزینه‌های مرتبط با آن اهمیت بسیار زیادی پیدا می‌کند. در این وضعیت، هر مقدار داده‌ای که خارج می‌شود، می‌تواند اثر قابل توجهی بر هزینه‌های ماهانه و کارایی سیستم داشته باشد. بنابراین، شناسایی و کنترل مشکلات مربوط به خروج داده یا همان "ایگرگ"، از جمله وظایف حیاتی مدیران فناوری اطلاعات و توسعه‌دهندگان است.

در این مقاله، سیمون نکاتی ارزشمند درباره راه‌هایی ارائه می‌دهد که می‌تواند میزان ترافیک خروجی را کاهش دهد. او ابزارها و روش‌هایی را معرفی می‌کند که نه تنها هزینه‌های مربوط به ایگرگ را کم می‌کند، بلکه به بهبود کارایی کلی سیستم نیز کمک می‌نماید. همچنین، نکاتی خاص برای کاربرانی که از خدمات PlanetScale استفاده می‌کنند، در این زمینه مطرح شده است، تا بتوانند به بهترین شکل ممکن این چالش‌ها را مدیریت کنند.

در مجموع، کنترل ترافیک خروجی داده‌ها نیازمند تحلیل دقیق و استراتژیک است. شناختن نقاط ضعف، پیاده‌سازی سیاست‌های بهینه‌سازی و بهره‌گیری از ابزارهای مناسب، کلید حل این مشکل است. با این راهکارها می‌توانید هزینه‌های خود را به شکل چشمگیری کاهش داده و عملکرد پایگاه داده‌های خود را بهبود بخشید.

#مدیریت_داده #کاهش_هزینه #پایگاه_داده #PlanetScale

🟣لینک مقاله:
https://planetscale.com/blog/database-egress


👑 @Database_Academy
Forwarded from VIP
🥇 اگر عاشق تکنولوژی‌های روز دنیا هستی، اینجا هر روز تازه‌ترین و مهم‌ترین مطالب درباره:👇

🛰 فضا و اکتشافات فضایی و تکنولوژی های مرتبط فضای
⚡️ برق و انرژی‌های نو
🔌 دنیای الکترونیک و گجت‌های هوشمند و انواع پهپاد ها
🚗 خودروهای برقی و آینده حمل‌ونقل

همه چیز به‌صورت کوتاه، خلاصه و کاملاً قابل‌فهم👇👇

🥈 @futurepulse_persian
Forwarded from Persian Post
🚀 بهترین‌های دنیای Front-End در یک کانال!

اگر توسعه‌دهنده فرانت‌اند هستی یا به دنیای وب علاقه داری، این کانال رو از دست نده.

🔥 به‌روزترین اخبار، آموزش‌ها و مقالات تخصصی:

JavaScript (JS)
🔷 TypeScript (TS)
⚛️ React
🅰️ Angular
💚 Vue.js
🎨 CSS3

📚 معرفی ابزارهای جدید
🚀 بررسی ترندهای روز Front-End
💡 نکات حرفه‌ای و Best Practiceها
📰 مهم‌ترین اخبار اکوسیستم وب

همه‌چیز برای به‌روز ماندن در دنیای Front-End، در یک جا!

👇👇👇👇
@frontend_labdon
Forwarded from Persian Post
🍎 اگر به دنیای Apple علاقه‌مندی، این کانال رو از دست نده!

آخرین و مهم‌ترین اخبار و رویدادهای اپل:

📱 iPhone و iOS
💻 MacBook و macOS
Apple Watch
🎧 AirPods و سرویس‌های اپل
🚀 تحلیل رویدادها، محصولات و آپدیت‌های جدید
📰 خلاصه روزانه مهم‌ترین اخبار دنیای Apple

👇👇👇👇
@mac_labdon

━━━━━━━━━━━━━━

🔥 اگر اخبار Google و Android رو دنبال می‌کنی، این کانال برای توئه!

جدیدترین و داغ‌ترین خبرها از:

📱 گوشی‌های سامسونگ، شیائومی و Google Pixel
🤖 Android و جدیدترین آپدیت‌ها
🏠 Google Home و گجت‌های هوشمند
🧩 اپلیکیشن‌ها و سرویس‌های گوگل
💻 Chromebook و اکوسیستم Google
🚀 معرفی محصولات، تحلیل‌ها و اخبار روز

همه‌چیز درباره دنیای گوگل و اندروید در یک کانال:

👇👇👇👇
@google_labdon
🔵 عنوان مقاله
a myriad of sources and destinations

🟢 خلاصه مقاله:
در دنیای امروز، حجم عظیمی از منابع و مقصدهای مختلف برای انتقال داده‌ها وجود دارد که نیازمند روشی کارآمد و قابل اطمینان برای مدیریت آنها است. یکی از نکات کلیدی این است که بتوان بدون نیاز به نوشتن کد، این مسیرها را مدیریت و ارتباطات را برقرار کرد، مخصوصاً در سیستم‌های پایگاه داده مانند Postgres، که یکی از محبوب‌ترین سیستم‌های مدیریت پایگاه داده است. این قابلیت به تیم‌های فنی امکان می‌دهد تا فرآیندهای انتقال و ترافیک داده را به سادگی و با کمترین خطا انجام دهند، بدون اینکه نیاز به برنامه‌نویسی پیچیده داشته باشند.

در این رویکرد، ابزارها و پلتفرم‌های مخصوص فراهم شده است که امکان ارتباط میان منابع داده مختلف و مقصدهای متنوع را بدون نیاز به توسعه کد فراهم می‌کنند. این امر نه تنها فرآیندهای انتقال داده را ساده‌تر می‌کند، بلکه سرعت و انعطاف‌پذیری سیستم‌ها را نیز افزایش می‌دهد، که برای بسیاری از کسب‌وکارها اهمیت ویژه‌ای دارد. استفاده از چنین روش‌هایی، به ویژه در کنار سیستم‌های پایگاه داده پیشرفته مانند Postgres، می‌تواند بهره‌وری را به شکل قابل توجهی ارتقاء دهد.

از این رو، بهره‌گیری از راه‌حل‌های بدون نیاز به کد در مدیریت منابع و مقصدهای داده، تحولی بزرگ در دنیای فناوری اطلاعات است. این امر به تیم‌ها امکان می‌دهد تمرکز خود را بر روی توسعه و بهبود استراتژی‌های تجاری قرار دهند و از صرف وقت و منابع زیاد برای تنظیم و نگهداری فرآیندهای پیچیده صرفه‌جویی کنند.

#مدیریت_داده #پایگاه_داده #Postgres #بدون_کد

🟣لینک مقاله:
https://github.com/bruin-data/ingestr#supported-sources--destinations


👑 @Database_Academy
🔵 عنوان مقاله
Handling Graphs with SQL/PGQ in Postgres 19

🟢 خلاصه مقاله:
پستگرس ۱۹ در راه است و به زودی از قابلیت‌های جدیدی بهره‌مند خواهد شد. یکی از این امکانات اضافه شده، پشتیبانی از استاندارد SQL/PGQ است که به کاربران امکان می‌دهد گراف‌های رفتاری یا خاص را بر روی جداول پایگاه داده تعریف کنند. با این قابلیت، می‌توان الگوهای گرافی را در قالب جداول تعریف و اجرا کرد و به صورت مستقیم با آن‌ها کار کرد. این سیستم اجازه می‌دهد تا الگوهای رسپی‌شده در زبان‌هایی مانند Cypher، که برای پرس‌وجوهای گرافی بسیار محبوب است، در قالب کوئری‌های معمول در SQL مورد استفاده قرار گیرد.

در این روند، تمامی عملیات مربوط به تطبیق الگوهای گراف با ساختار داده‌ها، توسط موتور بازنویسی کوئری‌ها مدیریت می‌شود. به همین دلیل، الگوهای گرافی به شکل پرس‌وجوهای معمول رابطه‌ای در می‌آیند و کاربر نیازی به نوشتن کوئری‌های خاص گراف ندارد. این نوآوری، امکان ادغام آسان تر داده‌های گرافی با سیستم‌های پایگاه داده رابطه‌ای موجود را فراهم می‌کند، و کار انجام شده را ساده‌تر و سریع‌تر می‌سازد.

در نتیجه، با پشتیبانی SQL/PGQ در نسخه ۱۹، Postgres یک گام بزرگ در مسیر تقویت قابلیت‌های گراف‌پایه خود برمی‌دارد، و توسعه‌دهندگان می‌توانند به راحتی ساختارهای گرافی پیچیده را در کنار داده‌های رابطه‌ای مدیریت کنند، بدون نیاز به سیستم‌های جداگانه یا روش‌های پیچیده. این امکانات موجب می‌شود تا پرس‌وجوی چند بعدی و تحلیل داده‌های گرافی در سیستم‌های مبتنی بر Postgres بسیار کارآمدتر و انعطاف‌پذیرتر شود.

#پستگرس #گراف #SQL #پایگاه‌داده

🟣لینک مقاله:
https://www.cybertec-postgresql.com/en/handling-graphs-with-sql-pgq-in-postgresql/


👑 @Database_Academy
🔵 عنوان مقاله
Leandex: A Pure SQL Way to Keep Your Indexes Lean

🟢 خلاصه مقاله:
در هفته گذشته، لینک نیک با نام «PgQue» به عنوان محبوب‌ترین لینک ما شناخته شد، اما او بلافاصله با یک ابزار جدید بازگشت. ابزار «Leandex» یک پروژه کاملاً مبتنی بر زبان SQL است که هدف اصلی‌اش مقابله با مشکلات افزونگی و بزرگ‌سازی بی‌موقع شاخص‌های پایگاه داده است. این ابزار با بررسی دقیق وضعیت شاخص‌ها، در صورت تشخیص نیاز، به صورت هم‌زمان و با کمترین وقفه، آن‌ها را مجدداً ساختاری منظم و بهینه می‌کند.

استفاده از «Leandex» به توسعه‌دهندگان و مدیران پایگاه‌های داده اجازه می‌دهد تا بدون نیاز به عملیات پیچیده و زمان‌بر، شاخص‌های خود را مدیریت و نگهداری کنند. این روش مبتنی بر SQL نه تنها ساده و قابل انعطاف است، بلکه اطمینان می‌دهد که سیستم در حین عملیات بهینه‌سازی، کمترین تأثیر منفی را بر روی سرویس‌ها داشته باشد. در نتیجه، بهبود کارایی و نگهداری پایگاه داده‌ها با کم‌ترین ریسک ممکن، با این ابزار امکان‌پذیر است.

#پایگاه_داده #SQL #شاخص #کارایی

🟣لینک مقاله:
https://postgresweekly.com/link/184479/web


👑 @Database_Academy
🔵 عنوان مقاله
Postgres at 30: A Chat With Its Creator

🟢 خلاصه مقاله:
بیست و نهمین سالگرد راه‌اندازی پایگاه داده پستگرس است و این مناسبت فرصتی است تا با یکی از شخصیت‌های تاثیرگذار در دنیای فناوری، مایک استونبریکر، گفت‌وگو کنیم. ایشان بنیان‌گذار پروژه پستگرس هستند و نقش کلیدی در شکل‌گیری و توسعه این سیستم پایگاه داده Open Source داشته‌اند. در این گفتگو، به تاریخچه شکل‌گیری پستگرس، چالش‌ها و موفقیت‌هایی که طی این سال‌ها کسب کرده، و تأثیر آن بر صنعت فناوری اطلاعات پرداخته شده است. همچنین، آقای استونبریکر نظرات خود را درباره رویکردهای نادرست شرکت‌هایی مانند گوگل و آمازون در مدیریت داده‌ها بیان می‌کند و افق‌های آینده‌ای را که در ذهن دارد، شرح می‌دهد.

در این مصاحبه، ابتدا به روند توسعه پستگرس پرداختیم و دیدگاه‌های ایشان درباره مهم‌ترین ویژگی‌های این پایگاه داده و دلیل محبوبیت آن توضیح داده شد. ایشان معتقدند که معماری قدرتمند و انعطاف‌پذیر پستگرس، آن را به ابزاری ایده‌آل برای انواع پروژه‌ها تبدیل کرده است. سپس، نظرات او درباره روندهای جدید در مدیریت داده‌ها و تفاوت‌های مهم بین پستگرس و فناوری‌هایی که شرکت‌های بزرگ در نظر دارند، ارائه شد. در ادامه، نگاهی به پروژه‌ها و ابتکارهای آینده این دانشمند برجسته در زمینه فناوری اطلاعات و پایگاه‌های داده داشتیم.

در مجموع، این گفت‌وگو نمایی کامل و در عین حال مختصر از سیر تکاملی پستگرس است و نقش‌آفرینی مایک استونبریکر را در شکل‌گیری این ابزار حیاتی مشخص می‌کند. او با دیدگاهی نو و خلاقانه، آینده‌ای پرامید و پرچالش را در حوزه فناوری و داده‌ها ترسیم می‌کند و بیان می‌دارد که چگونه می‌توان با بهره‌گیری از فناوری‌های باز و نوآوری‌های مداوم، راه‌حل‌هایی کارآمد و مؤثر برای چالش‌های امروزی پیدا کرد.

#پایگاه_داده #پستگرس #فناوری_اطلاعات #نوآوری

🟣لینک مقاله:
https://www.youtube.com/watch?v=YPObBOwIrHk


👑 @Database_Academy
🔵 عنوان مقاله
Scaling Recommendation Systems with Request-Level Deduplication (9 minute read)

🟢 خلاصه مقاله:
در مهندسی پینترست، راه‌حلی نوین برای گسترش سیستم‌های پیشنهادی ارائه شده است که بر اساس حذف تکراری در سطح درخواست استوار است. این رویکرد به کمک تکنیک‌هایی مانند تنظیم داده‌ها بر اساس شناسه کاربری و درخواست در قالب سیستم‌های مدیریت داده‌های بزرگ مانند Apache Iceberg، باعث کاهش حجم داده‌ها و بهبود کارایی شده است. با سازماندهی داده‌ها به این شکل، پینترست توانسته است هر درخواست یکتا را تنها یک‌بار در فرآیندهای پردازش و ذخیره سازی ثبت کند، که این امر موجب کاهش چشمگیر نیاز به فضای ذخیره‌سازی و افزایش سرعت پردازش می‌شود.

برای این منظور، سیستم از یک تبدیل‌کننده زمینه جداگانه که از حافظه کش کلید-مقدار در فرآیند رتبه‌بندی استفاده می‌کند بهره می‌برد. این تکنیک‌ها باعث می‌شوند سیستم بهتر بتواند درخواست‌های مشابه را شناسایی و حذف کند، در نتیجه کیفیت توصیه‌ها حفظ شده و در عین حال منابع مورد نیاز کاهش می‌یابد. علاوه بر این، تیم مهندسی پینترست با پیاده‌سازی اصلاحاتی هدفمند مانند استفاده از SyncBatchNorm و ماسک کردن سطح کاربر در حین آموزش، به بهبود فرآیندهای یادگیری ماشین کمک کرده است. این تغییرات در کنار سایر تکنیک‌ها، سیستم پیشنهاددهی را قادر می‌سازد که در مقیاس بزرگ به شکلی مؤثر و پایدار عمل کند.

در نتیجه، این نوآوری در کاهش تکرار و بهبود کارایی سیستم‌های پیشنهاد دهنده، نشانگر پیشرفت قابل توجه در مهندسی داده و یادگیری ماشین است. استفاده از تکنیک‌های پیشرفته مانند درخواست‌سطح ددوبلیکیشن، راهکارهای عملی برای بهبود عملکرد سرویس‌های بزرگ و پیچیده را فراهم می‌آورد و امکان ارائه پیشنهادهای دقیق و سریع‌تر به میلیون‌ها کاربر را فراهم می‌سازد.

#سیستم_پیشنهاد #یادگیری_ماشین #پایگاه_داده #هوش_مصنوعی

🟣لینک مقاله:
https://medium.com/pinterest-engineering/scaling-recommendation-systems-with-request-level-deduplication-93bd514142d9?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
Why Postgres Lacks Transparent Data Encryption

🟢 خلاصه مقاله:
در دنیای مدیریت داده‌ها، امنیت اطلاعات همیشه یکی از اصلی‌ترین نگرانی‌ها است. بسیاری از سیستم‌های پایگاه داده مدرن، از جمله برخی رقبا، قابلیت رمزگذاری شفاف داده‌ها یا همان Transparent Data Encryption (TDE) را به صورت داخلی و استاندارد در اختیار کاربران قرار می‌دهند. این قابلیت به مدیران و توسعه‌دهندگان این امکان را می‌دهد تا داده‌های حساس را هنگام ذخیره‌سازی در پایگاه داده به‌صورت خودکار رمزگذاری کنند، بدون آنکه نیاز باشد برنامه‌نویسی خاصی انجام شود یا ابزارهای جانبی به کار گرفته شود. اما در مورد پایگاه داده محبوب PostgreSQL، این ویژگی به صورت پیش‌فرض وجود ندارد و کاربران برای استفاده از آن باید به خدمات واسطه یا افزونه‌هایی مانند pg-tde متکی باشند.

علت این وضعیت، به دلایل تاریخی و طراحی درونی پایگاه داده برمی‌گردد. در بررسی‌های قدیمی و مناقشات طولانی‌مدت، یکی از مهم‌ترین چالش‌ها، تعریف دقیق مشکل اصلی است که TDE قرار است حل کند، عنوان شده است. در حقیقت، باید سوال کرد که آیا نیاز به رمزگذاری شفاف داده‌ها، در حال حاضر و در محیط‌هایی که PostgreSQL مورد استفاده قرار می‌گیرد، واقعاً ضروری است یا شاید راهکارهای دیگری نیز وجود دارد که هنوز به اندازه کافی مورد توجه قرار نگرفته‌اند؟

Shaun در تحلیل‌های خود به بحث‌های قدیمی در جامعه توسعه‌دهندگان پایگاه داده اشاره می‌کند و نشان می‌دهد که یکی از بزرگ‌ترین موانع در پیاده‌سازی داخلی TDE در PostgreSQL، همین ابهام در تعریف مشکل است. این ابهام باعث شده است که توسعه‌دهندگان نتوانند یک راه‌حل یکپارچه و native برای این قابلیت ارائه دهند، چرا که قبل از هر چیز باید بدانند چه مشکلی قرار است حل شود. نتیجه این که، در غیاب یک راه‌حل داخلی قوی، کاربران باید به سمت راه‌حل‌های سوم شخص و توسعه‌های بیرونی روی آورند، امری که ممکن است مسائل امنیتی، نگهداری و ادغام را پیچیده‌تر کند.

در نهایت، باید گفت که عدم وجود رمزگذاری شفاف در PostgreSQL، یکی از تفاوت‌های شاخص آن با دیگر سیستم‌های پایگاه داده است؛ تفاوتی که کاربرانی را که به این قابلیت نیاز دارند، مجبور می‌کند تا به راهکارهای جانبی و غیر استاندارد تکیه کنند. هرچند این وضعیت ممکن است در کوتاه‌مدت چالش‌هایی به همراه داشته باشد، اما در عین حال نشان‌دهنده مسیر آینده و نیاز به گفت‌و‌گوهای بیشتر در جامعه توسعه‌دهندگان است که می‌تواند منجر به بهبودهای اساسی در نسخه‌های آینده PostgreSQL شود.

#PostgreSQL #امنیت_داده #رمزگذاری #پایگاه_داده

🟣لینک مقاله:
https://www.pgedge.com/blog/why-postgres-lacks-transparent-data-encryption


👑 @Database_Academy
🔵 عنوان مقاله
Helping the Planner Help You

🟢 خلاصه مقاله:
وقتی دو ستون با هم همبستگی دارند، پایگاه داده پستگرس تصور می‌کند که این ستون‌ها مستقل از یکدیگر هستند. این فرض نادرست می‌تواند منجر به تخمین نادرست برآوردهای ردیف‌ها در طرح‌های استراتژیک کوئری شود و در نتیجه، برنامه‌های اجرا ناپایدار و ناکارآمدی را به همراه داشته باشد. در این حالت، برنامه‌ریزان کوئری به دلیل فرض نادرستی که درباره استقلال این ستون‌ها دارند، تصمیمات نادرستی می‌گیرند و ممکن است نتایج مطلوبی حاصل نشود.

در این مقاله، به معرفی امکان CREATE STATISTICS در پستگرس می‌پردازیم، ابزاری که به کمک آن می‌توان اطلاعات دقیق‌تری درباره روابط بین ستون‌ها جمع‌آوری کرد. این ویژگی به پایگاه داده کمک می‌کند تا درک بهتری از وابستگی‌های موجود در داده‌ها داشته باشد و بر اساس آن، طرح‌های کوئری بهبود یافته‌ای ارائه دهد. در نتیجه، برنامه‌ریز قادر است برآوردهای خود را بر اساس داده‌های واقعی تنظیم کند، که این امر منجر به تولید طرح‌های اجرایی کاراتر و سریع‌تر می‌شود.

با بهره‌گیری از این امکانات، می‌توانید عملکرد پایگاه داده‌تان را ارتقاء دهید و کوئری‌های پیچیده و حساس‌تر را با دقت بیشتر اجرا کنید. در نتیجه، به جای تکیه بر فرضیات نادرست، تصمیمات بهتری در طراحی و بهینه‌سازی کوئری‌ها خواهید داشت و هزینه‌های مربوط به منابع سیستم کاهش می‌یابد.

#پستگرس #بهینگی_کوئری #پایگاه_داده #توسعه_فناوری

🟣لینک مقاله:
https://www.valerieparhamthompson.com/posts/extended-statistics-postgres/


👑 @Database_Academy
🔵 عنوان مقاله
pg_column_size(): What You See Isn't What You Get

🟢 خلاصه مقاله:
در مورد تابع pg_column_size()، باید توجه داشت که چیزی که در ظاهر مشاهده می‌شود، همیشه نشان‌دهنده اندازه واقعی داده‌ها نیست. این تابع در پایگاه داده‌های PostgreSQL میزان حجم فضایی که یک ستون یا مقدار خاص اشغال می‌کند را برمی‌گرداند، اما این محاسبه ممکن است با انتظارات برخی کاربران متفاوت باشد. گاهی اوقات، اطلاعاتی نشان داده می‌شود که به خاطر جزئیات داخلی پی‌درپی‌ها یا ساختارهای ذخیره‌سازی، ممکن است کمی ابهام‌آمیز باشد و تصور کنید که اندازه واقعی داده‌ها را نشان می‌دهد، در حالی که در واقع اینطور نیست.

تیم توسعه و مستندسازی PostgreSQL در حال تلاش است تا این سوءتفاهم را برطرف کند و مستندات مربوط به تابع pg_column_size() را دقیق‌تر و شفاف‌تر ارائه دهد. لایتیشیا نیز خواستار اصلاح این مستندات است تا توسعه‌دهندگان بتوانند بهتر درک کنند که این تابع چه مقدار از فضای ذخیره‌سازی حقیقی داده‌ها را نشان می‌دهد و چگونه باید از آن استفاده کنند تا نتایج دقیقی دریافت کنند. در نهایت، هدف این است که کاربران بتوانند با اطمینان بیشتری از این تابع بهره‌مند شوند و تفسیر درستی از اندازه‌های ارائه شده داشته باشند.

در نتیجه، مهم است که هم توسعه‌دهندگان و هم کاربران پایگاه داده، بدانند که آن چه در ظاهر و در خروجی تابع مشاهده می‌شود، ممکن است واقعیت کامل اندازه داده‌ها را منعکس نکند. اصلاح مستندات و شفاف‌سازی این موضوع، گامی مهم در راستای بهبود کاربری و تفسیر صحیح اطلاعات در PostgreSQL است.

#PostgreSQL #مدیریت_پایگاه_داده #برنامه_نویسی #پایگاه_داده

🟣لینک مقاله:
https://postgresweekly.com/link/183424/web


👑 @Database_Academy