883 subscribers
44 photos
3 videos
1 file
1.4K links
🕸 Database Academy

حمایت مالی:
https://www.coffeete.ir/mrbardia72

ادمین:
@mrbardia72
Download Telegram
🔵 عنوان مقاله
pg_clickhouse v0.1.10

🟢 خلاصه مقاله:
در نسخه جدید ابزار pg_clickhouse، امکان اجرای کوئری‌های بانک اطلاعاتی ClickHouse مستقیماً از پایگاه داده پستگرس فراهم شده است. این نسخه با بهبودهای قابل توجه در سازگاری، امکانات جدیدی را در اختیار کاربران قرار می‌دهد که شامل پشتیبانی بهتر برای عملیات‌هایی مانند کار با فرمت‌های JSON، JSONB و TEXT است. علاوه بر این، تعداد زیادی از توابع پنجره‌ای، از جمله RANK، PERCENT_RANK و ROW_NUMBER، به مجموعه امکانات افزوده شده‌اند تا تحلیل داده‌ها و مدیریت نتایج را ساده‌تر و کارآمدتر کنند. این بروزرسانی، تجربه کار با این ابزار را به طور قابل توجهی بهبود می‌بخشد و امکان بهره‌گیری مؤثرتر از امکانات هر دو سیستم را فراهم می‌کند.

نسخه جدید pg_clickhouse، ارتباط موثر و بی‌نقصی بین پایگاه‌های داده پستگرس و کلیکاهاوس برقرار می‌کند، که برای توسعه‌دهندگان و تحلیل‌گران داده‌ای بسیار ارزشمند است. حالا می‌توانند با اطمینان بیشتری و با امکانات پیشرفته‌تر، داده‌های خود را مدیریت و آنالیز کنند، و فرآیندهای پیچیده‌تر را به سادگی انجام دهند.

#پایگاه_داده #تحلیل_دیتا #نرم_افزار #توسعه

🟣لینک مقاله:
https://postgresweekly.com/link/183436/web


👑 @Database_Academy
1
🔵 عنوان مقاله
How to Become a Data AND AI Engineer (5 minute read)

🟢 خلاصه مقاله:
برای تبدیل شدن به یک مهندس داده و هوش مصنوعی، نخست باید توجه داشت که این دو حوزه به شدت به هم پیوسته‌اند، هرچند هرکدام نیازمند مهارت‌ها و دانش خاص خود هستند. هوش مصنوعی در حال حاضر به طور فزاینده‌ای در فرآیندهای مهندسی داده جای می‌گیرد، اما همچنان بنیان‌های قوی مهندسی داده نقش کلیدی دارند. بخش عمده‌ای از تأثیرگذاری AI به مدل‌سازی داده‌ها مربوط می‌شود که تقریباً ۸۰٪ از موفقیت‌های آن را تشکیل می‌دهد. بنابراین، درک و پیروی از اصول مدل‌سازی، نحوه توصیف شفاف داده‌ها در ابزارهایی مانند dbt، ایجاد قراردادهای داده، خط سیر داده‌ها و طراحی سیستم‌های اورکستراسیون، تمامی این موارد در واقع نقش «مهندسی زمینه» را برای هوش مصنوعی ایفا می‌کنند.

علاوه بر این، مهندسان باید خروجی‌های هوش مصنوعی را با دیدی انتقادی بررسی کنند، چرا که AI می‌تواند پاسخ‌هایی ارائه دهد که نیاز است با دقت به آن‌ها نگاه کنیم. هوش مصنوعی فاقد احساس و درک انسانی است و ممکن است پاسخ‌هایی بدهد که در شرایط خاص مناسب نیستند یا نیازمند مداخله انسانی باشند. بنابراین، یک مهندس داده و AI نه تنها باید تسلط بر ساختار و طراحی داده‌ها داشته باشد، بلکه باید توانایی ارزیابی و نقد نتایج AI را هم در خود تقویت کند.

در نهایت، مسیر تبدیل شدن به یک مهندس داده-هوش مصنوعی نیازمند یادگیری مداوم، تمرین و آشنایی با ابزارها و مفاهیم جدید است که به بهینه‌سازی فرآیندهای داده و افزایش کارایی سیستم‌های هوشمند کمک می‌کند. این تخصص، پلی است برای آن دسته از افرادی که به دنبال آینده‌ای در حوزه فناوری و داده‌ها هستند؛ آینده‌ای پر فرصت و پر چالش.

#مهندسی_داده #هوش_مصنوعی #مدل‌سازی_داده #نوآوری

🟣لینک مقاله:
https://pipeline2insights.substack.com/p/how-to-become-a-data-and-ai-engineer?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
Your pipeline works great for 3 data sources. Will it work with 30? (Sponsor)

🟢 خلاصه مقاله:
بسیاری از شرکت‌ها و تیم‌های تحلیل داده به دنبال راهکاری هستند که بتوانند به راحتی و بدون هزینه‌های زیاد، حجم بالای داده‌های خود را مدیریت و تحلیل کنند. در این زمینه، ابزار فایوترن با قابلیت‌های منحصر‌به‌فرد خود، امکان مدیریت بیش از ۷۰۰ منبع داده‌ای مختلف را فراهم می‌کند، بدون نیاز به بازسازی مجموعه‌های داده یا ساخت مجدد پایپلاین‌ها. این سرویس سریع، قابل اعتماد و بسیار کاربرپسند است و داده‌های تحلیلی را در عرض چند ساعت در اختیار کاربران قرار می‌دهد، به طوری که می‌تواند تغییرات در ساختار داده‌ها، به‌روزرسانی‌های API و تلاش‌های مربوط به استراتژی‌های مختلف را به راحتی مدیریت کند.

در عین حال، کاربران فایوترن می‌توانند تمرکز خود را بر روی استراتژی‌های هوشمند، توسعه هوش مصنوعی، و به‌روزرسانی زیرساخت‌های فناوری‌های خود معطوف کنند، در حالی که این ابزار وظیفه مدیریت فنی و مداوم داده‌ها را بر عهده دارد. با سیاست‌های قیمت‌گذاری انعطاف‌پذیر و دوره آزمایشی رایگان ۱۴ روزه، این سرویس گزینه‌ای عالی برای کسب‌وکارها و تیم‌های نوآور است که قصد دارند حجم عظیمی از داده‌ها را به‌صورت کارا و بدون دردسر مدیریت کنند.

همین امروز فایوترن را به صورت رایگان امتحان کنید و از امکانات بی‌نظیر آن بهره‌مند شوید، بدون نیاز به سرمایه‌گذاری اولیه و یا نگرانی درباره مقیاس‌پذیری دیتاهای خود.

#مدیریت_داده #تحلیل_داده #فناوری #هوشمندسازی

🟣لینک مقاله:
https://go.fivetran.com/signups/smb?utm_source=tldrdata


👑 @Database_Academy
Forwarded from Persian Post
🚀 کد منبع آپولو ۱۱ اوپن‌سورس شد! همونی که آرمسترانگ و رفیقاش رو روی ماه نشوند 🌕👨‍🚀

کد اصلی کامپیوتر هدایت مأموریت آپولو ۱۱ (AGC) شامل:
🧑‍🚀 ماژول فرمان (Comanche055)
🌕 ماژول ماه‌نشین (Luminary099)

کل کدش رو انگار فضایی‌ها نوشتن، صد درصد با اسمبلی نوشته شده! 🤖

توسط تیم Virtual AGC و موزه MIT دیجیتالی شده و حالا به‌صورت متن‌باز در دسترس عموم قرار گرفته 👨‍💻📜

هدف این پروژه، نگهداری نسخه‌ای دقیق از کدهای اصلی آپولو ۱۱ هست و اگر اختلافی بین نسخه تایپ‌شده و اسکن‌های اصلی پیدا بشه، مشارکت (PR) کاملاً پذیرفته میشه 🙌🔧

📥 دانلود از اینترنت ملی:
http://cdn.codehalic.ir/Apollo-11.zip

💻 ریپازیتوری گیت‌هاب:
https://github.com/chrislgarry/Apollo-11

🔥 یه فرصت خفن برای دیدن کدی که انسان رو به ماه رسوند! 🚀🌌

👇 join 👇
https://xn--r1a.website/+Bp8JeTpQoiUwMjVk
🔵 عنوان مقاله
Engineering the Memory Layer For An AI Agent To Navigate Large-scale Event Data (12 minute read)

🟢 خلاصه مقاله:
در دنیای فناوری و هوش مصنوعی، یکی از چالش‌های بزرگ مربوط به توانایی هوش مصنوعی در مدیریت و تعبیر حجم عظیم داده‌های رویدادهای بزرگ است. برای غلبه بر این مشکل، تیم جامعه MLOps اقدام به طراحی و پیاده‌سازی لایه حافظه‌ای پیشرفته برای عامل‌های هوشمند کرد. این لایه حافظه با بهره‌گیری از پایگاه داده ApertureDB، که یک بانک اطلاعاتی چندرسانه‌ای و چندمدلی مبتنی بر گراف و وکتورها است، توانست قابلیت‌های بی‌نظیری را فراهم کند. ساختار منسجم و واضح این گراف، همراه با برش‌های جداگانه در متن‌های گفتگو و استفاده از نگاشت‌های Gemma بر روی این بخش‌های تفکیک‌شده، به هوش مصنوعی امکان می‌دهد تا درک عمیق‌تر و دقیق‌تری از اطلاعات داشته باشد. عناصری مانند جستجوی معنایی محدود شده و تراکنش‌های ACID به‌گونه‌ای طراحی شده‌اند که خطای در تفسیر و "توهمات" مرتبط با پردازش زبان طبیعی کاهش یابد، و در نتیجه، پاسخ‌های ارائه شده توسط هوش مصنوعی با دقت بالا و اطمینان بیشتری همراه باشد.

این توسعه، نقش مهمی در ارتقاء توانمندی‌های عامل‌های هوشمند در تحلیل و پاسخگویی به سوالات پیچیده طبیعی زبان ایفا می‌کند و نشان می‌دهد که چگونه فناوری‌های نوین می‌توانند راه‌حل‌های عملی و مؤثری در مواجهه با چالش‌های داده‌های بزرگ ارائه دهند. در نتیجه، این پیشرفت‌ها می‌تواند کاربردهای فراگیرتری در حوزه‌های مختلف از جمله تحلیل رویدادهای بزرگ، مدیریت اطلاعات و سیستم‌های هوشمند داشته باشد.

#هوش_مصنوعی #مدیریت_داده #یادگیری_ماشین #تکنولوژی

🟣لینک مقاله:
https://mlops.community/engineering-the-memory-layer-for-an-ai-agent-to-navigate-large-scale-event-data/?utm_source=tldrdata


👑 @Database_Academy
Forwarded from Job
در این شرایط سخت و جنگی، اگر به کمکی نیاز دارید، به من اطلاع دهید.

🟢 اگر کارفرما هستید و به دنبال برنامه‌نویس می‌گردید، آگهی شغلی خود را برای ما ارسال کنید 📩

🟢 اگر کارجو هستید، رزومه خود را بفرستید تا در فرصت‌های شغلی مرتبط معرفی شوید 🚀

ادمین:
@mrbardia72

.......

https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
🔵 عنوان مقاله
What is inference engineering? Deepdive (28 minute read)

🟢 خلاصه مقاله:
در حال حاضر، استنتاج مدل‌های زبانی بزرگ (LLM) تبدیل به یکی از نگرانی‌های اصلی در حوزه تولید شده است و این موضوع به‌ویژه با بلوغ مدل‌های متن‌باز اهمیت بیشتری یافته است. در واقع، مهندسی استنتاج فراتر از آزمایشگاه‌های پیشرو رفته و در پروژه‌های عملی و در مقیاس‌های بزرگ نیز کاربرد پیدا کرده است. لایه‌بندی این فرآیند شامل اجزای مختلفی است، از زمان اجرا و زیرساخت‌های فنی گرفته تا ابزارهای توسعه، که هر کدام نقش مهمی در بهینه‌سازی عملکرد نهایی دارند. رایج‌ترین تکنیک‌های مورد استفاده در این حوزه شامل دسته‌بندی، کشینگ، کم‌نظیرسازی، کدگذاری تئوریک، توازی پارامترها، و تفکیک فرآیند پیش‌پرداخت و دیکود است.

وقتی این تکنیک‌ها در مقیاس بزرگ اجرا می‌شوند، می‌توانند به طور قابل توجهی زمان پاسخگویی سیستم را کاهش دهند، بهره‌وری و دوام سرویس‌ها را تا ۹۹.۹۹ درصد یا بیشتر افزایش دهند و در عین حال هزینه‌ها را نسبت به APIهای مدل‌های بسته، تا بیش از ۸۰ درصد کاهش دهند. به همین دلیل، مهندسی استنتاج به عنوان یک حوزه حیاتی و راهبردی در توسعه مدل‌های زبانی بزرگ شناخته شده است، که نه تنها در آزمایشگاه‌ها بلکه در محیط‌های عملیاتی و تولیدی اهمیت پیدا کرده است.

در نتیجه، تمرکز بر تکنیک‌ها و زیرساخت‌های مناسب برای استنتاج مدل‌های زبانی بزرگ، کلید بهره‌وری، هزینه‌کارآمدی و رضایت کاربر در استفاده‌های صنعتی است. این حوزه در حال حاضر به عنوان جزیی جدایی‌ناپذیر از توسعه و کاربرد فناوری‌های هوش مصنوعی در کسب‌وکارها و فناوری‌های نوظهور شناخته می‌شود.

#هوش_مصنوعی #مدل_زبان_بزرگ #مهندسی_استنتاج #پایش_پرفورمنس

🟣لینک مقاله:
https://newsletter.pragmaticengineer.com/p/what-is-inference-engineering?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
AWS Engineer Reports PostgreSQL Performance Halved By Linux 7.0, But A Fix May Not Be Easy (3 minute read)

🟢 خلاصه مقاله:
نسخه ۷ لینوکس، اخیراً مشکلات قابل توجهی را برای کاربران پایگاه داده PostgreSQL ایجاد کرده است. این نسخه جدید با تغییراتی در مدیر برنامه‌ریزی‌ها (اسکجولرها) باعث کاهش شدید در عملکرد این سیستم می‌شود، به طوری که توان عملیاتی پایگاه داده تا حدود نیمی کاهش یافته است. این مشکل به واسطه افزایش زمان صرف شده برای قفل‌های اسپین‌لاک (spinlock) است، که روند انجام عملیات‌های همزمان را کندتر می‌کند و منجر به کاهش کارایی کلی می‌شود.

توسعه‌دهندگان و مدیران سیستم‌ها در حال بررسی راه‌حل‌هایی برای این مشکل هستند، اما یافتن یک راه‌حل آسان و سریع چندان محتمل به نظر نمی‌رسد. این مشکل نشان می‌دهد که بروزرسانی‌های سیستم‌عامل باید با دقت و آزمایش‌های کامل انجام شوند، زیرا تغییرات داخلی در ساختارهای مدیریتی می‌تواند تاثیرات چشمگیری بر عملکرد برنامه‌های حیاتی مانند پایگاه داده‌ها بگذارد. در نتیجه، نیاز به بررسی عمیق‌تر و اصلاحاتی در سطح کرنل و اسکجولرها برای بهبود این وضعیت در حال حاضر احساس می‌شود.

این موضوع برای کاربران و مدیران فنی که از PostgreSQL بر روی لینوکس ۷ استفاده می‌کنند، نگران‌کننده است، زیرا کاهش عملکرد ممکن است تاثیر مستقیمی بر سرویس‌دهی و توسعه کسب‌وکارها داشته باشد. با وجود این، تیم‌های توسعه و هسته لینوکس در تلاش هستند راه‌کارهای موقت و دائمی برای رفع این مشکل ارائه دهند؛ اما پیش‌بینی می‌شود که این فرآیند، زمان‌بر و نیازمند اصلاحات عمیق در سطح سیستم باشد.

#پایگاه_داده #لینوکس # PostgreSQL #عملکرد

🟣لینک مقاله:
https://www.phoronix.com/news/Linux-7.0-AWS-PostgreSQL-Drop?utm_source=tldrdata


👑 @Database_Academy
Forwarded from Gopher Academy
✈️اولین قدم تلگرام در مبارزه با فیلترینگ، به زودی به نسخه جدید تلگرام اضافه می‌شود 🚀

تلگرام با به‌روزرسانی‌های جدید نسخه ازمایشی (نسخه ۶.۷.۲ دسکتاپ و بتای ۱۲.۶.۴ اندروید) نخستین گام جدی خود را برای مقابله با فیلترینگ برداشت 🛡️.

این شرکت تولید پیام TLS ClientHello در اتصال پروکسی MTProto را تغییر داد تا فینگرپرینت ترافیک شبیه‌تر به مرورگرها شود 🌐؛ در نتیجه، سیستم‌های تشخیص عمیق بسته‌ها (DPI) در کشورهایی مانند روسیه دیگر نمی‌توانند ترافیک پروکسی MTProto را به‌راحتی شناسایی و مسدود کنند 🔒🚫.
🔵 عنوان مقاله
Schemas in Postgres and Oracle: What's the Difference?

🟢 خلاصه مقاله:
در دنیای پایگاه‌های داده، مفاهیم اسکیمای مربوط به سیستم‌های مختلفی مانند PostgreSQL و Oracle ممکن است در ظاهر شباهت‌هایی داشته باشند، اما در عمیق‌ترین سطح، تفاوت‌های زیادی بین آن‌ها وجود دارد. این تفاوت‌ها در جزئیات ساختاری و نحوه مدیریت داده‌ها تاثیر قابل ملاحظه‌ای بر نحوه طراحی و بهینه‌سازی سیستم‌های دیتابیس دارند.

اسکیمای پایگاه داده، اصولاً نقشه‌ی راهنما و ساختار کلی داده‌ها را مشخص می‌کند و نقش مهمی در سازماندهی، امنیت و کارایی داده‌ها ایفا می‌کند. در PostgreSQL، اسکیمای معمولاً به عنوان یک فضای منطقی برای دسته‌بندی جداول، نماها، دیگر اشیاء و روابط آن‌ها در نظر گرفته می‌شود. این نوع اسکیمای‌ها امکان جداسازی داده‌ها و امکانات مدیریتی خاص را فراهم می‌کنند که برای توسعه‌دهندگان بسیار کاربردی است.

در مقابل، در سیستم Oracle، اسکیمای‌ها نقش بسیار پررنگ‌تری دارند و معمولاً به عنوان یک بخش کلیدی در ساختار امنیتی و مدیریت داده‌ها عمل می‌کنند. آن‌ها معمولاً با کاربر یا اکانت دیتابیس مرتبط هستند و تعیین می‌کنند که چه کسانی به چه داده‌هایی دسترسی دارند. این رویکرد، کنترل دقیق‌تری بر مجوزهای دسترسی فراهم می‌کند و امکان تنظیمات امنیتی پیشرفته را میسر می‌سازد.

در نتیجه، اگرچه در ظاهر و در برخی موارد، ساختار اسکیمای هر دو سیستم مشابه به نظر می‌رسد، در جزئیات، دو مدل بسیار متفاوت طراحی شده‌اند که نشان‌دهنده فلسفه‌های متفاوت در مدیریت داده‌ها و امنیت است. درک این تفاوت‌ها برای توسعه‌دهندگان و مدیران دیتابیس حیاتی است تا بتوانند بهترین بهره را از قابلیت‌های هر سیستم ببرند و از مشکلات احتمالی جلوگیری کنند.

#پایگاه‌داده #PostgreSQL #Oracle #مدیریت‌دیتا

🟣لینک مقاله:
https://postgresweekly.com/link/183427/web


👑 @Database_Academy
Forwarded from VIP
از آخرین اخبار تکنولوژی جهان جا نمونیم 🌍:

1. ربات انسان‌نمای Unitree R1 در راه بازار جهانی با قیمت 4370 دلار 🤖💰.

2. ثبت اختراع توالت داخلی صندیل خودرو توسط یک خودروساز چینی 🚗🚽.

3. رنگ جدید «دارک چری» احتمالی برای آیفون 18 پرو 📱🎨.

4. پیشنهاد ایلان ماسک برای پرداخت‌های دولتی به افراد بیکار شده توسط هوش مصنوعی 🧠💸.

5. تیم کوک پس از 15 سال، از اول سپتامبر جای خود را به جان ترنوس در اپل خواهد داد 🍎👋.

6. واتس‌اپ در حال آزمایش اشتراک پولی 2.49 یورو در ماه برای کاربران اندروید 💬💳.

7. اداره رگولاتوری Ofcom بریتانیا تحقیقاتی را درباره تلگرام در خصوص محتوای غیرقانونی آغاز کرده است 🇬🇧🔍.

8. شرکت OpenAI مدل بصری Images 2.0 را با قابلیت‌های «تفکر» برای تولید تصویر معرفی کرد 🎨🧠.

9. واتس‌اپ در حال آزمایش خلاصه‌سازی پیام‌های نخوانده با پردازش خصوصی توسط هوش مصنوعی 📝🤖.

10. اپل نقص امنیتی را برطرف کرد که می‌توانست اعلان‌های حذف‌شده را روی دستگاه نگه دارد 🍏🔒.

11. اینتل با لپ‌تاپ مفهومی سبک‌وزن خود با تراشه Wildcat Lake، رقیبی برای مک‌بوک نشان داد 💻🚀.

https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
Forwarded from Software Engineer
دوماهه که با دنیا ارتباط نداریم
💔
🔵 عنوان مقاله
PostgresBench: A Reproducible Benchmark for Postgres Services

🟢 خلاصه مقاله:
پروژه PostgresBench ابزاری است برای ارزیابی و مقایسه خدمات مدیریت‌شده پایگاه داده پستگرس. شرکت کلیک‌هاوس، که قصد داشت عملکرد سرویس مدیریت‌شده پستگرس خود را در مقایسه با رقبا آزمایش کند، این سیستم بنچمارک را توسعه داد. هدف اصلی از ساخت این ابزار، انجام آزمایش‌های استرس و ارزیابی قابلیت اطمینان و کارایی سرویس‌ها در شرایط بار سنگین بود. این سیستم، برخلاف بسیاری از بنچمارک‌های دیگر، متن‌باز است و به راحتی قابل تکرار و بررسی است، بنابراین کاربران می‌توانند متدولوژی آن را مشاهده کرده و صحت نتایج را تایید کنند.

در طی آزمایش‌ها، کلیک‌هاوس نشان داد که سرویس پستگرس آن‌ها نسبت به رقبا در برخی از شاخص‌ها برتری دارد، اما نتیجه نهایی همواره بر اساس روش‌های مشخص و قابل تکرار است. این شفافیت و قابلیت بازپرس‌پذیری، اهمیت ویژه‌ای در اطمینان از صحت و شیوه ارزیابی‌ها دارد. به طور کلی، PostgresBench ابزاری مفید برای توسعه‌دهندگان و مدیران سیستم است که می‌خواهند عملکرد سرویس‌های پستگرس مدیریت‌شده را به صورت عینی و قابل اعتماد ارزیابی کنند.

این پروژه نمونه‌ای است از تلاش‌های شرکت‌ها برای ایجاد فضای شفاف‌تر در حوزه ارزیابی و مقایسه خدمات ابری پایگاه داده، که نتیجه آن بهبود کیفیت و رقابت‌پذیری سرویس‌ها در بازار است. استفاده از این بنچمارک متن‌باز، امکان تبادل بهتر دانش و اصلاح متدهای ارزیابی در آینده را فراهم می‌کند، و به متخصصان کمک می‌کند تا تصمیم‌گیری‌های بهتری در انتخاب سرویس مناسب داشته باشند.

#پستگرس #بنچمارک #کلیک‌هاوس #پایگاه_داده

🟣لینک مقاله:
https://postgresweekly.com/link/183422/web


👑 @Database_Academy
🔵 عنوان مقاله
Waiting For Postgres 19: Allow Table Exclusions in Publications

🟢 خلاصه مقاله:
در انتظار نسخه ۱۹ پستگرس، ویژگی جدیدی قرار است معرفی شود که مدیریت و کنترل انتشارهای منطقی در پایگاه داده‌ها را به سطح بالاتری می‌برد. بر اساس این به‌روزرسانی، کاربران قادر خواهند بود با استفاده از دستور جدیدی به نام «EXCEPT TABLE»، برخی جداول خاص را از فرآیند انتشار در publicationهای مبتنی بر «FOR ALL TABLES» مستثنی کنند. این امکان به مدیران پایگاه داده کمک می‌کند تا در مواردی که نیاز است فقط بخش خاصی از جداول در انتشار قرار گیرند و مابقی در ظاهر حذف یا استثنا شوند، به راحتی این کار را انجام دهند. چنین قابلیتی به ویژه در محیط‌های پیچیده و بزرگ، زمانی که کنترل دقیق‌تر بر روی نسخه‌پذیرها (replications) ضرورت دارد، بسیار مفید و کارآمد است. به این ترتیب، نسخه ۱۹ پستگرس امکانات جدید و انعطاف‌پذیری بیشتری برای مدیریت داده‌ها و انتشارهای آن فراهم می‌کند و انتظار می‌رود در آینده‌ای نزدیک مورد استقبال قرار گیرد.

#پستگرس #نسخه۱۹ #پشتیبانی_از_انتشارات #مدیریت_پایگاه_داده

🟣لینک مقاله:
https://postgresweekly.com/link/182727/web


👑 @Database_Academy
🔵 عنوان مقاله
The Power of Data Sketches: A Comprehensive Guide (18 minute read)

🟢 خلاصه مقاله:
در دنیای پردازش و تحلیل داده‌های بزرگ، استفاده از ساختارهای داده‌ای فشرده و مبتنی بر احتمالاتی، راهکاری کارآمد و هوشمندانه محسوب می‌شود. یکی از این ساختارهای جذاب، «طرح‌های داده» یا همان Data Sketches هستند که به کمک آن‌ها می‌توان خلاصه‌ای کوچک و مفید از حجم عظیمی از داده‌ها تهیه کرد. این ساختارها، در یک مرحله و با تنها یک عبور از مجموعه داده، اطلاعات قابل توجهی را جمع‌آوری می‌کنند.

این روش‌ها با مسیری مختصر و کم‌حجم، خطای کمی را در بر دارند که به صورت ریاضی محدود شده است، اما در مقابل، سرعت پردازش و بهره‌وری از حافظه به شدت افزایش می‌یابد. همین مزیت‌ها، آن‌ها را به ابزارهای بی‌نظیر در زمینه تحلیل داده‌های بزرگ در فناوری‌هایی مانند Spark، Druid، Pinot، BigQuery و Presto/Trino تبدیل کرده است. در واقع، این ساختارهای فشرده، فرصت‌های جدیدی برای انجام تجزیه و تحلیل‌های سریع‌تر و بهینه‌تر فراهم می‌کنند و امکان مدیریت حجم‌های عظیم داده را با کم‌ترین هزینه و بیش‌ترین کارایی ممکن می‌سازند.

در کل، «طرح‌های داده» ابزارهای قدرتمندی هستند که با تعادل بی‌نظیر میان دقت و کارایی، آینده تحلیل‌های بزرگ داده را به شکل قابل توجهی تغییر می‌دهند و به توسعه‌دهندگان و تحلیل‌گران این امکان را می‌دهند تا بتوانند در کم‌ترین زمان، نتیجه‌گیری‌های جامع و قابل اعتماد داشته باشند.

#تحلیل_داده #BigData #طرح‌های_داده #پیشرفتهای_فناوری

🟣لینک مقاله:
https://luminousmen.com/post/the-power-of-data-sketches-a-comprehensive-guide/?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
The 1 GB Limit That Breaks pg_prewarm at Scale

🟢 خلاصه مقاله:
در سیستم‌های پایگاه داده، ابزارهای مختلفی برای بهبود عملکرد وجود دارد که یکی از آن‌ها، قابلیت پیش‌بارگذاری صفحه‌های حافظه در پایگاه داده است. یکی از این ابزارها، تابع `pg_prewarm` است که با هدف حفظ و افزایش سرعت عملیات، پس از راه‌اندازی مجدد سرور، محتواهای مهم را مجدداً در حافظه قرار می‌دهد تا از کاهش سریع سرعت واکشی داده‌ها جلوگیری کند و عملکرد سیستم حفظ شود. این ویژگی برای برنامه‌هایی که نیاز به بارگذاری سریع‌تر داده‌ها دارند بسیار مفید است و می‌تواند تاثیر قابل توجهی بر کارایی سیستم‌های پراستفاده داشته باشد.

با این حال، مشکل زمانی مشخص می‌شود که فایل‌های حافظه یا داده‌های مورد نیاز، حجم بیشتری از حد تعیین شده، یعنی یک گیگابایت، را اشغال می‌کنند. در نسخه‌های قدیمی‌تر از PostgreSQL 16، ابزار `pg_prewarm` در مواجهه با چنین حجم‌هایی با محدودیت‌های قابل توجهی روبه‌رو می‌شود. به طور خاص، با حجم‌های بیش از ۱ گیگابایت، این ابزار قادر به انجام عملیات مورد نظر نیست، که این مسئله باعث بروز خطا یا کاهش کارایی می‌شود. این محدودیت، به طور جالب، نشان می‌دهد که چرا `pg_prewarm` در مقیاس‌های بزرگ‌ تر نمی‌تواند به طور موثر عمل کند؛ چرا که محدودیت‌های مربوط به حجم داده‌ها، مانع از عملکرد صحیح آن‌ها می‌شود.

این مشکل، به‌ویژه در مراکز داده بزرگ و سیستم‌هایی که حجم زیادی از اطلاعات را در حافظه نگهداری می‌کنند، اهمیت دارد. توسعه‌دهندگان و مدیران پایگاه داده‌ها باید این محدودیت‌ها را در نظر داشته باشند و استراتژی‌هایی برای مدیریت حجم داده‌ها و بهینه‌سازی عملکرد سیستم‌های خود اتخاذ کنند. در نتیجه، این محدودیت، نقطه ضعف واضحی در مقیاس‌پذیری `pg_prewarm` در نسخه‌های قدیمی‌تر است که نیازمند بازنگری و به‌روزرسانی در آینده است.

در پایان، این موضوع تأکیدی است بر اهمیت ارتقای سیستم‌ها و ابزارهای مدیریت پایگاه داده، تا بتوانند در مواجهه با حجم‌های بزرگ داده، همچنان با کارایی بالا و بدون محدودیت‌های غیرضروری عمل کنند.

#PostgreSQL #پایگاه_داده #بهبود_کارایی #مدیریت_داده

🟣لینک مقاله:
https://postgresweekly.com/link/183800/web


👑 @Database_Academy
🔵 عنوان مقاله
Volga - Data Processing for Real-Time AI/ML (20 minute read)

🟢 خلاصه مقاله:
در حال حاضر، ولگا به یک موتور کاملاً مبتنی بر زبان Rust برای پردازش همزمان و واقعی هوش مصنوعی و یادگیری ماشین تبدیل شده است. این تغییر، جایگزین هسته قبلی که بر پایه پایتون و Ray بود، شده است تا محیطی ساده‌تر، با عملکرد بالاتر و کنترل دقیق‌تر بر روی روند اجرا و وضعیت سیستم فراهم کند. هدف اصلی توسعه این موتور، ادغام عملیات‌های استریم، دسته‌ای و درخواست‌درخواست در یک سامانه مستقل است. این رویکرد باعث می‌شود نیاز به اتصال مکرر میان فناوری‌هایی مانند Flink، Spark، Redis و سرویس‌های سفارشی برطرف شود و در عین حال، وضعیت تا لحظه‌خاص در داخل موتور حفظ گردد، که این امر اهمیت زیادی در پردازش‌های زمان واقعی دارد.

در این سیستم، اجزای کلیدی شامل Apache DataFusion برای ساخت استراتژی‌های کوئری SQL و سایر فناوری‌های مرتبط است که با هم یک بستر قدرتمند و یکپارچه برای پردازش داده‌ها فراهم می‌کنند. هدف اصلی این معماری، ایجاد یک سامانه یک‌پارچه و کارآمد است که بتواند نیازهای پیچیده هوش مصنوعی در زمان واقعی را برآورده کند، بدون اینکه وابستگی زیادی به چندین فناوری مختلف باشد یا یکپارچگی آنها مشکل‌ساز شود.

در مجموع، پروژه ولگا نشان‌دهنده تحولی بنیادی در حوزه پردازش داده‌های زمان واقعی است که با بهره‌گیری از فناوری‌های پیشرفته، امکان مدیریت بهتر، کارایی بیشتر و کنترل دقیق‌تر بر فرآیندهای پیچیده یادگیری ماشین را فراهم می‌کند. این نوآوری می‌تواند تاثیر قابل توجهی در توسعه سیستم‌های هوشمند مبتنی بر هوش مصنوعی داشته باشد و آینده‌ای متفاوت در این حوزه رقم بزند.

#هوش_مصنوعی #یادگیری_ماشین #پردازش_زمان_واقعی #ولگا

🟣لینک مقاله:
https://volgaai.substack.com/p/volga-a-rust-rewrite-of-a-real-time?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
Rotating Postgres Credentials in Production Without Downtime

🟢 خلاصه مقاله:
در فرآیند مدیریت پایگاه‌های داده، مخصوصاً در محیط‌های تولیدی، نگهداری و به‌روزرسانی اطلاعات اعتبارسنجی کاربران اهمیت زیادی دارد. یکی از چالش‌های رایج، تغییر و به‌روزرسانی مجوزها و اطلاعات کاربری بدون توقف سرویس است. این مسئله به منظور جلوگیری از اختلال در دسترسی کاربران و حفظ عملیات بی‌وقفه سیستم، نیازمند راهکارهای فنی دقیق و امن است.

برای این منظور، تیم‌های توسعه و مدیران سیستم به راهکارهایی نیاز دارند که امکان چرخش مجوزهای کاربری در دیتابیس‌های Postgres را بدون نیاز به توقف سرویس فراهم کند. این فرآیند، به ویژه در محیط‌های حساس و پرکاربرد، نشان‌دهنده اهمیت برنامه‌ریزی دقیق و استفاده از ابزارهای مناسب است تا عملکرد سیستم در حین تعویض مجوزها ثابت بماند و هیچ وقفه‌ای ایجاد نشود.

در آینده، با عرضه نسخه جدید Postgres 19، امکانات جدیدی مانند توابع pg_get_*_ddl() ارائه خواهد شد که امکان مدیریت خودکار و امن‌تر مجوزها و اسناد دیتابیسی را فراهم می‌آورد. این ویژگی‌ها به مدیران کمک می‌کنند تا فرآیندهای نگهداری و بروزرسانی را ساده‌تر، سریع‌تر و بدون مشکل انجام دهند، بدون آنکه نیاز به توقف سیستم باشد.

در نتیجه، داشتن راهکارهای مؤثر برای چرخش مجوزهای کاربری در دیتابیس‌ها و بهره‌برداری از قابلیت‌های جدید نسخه‌های آینده، کلید حفظ عملیات روان و امن در محیط‌های تولید است. این استراتژی‌ها نه تنها به کاهش ریسک‌های احتمالی کمک می‌کنند بلکه بهره‌وری سیستم را نیز بالا می‌برند و اطمینان از استمرار خدمات را تضمین می‌کنند.

#مدیریت_دیتابیس #Postgres #امنیت_سایبر #توسعه_نرم‌افزار

🟣لینک مقاله:
https://postgresweekly.com/link/183803/web


👑 @Database_Academy
🔵 عنوان مقاله
The First Draft of the PostgreSQL 19 Release Notes

🟢 خلاصه مقاله:
برئیس در تازه‌ترین گزارش خود، نسخه اولیه و مفصل‌ترین پیشنهادات برای یادداشت‌های عرضه نسخه ۱۹ پستگرس را نهایی کرده است. این نسخه قصد دارد در ماه سپتامبر امسال منتشر شود و نسخه آزمایشی آن نیز در چند ماه آینده ارائه خواهد شد. این پیش‌نویس اولیه با تمرکز بر نکات کلیدی و ویژگی‌های جدید، مسیر توسعه و بهبود این سیستم مدیریت پایگاه داده قدرتمند را نشان می‌دهد. انتظار می‌رود با انتشار این نسخه، امکانات و قابلیت‌های پیشرفته‌تر به کاربران عرضه شود تا بهره‌وری و کارایی سیستم را افزایش دهد و نیازهای متنوع دنیای پایگاه داده‌ها را بهتر برآورده کند.

#پستگرس #نسخه۱۹ #پایگاهداده #توسعهپایدار

🟣لینک مقاله:
https://postgresweekly.com/link/184105/web


👑 @Database_Academy
🔵 عنوان مقاله
Using Non-ACID Storage as a Workaround for a Lack of Autonomous Transactions

🟢 خلاصه مقاله:
در دنیای مدیریت پایگاه‌های داده، برخی مواقع به دلیل محدودیت‌ها یا نیازهای خاص، توسعه‌دهندگان باید راهکارهای مبتکرانه‌ای برای حل مشکلات پیدا کنند. یکی از این راهکارها، استفاده از نوع خاصی از ذخیره‌سازی است که فاقد ویژگی‌های ACID است و به عنوان یک راه‌حل جایگزین برای غلبه بر نبود تراکنش‌های مستقل، به کار می‌رود. این روش ممکن است در مواردی مفید باشد که نیاز به اجرای سریع و ساده‌تر عملیات بدون نیاز به تضمین کامل ویژگی‌های تراکنش‌های سنتی دارید.

در این مقاله به بررسی استراتژی‌هایی می‌پردازیم که توسعه‌دهندگان در مواجهه با محدودیت‌های سیستم‌های مدیریت پایگاه داده، به‌ویژه در زمان غیبت تراکنش‌های مستقل، از آنها بهره می‌برند. استفاده از ذخیره‌سازی‌های غیرACID، علی‌رغم معایب، می‌تواند در موارد خاص و موقت، راه‌حل مؤثری باشد تا بتوان بدون نیاز به تراکنش‌های کامل، کارایی سیستم را حفظ و بهبود بخشید.

پیشنهاد می‌شود افرادی که در حال توسعه یا نگهداری پایگاه داده‌های بزرگ و پیچیده هستند، این نوع استراتژی‌ها را در قالب راهکارهای موقت و در راستای نیازهای خاص خود بررسی و آزمایش کنند. این رویکردها، اگرچه در ظاهر محدودیت‌هایی دارند، اما در موارد حساس و خاص می‌توانند نقش مهمی در روند بهبود و توسعه سیستم‌های مدیریت داده ایفا کنند.

#پایگاه_داده #توسعه_نرم‌افزار #پایدار #تکنولوژی

🟣لینک مقاله:
https://postgresweekly.com/link/184121/web


👑 @Database_Academy