885 subscribers
44 photos
3 videos
1 file
1.4K links
🕸 Database Academy

حمایت مالی:
https://www.coffeete.ir/mrbardia72

ادمین:
@mrbardia72
Download Telegram
🔵 عنوان مقاله
pgEdge AI DBA Workbench

🟢 خلاصه مقاله:
پروژه‌ ی pgEdge AI DBA Workbench ابزاری قدرتمند و متن‌باز است که به طور تخصصی برای نظارت و تشخیص مشکلات سیستم‌های پایگاه داده‌های پستگرس طراحی شده است. این ابزار امکان مانیتورینگ کامل و دقیق نسخه‌های جدید پستگرس، از جمله نسخه ۱۴ به بالا، را فراهم می‌کند و کمک می‌نماید تا مدیران پایگاه داده بتوانند به راحتی صحت عملکرد سیستم‌های خود را کنترل و مسائل احتمالی را سریع‌تر شناسایی کنند. با بهره‌گیری از فناوری‌های هوشمند، این بستر قابلیت تحلیل وضعیت پایگاه داده و ارائه هشدارهای کارآمد را دارد و از این رو، نقش مهمی در بهبود کارایی و نگهداری سیستم‌های مقیاس‌پذیر ایفا می‌کند.

این پروژه منبع باز است که فرصت‌های بی‌پایانی برای توسعه و همراهی جامعه کاربران و توسعه‌دهندگان فراهم می‌آورد. به واسطه قابلیت‌های پیشرفته آن در ارزیابی سلامت و تشخیص مشکلات، از بروز خسارت‌های جدی جلوگیری کرده و مدیریت سیستم‌های پایگاه داده را بهبود می‌بخشد. در نهایت، pgEdge AI DBA Workbench ابزاری است که هر مدیری پایگاه داده و توسعه‌دهنده‌ای که به دنبال راه‌حلی هوشمند و قابل اعتماد برای نظارت بر سیستم‌های پستگرس است، را به شدت جذب خواهد کرد.

#پستگرس #نظارت_هوشمند #پایگاه_داده #منبع_باز

🟣لینک مقاله:
https://postgresweekly.com/link/184124/web


👑 @Database_Academy
🔵 عنوان مقاله
Writing Custom Table Providers in Apache DataFusion (9 minute read)

🟢 خلاصه مقاله:
در سیستم‌های پردازش داده‌های بزرگ، امکان افزودن منابع داده سفارشی اهمیت زیادی دارد. در فریمورک Apache DataFusion، بخش «مشترک جدول» (Table Provider) اجازه می‌دهد تا منابع مختلفی مانند فایل‌ها، APIها یا سامانه‌های اختصاصی با جدا کردن فرآیند برنامه‌ریزی و اجرا، داده‌های مورد نیاز را در سیستم ادغام کنند. به طور خاص، متد `TableProvider::scan()` در مرحله برنامه‌ریزی اجرا می‌شود، بنابراین باید سریع و کم‌حجم باشد تا فرآیند برنامه‌ریزی را مختل نکند. در مقابل، متد `ExecutionPlan::execute()` برای ایجاد جریان‌های داده در هر قسمت و اجرای نهایی داده‌ها مورد استفاده قرار می‌گیرد، که مسئول انجام کارهای سنگین و واقعی با داده‌ها است.

برای افزایش کارایی، اهمیت دارد که توسعه‌دهندگان صحیح کردن پارتیشن‌بندی، ترتیب‌دهی و فیلتر کردن داده‌ها را در مراحل مناسب انجام دهند. این کار کمک می‌کند تا بسیاری از عملیات غیر ضروری مانند RepartitionExec، SortExec و I/O بی‌جهت حذف شوند، بنابراین برنامه‌های داده‌ای سریع‌تر و بهینه‌تر اجرا می‌شوند و منابع سیستم بهتر بهره‌برداری می‌شود.

سازمان‌دهی مناسب در این قسمت‌ها نقش کلیدی در بهینه‌سازی فرآیندهای داده‌ها دارد، و توسعه دهندگان باید آگاه باشند که هر مرحله چه وظیفه‌ای دارد و چگونه می‌توان عملیات غیرضروری را حذف کرد تا به نتیجه‌ای سریع و کارآمد برسند. با درک صحیح این مفاهیم، می‌توان منابع سفارشی را به خوبی در سیستم DataFusion پیاده‌سازی و بهره‌برداری کرد و عملکرد سیستم را به طور قابل توجهی بهبود بخشید.

#مدیریت_داده #تحلیل_سیستم #بهینه‌سازی #DataFusion

🟣لینک مقاله:
https://datafusion.apache.org/blog/2026/03/31/writing-table-providers?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
Nobody Is Making Decisions With Your Dashboards (6 minute read)

🟢 خلاصه مقاله:
در بسیاری از موارد، درخواست‌های مربوط به داشبوردها تنها به عنوان تظاهر به داشتن دیدگاه عمیق‌تر یا ابزاری برای کاهش نگرانی‌ها مطرح می‌شوند، اما در واقع نیازهای واقعی کسب‌وکارهای بی‌بی‌دی (هوشمند تجاری) را برآورده نمی‌کنند. این درخواست‌ها معمولا به منظور نمایش داده‌ها، تصدی‌گری بر مالکیت داده‌ها، کاهش اضطراب، یا انتقال داده‌های خام است، نه نیازهای پیچیده‌تر و استراتژیک در دنیای هوشمندی تجاری.

وقتی تیم‌های داده به عنوان یک «رابط برنامه‌نویسی SQL انسانی» دیده می‌شوند، مشکلات فنی زیادی ایجاد می‌شود، مانند pipelines بدون مالک، داده‌های بی‌سروصدا، و محیط‌هایی که اعتماد به آن‌ها سخت است. این وضعیت در زمانی تشدید می‌شود که داشبوردها فاقد مالکین مشخص و فرآیندهای روشن برای حذف یا به‌روزرسانی باشند، که نتیجه آن بی‌نظمی و بی‌اعتمادی است.

ضمن این که مدیران و ذینفعان باید پیش از ساخت هر داشبورد، هدف تصمیم‌گیری، اقدام مورد انتظار و مسئولیت‌پذیری واضح و مشخصی تعریف کنند. این فرآیند پایه‌ای است تا اطمینان حاصل شود که داشبوردها نه تنها ابزاری برای نمایش داده هستند، بلکه منطبق بر نیازهای استراتژیک کسب‌وکار و مسئولیت‌پذیری دقیق هستند.

در نتیجه، برای بهره‌برداری موثر و واقعی از داشبوردها، باید دقت و برنامه‌ریزی مناسب صورت گیرد و نقش‌های مشخصی برای مالکیت و نگهداری آن‌ها تعیین شود. این رویکرد، توسعه فرهنگ تصمیم‌گیری مبتنی بر داده و ایجاد اعتماد در محیط‌های داده‌محور را تسهیل می‌کند و نهایتا کارایی و اثربخشی هوشمندی تجاری را افزایش می‌دهد.

#هوشمندی_تجاری #مدیریت_داده #تصمیم‌گیری_مبتنی_بر_داده #داشبورد

🟣لینک مقاله:
https://blog.dataengineerthings.org/nobody-is-making-decisions-with-your-dashboards-06849015f28b?utm_source=tldrdata


👑 @Database_Academy
با این ابزار باحال و جذاب می‌تونی چت کنی و اون بهت sql میده
با Next.js نوشتنش و فعلا از MySQL، PostgreSQL، MSSQL، TiDB Cloud، OceanBase پشتیبانی می‌کنه.

https://github.com/sqlchat/sqlchat
Forwarded from VIP
معاون رئیس جمهور:

با خروج از این وضعیت، شرایط اینترنت به حالت قبل و حتی بهتر از اون برمی‌گرده.

🤐رضایت ما از اینترنت قبلی = 0
🤐میزان بهتر شدن = n
0 × n = 0

https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
🔵 عنوان مقاله
How CTIDs Gave Me a 30x Speedup on Processing 200 Million Rows

🟢 خلاصه مقاله:
در دنیای مدیریت پایگاه‌های داده، سرعت و کارایی دو عامل حیاتی هستند که می‌توانند تفاوت زیادی در عملکرد سیستم‌های بزرگ ایجاد کنند. در این مقاله، به تجربیات من در استفاده از شناسه‌های فیزیکی سطر یا همان CTID برای بهبود سرعت پردازش داده‌ها پرداخته‌ام. وقتی با جدولی شامل ۲۰۰ میلیون سطر مواجه شدیم، فهمیدم که چگونه روش‌های معمول مانند اسکن شاخص (Index Scan) در مقیاس‌های بزرگ ممکن است کارایی خود را از دست بدهند و چه راهکارهایی می‌تواند این محدودیت‌ها را برطرف سازد.

در ادامه، به بررسی جایگاهی که CTID در بهبود عملکرد ایفا می‌کند، می‌پردازیم. CTID، که به عنوان آدرس فیزیکی هر سطر در جدول شناخته می‌شود، برخلاف شاخص‌های معمول، امکان دستیابی مستقیم و سریع به ردیف‌های مورد نظر را فراهم می‌آورد. این ویژگی، فرآیند خواندن داده‌ها را بسیار سریع‌تر می‌کند و اجازه می‌دهد تا عملیات‌های انتهای ساختاری پیچیده کمتری نیاز باشد. ما نشان داده‌ایم که با بهره‌گیری صحیح از این قابلیت، می‌توان به صورت کامل از I/O ترتیبی (Sequential I/O) بهره‌مند شد، امری که در نتیجه سرعت پردازش و کارایی سیستم را به طور چشمگیری افزایش می‌دهد.

در بخش نهایی، تمامی الگوریتم‌ها و الگوهای دسترسی به داده‌ها را به صورت تصویری و قابل فهم نمایش داده‌ایم تا تفاوت‌ها و مزیت‌های استفاده از CTID به وضوح روشن شود. با بررسی نمونه‌های عملی، نشان داده‌ایم که چگونه این رویکرد تبدیل به یک استراتژی موثری برای پردازش سریع داده‌های حجیم شده است، به‌خصوص در مواردی که نیاز به عملیات‌های سریع و حجم‌بالای خواندن و نوشتن وجود دارد.

این تجربیات نشان می‌دهد که در مواجهه با حجم عظیم داده‌ها، بهره‌گیری از امکانات داخلی پایگاه‌ داده‌ها مانند CTID، می‌تواند تفاوت بین سیستم‌های کند و سیستم‌های فوق‌العاده سریع را رقم بزند. با ادامه‌ی توسعه و تحلیل این روش‌ها، می‌توان به سرعت‌های بی‌سابقه در پردازش داده‌ها دست یافت.

#پایگاه_داده #عملکرد_سریع #تحلیل_داده #تکنولوژی

🟣لینک مقاله:
https://postgresweekly.com/link/184119/web


👑 @Database_Academy
🔵 عنوان مقاله
Understanding Bitmap Heap Scans in Postgres

🟢 خلاصه مقاله:
در پایگاه داده‌های PostgreSQL، یکی از انواع اسکن‌هایی که ممکن است در بخش شرح اجرای پرس‌وجو (EXPLAIN) با آن مواجه شوید، اسکن‌های هیپ بیت‌مپ (Bitmap Heap Scan) هستند. این نوع اسکن‌ها معمولا در زمان‌هایی ظاهر می‌شوند که کوئری‌های پیچیده یا شروط خاصی روی جداول اجرا می‌شود و توسعه‌دهندگان و مدیران پایگاه داده در مواجهه اول با آن، ممکن است کمی سردرگم شوند. بنابراین، فهم نحوه کارکرد این اسکن‌ها کمک می‌کند تا بتوانید برنامه‌های اجرا را بهتر درک و بهینه‌سازی کنید.

در عملیات اسکن هیپ بیت‌مپ، PostgreSQL با استفاده از ایندکس‌های موجود، مجموعه‌ای از آیکون‌های مربوط به ردیف‌هایی که با شرط‌های پرس‌وجو مطابقت دارند، ساخته می‌شود. این مرحله، به صورت مؤثری، مجموعه‌ای از بلوک‌های داده در حافظه را مشخص می‌کند که نیاز است در ادامه بازیابی شوند. سپس، این بلوک‌ها به صورت هدفمند و کارآمد خوانده می‌شوند تا داده‌های مورد نظر دریافت شوند. این فرآیند، به خصوص زمانی که تعداد زیادی ردیف باید فیلتر شود، بسیار به صرفه است و به کاهش مصرف منابع کمک می‌کند.

در نتیجه، درک این ساختار و روش کارکرد اسکن هیپ بیت‌مپ، نقش مهمی در بهبود عملکرد پایگاه داده و تشخیص دلایل کندی کوئری‌ها دارد. این نوع اسکن‌ها، نوعی استراتژی برای مدیریت داده‌های بزرگ و جست‌وجوهای پیچیده است که با بهره‌گیری از ایندکس‌ها، عملیات بازیابی را تسهیل می‌کند و باعث سرعت بخشیدن به اجرای پرس‌وجوها می‌شود.

پایگاه داده‌های PostgreSQL با بهره‌گیری از این تکنیک، امکان تحلیل دقیق و بهینه‌سازی بهتر برنامه‌های پرس‌وجو را فراهم می‌آورد و کل فرآیند اجرای کوئری‌ها را واضح‌تر می‌سازد. بنابراین، آشنایی با این نوع اسکن، یکی از مهارت‌های کلیدی هر توسعه‌دهنده یا مدیر پایگاه داده است.

#پایگاه‌داده #PostgreSQL #بهینه‌سازی_پرس‌وجو #اسکن_هیپ‌بیت‌مپ

🟣لینک مقاله:
https://postgresweekly.com/link/184469/web


👑 @Database_Academy
🔵 عنوان مقاله
Do You Need to Tune Postgres Vacuum?

🟢 خلاصه مقاله:
آیا نیاز دارید که عملیات وکویوم در پایگاه داده پستگرس خود را بهبود دهید؟ در این مقاله، ما به صورت جامع و همیشگی به موضوع بررسی و کمک به کاهش حجم غیرضروری در دیتابیس پستگرس می‌پردازیم. یکی از موارد مهم در مدیریت عملکرد پایگاه‌های داده، نظارت بر فرآیند اتواوکوم (autovacuum) است که به طور خودکار وظیفه نگهداری و به‌روزرسانی جداول را بر عهده دارد. این فرآیند برای جلوگیری از تجمع فضای بلااستفاده و بروز مشکلات عملکردی حیاتی است، اما گاهی اوقات نیازمند تنظیمات دقیق‌تر و بررسی عمیق‌تر است. در این مقاله، ابتدا روش‌های تشخیص بروز مشکل بادکنک و انباشت غیرضروری در دیتابیس را بررسی می‌کنیم، سپس نکات و روش‌های مناسب برای بهینه‌سازی وکویوم و فرآیندهای مرتبط را ارائه می‌دهیم. این راهنما برای کسانی که می‌خواهند پایگاه داده پستگرس خود را به بهترین شکل ممکن نگهداری و بهینه‌سازی کنند، بسیار کاربردی و عملی است و به سادگی می‌تواند عملکرد سیستم را به طور قابل توجهی ارتقاء دهد.

#پستگرس #بهینه‌سازی_پایگاه_داده #اتوواکوم #مدیریت_حجم

🟣لینک مقاله:
https://postgresweekly.com/link/183428/web


👑 @Database_Academy
Forwarded from VIP
〰️ تازه‌های تکنولوژی

🎮 رد شایعه اتصال اجباری پلی‌استیشن
سونی اعلام کرد کاربران پلی‌استیشن ۴ و ۵ نیازی به اتصال اینترنتی هر ۳۰ روز ندارند.

💵 احتمال گرانی آیفون ۱۸
افزایش شدید هزینه حافظه می‌تواند قیمت آیفون‌های آینده را بالا ببرد.

🔉 آزمایش تبلیغات در جمینای
گوگل در حال تست تبلیغات داخل هوش مصنوعی Gemini است.

🏘 تغییر مسیر سرمایه‌گذاری اپل
مدیرعامل احتمالی آینده اپل می‌خواهد بودجه بیشتری را صرف محصولات انقلابی کند.

🍿 قانون جدید اسکار برای هوش مصنوعی
فقط بازیگری انسانی و فیلم‌نامه انسانی شانس دریافت جایزه خواهند داشت.

انتشار ۱۲ هزار تصویر از ناسا
ناسا آرشیو بزرگی از تصاویر مأموریت آرتمیس ۲ را منتشر کرده است.

🤖 ادامه تنش میان اوپن‌ای‌آی و ماسک
اوپن‌ای‌آی، ایلان ماسک را به تلاش برای تخریب مسیر این شرکت متهم کرد.

🎮 عرضه اولیه جی‌تی‌ای ۶ فقط روی کنسول
نسخه رایانه شخصی همزمان با کنسول‌ها منتشر نمی‌شود.

📸 افشای اطلاعات اولیه پیکسل ۱۱
جزئیاتی از تراشه Tensor G6 و ارتقای دوربین‌های پیکسل ۱۱ منتشر شده است.

😄 دور زدن تشخیص سن با سبیل
برخی کودکان بریتانیایی با کشیدن سبیل، سیستم‌های تشخیص سن را فریب می‌دهند.

ℹ️ پرونده جریمه اپل
اپل بابت تبلیغات مربوط به قابلیت‌های هوش مصنوعی سیری با پرونده‌ای سنگین روبه‌رو شده است.

🔎 بررسی امنیتی مدل‌های هوش مصنوعی
گوگل، مایکروسافت و xAI مدل‌های خود را پیش از عرضه عمومی در اختیار دولت آمریکا می‌گذارند.
🔵 عنوان مقاله
Waiting for Postgres 19: Online Enabling and Disabling of Data Checksums

🟢 خلاصه مقاله:
انتظار برای نسخه ۱۹ پایگاه داده پستگرس، با امکانات جدیدی از جمله فعال‌سازی و غیرفعال‌سازی آنلاین چک‌م‌سک‌ها، خبر مهمی برای توسعه‌دهندگان و مدیران سیستم است. این ویژگی به کاربران اجازه می‌دهد که بدون نیاز به توقف یا توقف موقت سرور، بررسی‌های صحت داده‌ها را فعال یا غیرفعال کنند. چنین قابلیتی علاوه بر کاهش زمان توقف سیستم، مدیریتِ بهتر و انعطاف‌پذیری بیشتری در نگهداری و به‌روزرسانی پایگاه داده فراهم می‌آورد.

نسخه ۱۹ پستگرس، تمرکز ویژه‌ای بر بهبود قابلیت‌های مدیریتی و عملکردی دارد، و یکی از موارد مورد بحث، این است که چگونه می‌توان بدون تاثیر بر سرویس‌دهی، امکاناتی نظیر چک‌م‌سک‌ها را مدیریت کرد. این توسعه، توانمندی‌های جدیدی برای تیم‌های فنی فراهم می‌کند که بتوانند انعطاف‌پذیرتر و سریع‌تر با تغییرات و نیازهای کاربران مقابله کنند. همچنین، محققان و توسعه‌دهندگان در حال بررسی راه‌هایی برای یافتن و رفع حفره‌های امنیتی و اشکالات پنهان در سیستم هستند که می‌تواند منجر به خطاهای قابل سوءاستفاده، مثل باگ‌های Use-After-Free، شود.

در این راستا، محققانی مانند هوبرت لوباتزسکی و آندری لپخیف کارهای ارزشمندی در زمینه کشفِ این نوع باگ‌ها انجام داده‌اند. آن‌ها تلاش می‌کنند تا با پیدا کردن و رفع این اشکالات مهم، امنیت و پایداری سیستم‌های مدیریت پایگاه داده‌های عظیم را بهبود بخشند. این تحقیقات در کنار امکانات جدید نسخه ۱۹، نوید می‌دهد که آینده‌ای با امنیت، انعطاف‌پذیری و کارایی بیشتر برای کاربران پستگرس رقم خواهد خورد.

#پستگرس #دانش_پایگاه_داده #امنیت_سیستم #نسخه۱۹

🟣لینک مقاله:
https://postgresweekly.com/link/184122/web


👑 @Database_Academy
🔵 عنوان مقاله
How we OCR'ed 30,000 papers using Codex, open OCR models, and Jobs (7 minute read)

🟢 خلاصه مقاله:
ما چگونه توانستیم با بهره‌گیری از مدل OCR متن‌باز و کدهای تولید شده توسط Codex، ۳۰,۰۰۰ مقاله را دیجیتالیزه کنیم؟
در این پروژه، Hugging Face از مدلی متن‌باز به نام Chandra-OCR-2 استفاده کرد که قادر بود متن‌های اسناد را با دقت بالا شناسایی و استخراج کند. با کمک اسکریپت‌هایی که توسط Codex توسعه یافته بودند، این فرآیند روی سرورهای بدون سرور (serverless GPUs) انجام شد؛ به گونه‌ای که حدود ۲۷ هزار مقاله به فرمت Markdown تبدیل شدند. هدف اصلی این کار، فراهم کردن امکان «گفت‌وگو با مقاله» بود؛ یعنی کاربران می‌توانند به راحتی محتوای مقاله‌ها را جستجو، مطالعه و با آن‌ها تعامل داشته باشند.
برای تسریع در انجام این پروژه، عملیات پردازشی به صورت همزمان انجام شد که باعث شد کلیت فرآیند در حدود ۳۰ ساعت به پایان برسد. علاوه بر این، هزینه اجرایی نسبتا پایین باقی ماند، تنها حدود ۸۵۰ دلار. این رویکرد نشان می‌دهد که با استفاده از فناوری‌های متن‌باز و پردازش‌های هم‌زمان، می‌توان پروژه‌های بزرگ مقیاس را به صورت اقتصادی و سریع انجام داد.
#هوش_مصنوعی #کدکس #پیشرفت_فناوری #متن_باز

🟣لینک مقاله:
https://huggingface.co/blog/nielsr/ocr-papers-jobs?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
pg_textsearch 1.1: BM25 Ranked Text Search Extension

🟢 خلاصه مقاله:
در نسخه 1.1 افزونه جستجوی متنی با رتبه‌بندی PG_textsearch، ویژگی‌های جدید و مهمی افزوده شده است که عملکرد سیستم را به طور قابل توجهی بهبود می‌بخشد. یکی از این ویژگی‌های کلیدی، پشتیبانی از عملیات درج همزمان است که با این امکان، می‌توان در شرایطی که حجم و تعداد نوشتن‌ها بسیار زیاد است، سرعت عملیات وارد کردن داده‌ها را افزایش داد و کارایی مسیر نوشتن را بهبود بخشید. این قابلیت به خصوص در سیستم‌هایی که نیاز دارند به سرعت و با مقیاس بزرگ داده‌ها را وارد و بروزرسانی کنند، بسیار کاربردی است.

علاوه بر این، اکنون امکان تعیین محدودیت بر مصرف حافظه وجود دارد، که این قابلیت به مدیر سیستم‌ها اجازه می‌دهد تا مصرف حافظه را کنترل و نظارت کند. این ویژگی کمک می‌کند تا سیستم در وضعیت بهینه و پایدار باقی بماند و از مصرف بی‌رویه منابع جلوگیری شود، در نتیجه عملکرد کلی پایدارتر و موثرتری را فراهم می‌سازد.

همچنین، این نسخه جدید امکان شاخص‌گذاری مستقیم بر روی ستون‌هایی از نوع text[]، varchar[] و bpchar[] را فراهم کرده است. این تفاوت مهم به توسعه‌دهندگان این امکان را می‌دهد تا به صورت مستقیم و بدون نیاز به تبدیل‌های پیچیده، روی انواع داده‌های متنی چندبعدی شاخص‌گذاری انجام دهند و جستجوهای سریع‌تر و موثرتری داشته باشند.

در مجموع، نسخه 1.1 این افزونه با افزودن پشتیبانی از درج همزمان، مدیریت مصرف حافظه و شاخص‌گذاری مستقیم بر روی انواع داده‌های متنی، ابزارهای قدرتمندی را برای بهبود کارایی سیستم‌های مبتنی بر جستجوی متن در اختیار توسعه‌دهندگان قرار می‌دهد و بهره‌وری در پروژه‌های بزرگ و پردازش‌های سنگین را افزایش می‌دهد.

#جستجوی_متن #بهبود_کارایی #پایدارسازی_سیستم #PostgreSQL

🟣لینک مقاله:
https://postgresweekly.com/link/184478/web


👑 @Database_Academy
ابزار Qdrant یه دیتابیس برداری و اوپن سورسه که به درد پروژه‌های هوش مصنوعی می‌خوره.
- با Rust نوشته شده
- می‌تونه حجم عظیم اطلاعات رو جواب بده
- قابلیت جستجو و فیلتر داره
- می‌تونی روی سرور خودت هاستش کنی

خودش یه غولیه تو دنیای هوش مصنوعی و 31 هزار تا star داره توی گیت‌هاب

https://github.com/qdrant/qdrant
🔵 عنوان مقاله
How Datadog Redefined Data Replication (7 minute read)

🟢 خلاصه مقاله:
شرکت Datadog پس از مواجهه با مشکلی در صفحه خلاصه‌ی معیارهای خود که مدت زمان پاسخگویی آن به ۷ ثانیه در حالت p۹۰ رسیده بود، رویکرد جدیدی در نحوه توزیع و همترازی داده‌ها اتخاذ کرد. این مشکل ناشی از استفاده مستقیم از پایگاه داده‌ی Postgres برای انجام عملیات‌های جستجوی پرهزینه و پیچیده بر روی هزاران معیار و تنظیمات بود. به طور خاص، این استعلام‌های Join در پایگاه داده، بار سنگینی بر سیستم وارد می‌کرد و موجب کاهش سرعت پاسخگویی می‌شد.

در نتیجه، راه‌حل مناسب این مشکل بر پایه تغییر در فرآیند همترازی داده‌ها قرار گرفت. به جای استفاده مستقیم و مکرر از پایگاه داده، تیم فنی Datadog تصمیم گرفت تغییرات داده‌ها را با استفاده از فناوری CDC (تردید تغییر داده‌ها) به صورت استریم‌ینگ انتقال دهد. در این رویکرد، Debezium به عنوان مطالعه‌کننده WAL (وضعیت لاگ تراکنش‌های Write-Ahead) عمل می‌کند؛ Kafka تغییرات را در بافر نگه می‌دارد و در نهایت یک پلتفرم جستجو، پاسخ سریع و کم‌تاخیر به درخواست‌ها می‌دهد. این تغییر بزرگ، نه تنها سرعت پاسخگویی صفحات را بهبود بخشید بلکه کارایی و مقیاس‌پذیری سامانه را نیز افزایش داد.

برای اطمینان از امنیت و صحت عملیات هم‌زمانی در سطوح بزرگ، تیم Datadog ابزارهایی مانند اعتبارسنجی مهاجرت اسکیم و نسخه‌بندی سازگار با نسخه‌های قدیمی را توسعه داد. آن‌ها از Schema Registry مبتنی بر فرمت Avro بهره بردند تا اطمینان حاصل کنند که تغییرات در ساختار داده‌ها بدون ایجاد ناسازگاری‌ها یا خطاهای ناخواسته اعمال می‌شوند. نتیجه این رویکرد، بهبود چشمگیر در عملکرد سیستم و کاهش زمان پاسخگویی صفحات، به خصوص در زمان‌های اوج بار، بود.

این تحول در استراتژی همترازی داده‌ها، نشان‌دهنده انعطاف‌پذیری و نوآوری در طراحی سیستم‌های مقیاس‌پذیر است، جایی که تمرکز بر امنیت، سرعت، و کارایی، اصلی‌ترین اهداف شرکت‌های بزرگ فناوری است.

#داده #پایگاه_داده #همترازی_داده #فناوری

🟣لینک مقاله:
https://blog.bytebytego.com/p/how-datadog-redefined-data-replication?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
Managing context in long-run agentic applications (14 minute read)

🟢 خلاصه مقاله:
در برنامه‌های بلندمدت و پرکاربرد، عامل‌ها به سرعت با محدودیت‌های پنجره‌ی زمینه مواجه می‌شوند و دچار پدیده‌ای به نام «زوال زمینه» می‌شوند؛ وضعیتی که در آن اطلاعات مهم و اولیه‌ای که باید حفظ شوند، تدریجاً از حافظه‌ی عامل حذف می‌شوند و باعث کاهش کارایی و هماهنگی می‌گردند. برای مقابله با این مشکل، شرکت‌هایی مانند Slack از استراتژی‌های هوشمندانه‌ای برای اصلاح و تنظیم مجدد زمینه استفاده می‌کنند. این استراتژی‌ها شامل برش‌های هوشمندانه و خلاصه‌سازی‌های مکرر است؛ به گونه‌ای که عامل در مسیر اجرای وظایف خود بتواند با حفظ اطلاعات کلیدی، ادامه دهد.

یکی از تکنیک‌های مؤثر در این روش‌ها، مرحله‌های دوره‌ای «بازنگری» است. در این مرحله، عامل به صورت خودکار تاریخچه و اطلاعات جمع‌آوری‌شده خود را مرور می‌کند و بخش‌های مهم و مرتبط را خلاصه می‌نماید؛ این کار باعث می‌شود که عامل بتواند به جای نگه‌داشتن حجم زیادی از داده‌های قدیمی، تمرکز خود را بر روی نکات کلیدی و اطلاعات حیاتی حفظ کند. این فرآیند علاوه بر حفظ پیوستگی و اعتبار اطلاعات، به بهبود دقت و استحکام عملیات در طول زمان کمک شایانی می‌کند.

در نتیجه، استفاده از استراتژی‌های هوشمندانه برای مدیریت زمینه، اجازه می‌دهد تا عامل‌های بلندمدت نه تنها با محدودیت‌های فنی مواجه نشوند بلکه از زوال اطلاعات جلوگیری کرده و در نتیجه، اعتمادپذیری و ثبات در انجام وظایف را افزایش دهند. این رویکردها به طور خاص در پروژه‌های بزرگ و سیستم‌هایی که نیازمند نگهداری و پردازش بلندمدت اطلاعات هستند، بسیار حیاتی و مؤثر واقع می‌شود.

#هوش_مصنوعی #مدیریت_زمینه #عامل_هوشمند #پایداری

🟣لینک مقاله:
https://slack.engineering/managing-context-in-long-run-agentic-applications/?utm_source=tldrdata


👑 @Database_Academy
Forwarded from VIP
🕊پرامپت خوب، شبیه یک تصمیم درست و اصولی در زندگی هر آدمیه.

من همیشه سعی کردم برای تمام چنل‌های زیر، بهترین مقاله‌ها رو از معتبرترین سایت‌های هر حوزه جمع‌آوری کنم.
اما مشکلی که قبلاً داشتم این بود که پرامپت درستی برای ترجمه‌ی اصولی مقالات نداشتم.

یعنی بعضی وقت‌ها ترجمه سوتی می‌داد، یا بیش از حد توکن مصرف می‌شد و خروجی کیفیت لازم رو نداشت.

بعد از مدت‌ها آزمون و خطا، تقریباً حدود یک سال پیش تونستم یک پرامپت اصولی طراحی کنم که مقالات رو تمیز، روان و درست ترجمه کنه.

حالا گفتم این پرامپت رو با شما هم به اشتراک بذارم؛ شاید برای شما هم مفید و کاربردی باشه. 🙌

لینک ریپو اینجاست👇🔴
https://github.com/mrbardia72/token-efficient-prompt/blob/main/prompt_translate.md

🌟خوشحال میشم استار بدید و مشارکت کنید🌟

اینجا👇می تونید توی تمام چنل ها ما عضو بشید

https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
🔵 عنوان مقاله
Agent responsibly (5 minute read)

🟢 خلاصه مقاله:
در دنیای توسعه نرم‌افزار، استفاده از عامل‌های هوش مصنوعی برای کد نویسی روزبه‌روز رایج‌تر می‌شود. این عامل‌ها می‌توانند کدهایی مستحکم و قابل اجرایی تولید کنند که از نظر آزمایش‌ها معتبر هستند، اما در واقعیت و در محیط‌های عملیاتی ممکن است دچار نقص‌هایی شوند. این موضوع خطر ایجاد اعتماد کاذب را به همراه دارد و می‌تواند ریسک‌هایی جدی برای سیستم‌ها به وجود آورد، چرا که تصور می‌شود سیستم کاملاً ایمن و آماده است در حالی که واقعیت نشان می‌دهد با چالش‌هایی روبه‌رو خواهد شد.

بنابراین، بهترین رویکرد این است که به جای اعتماد کامل به عامل‌های هوش مصنوعی، از آن‌ها به عنوان ابزار کمکی استفاده کنیم و همواره کنترل و مالکیت انسانی بر فرآیندها حفظ شود. باید زیرساخت‌هایی محکم و استانداردهای قوی طراحی کنیم که فرآیند استقرار و بهره‌برداری از این سیستم‌ها را ایمن و مطمئن سازند. در این حالت، بهره‌گیری از عامل‌های هوش مصنوعی به شکل کنارگذاشته نمی‌شود، بلکه نقش آن‌ها در آماده‌سازی کد و کاهش خطاها است و در عین حال، حاکمیت و کنترل نهایی بر عهده انسان باقی می‌ماند.

در نهایت، تمرکز بر توسعه استراتژی‌هایی است که ایمنی و امنیت سیستم‌ها را به عنوان اولویت نخست قرار دهند. ساختن فرهنگ ایمن‌سازی و آموزش مستمر در کنار پیروی از استانداردهای معتبر، می‌تواند خطرات ناشی از اتکای بیش‌ازحد به هوش مصنوعی در فرآیند توسعه نرم‌افزار را کاهش دهد و نهادینه کردن نگرشی مسئولانه را ترویج کند.

#هوشمندیکد #امنیتسیستم #توسعه_پایدار #مدیریت_ریسک

🟣لینک مقاله:
https://vercel.com/blog/agent-responsibly?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
Ctrl-C in psql Gives Me the Heebie-Jeebies

🟢 خلاصه مقاله:
در هنگام کار با ابزار مدیریت پایگاه‌داده psql، ممکن است با مشکلی خاص مواجه شوید که در نگاه اول چندان جدی به نظر نرسد، اما در واقع می‌تواند نگرانی‌های امنیتی جدی‌تری را به دنبال داشته باشد. زمانی که کلید Ctrl-C را در psql فشار می‌دهید، درخواست کنسل کردن عملیات جاری ارسال می‌شود. این درخواست، به صورت غیر رمزگذاری‌شده و از طریق یک اتصال مجزا، ارسال می‌شود، حتی اگر اتصال اصلی شما از لایه امنیتی TLS بهره‌مند باشد. این موضوع ممکن است باعث نگرانی‌های امنیتی و حریم خصوصی شود، چرا که اطلاعات حساس در طول انتقال در معرض دید قرار می‌گیرد و راه را برای حملات احتمالی هموار می‌سازد.

در این مقاله، به صورت عمیق و فنی، نحوه عملکرد درخواست CancelRequest در پروتکل PostgreSQL مورد بررسی قرار می‌گیرد. توضیح داده می‌شود که چگونه این درخواست در سطح پروتکل پیاده‌سازی می‌شود، چه سازوکارهایی در پشت آن مخفی است و چه پیامدهایی از نظر امنیت دارد. فهمیدن این موضوع اهمیت زیادی دارد چرا که نشان می‌دهد چرا PostgreSQL این روش را برای مدیریت درخواست‌های کنسل در نظر گرفته است و چه راه‌هایی برای کاهش خطرات امنیتی وجود دارد.

در پایان، آگاهی از نحوه کار CancelRequest و ریشه‌های آن در پروتکل‌های ارتباطی، به توسعه‌دهندگان و مدیران پایگاه‌داده کمک می‌کند تا بهتر بتوانند استراتژی‌های امنیتی خود را پیاده‌سازی کنند و از بروز آسیب‌پذیری‌های ناخواسته جلوگیری نمایند. شناخت این جزئیات فنی، کلید بهبود امنیت و اطمینان خاطر در استفاده روزمره از PostgreSQL است.

#امنیت_پایگاه‌داده #PostgreSQL #امنیت_شبکه #پروتکل

🟣لینک مقاله:
https://postgresweekly.com/link/182715/web


👑 @Database_Academy
Forwarded from VIP
♦️ ۲۲ اردیبهشت، زادروز مریم میرزاخانی، به عنوان روز جهانی زنان در ریاضیات شناخته می‌شود؛ ریاضیدان ایرانی‌ای که نامش برای همیشه در تاریخ علم ماندگار شد.

میرزاخانی در سال ۱۳۷۳ مدال طلای المپیاد ریاضی ایران و در سال ۱۹۹۴ مدال طلای المپیاد جهانی ریاضی در هنگ‌کنگ را کسب کرد. یک سال بعد، در ۱۹۹۵، دوباره طلای جهانی گرفت و با کسب نمره کامل، نامش را در تاریخ المپیادها ثبت کرد.

او برای ادامه تحصیل به آمریکا رفت و دکترای خود را از دانشگاه هاروارد گرفت. مریم بعدها استاد دانشگاه استنفورد شد و در سال ۲۰۱۴ به عنوان نخستین زن تاریخ، مدال فیلدز، معتبرترین جایزه دنیای ریاضیات، را دریافت کرد.

داستان او فقط درباره ریاضی نیست؛ درباره کنجکاوی، پشتکار و شکستن مرزهایی‌ست که غیرممکن به نظر می‌رسیدند.

https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
1
🔵 عنوان مقاله
Netlify Database is Now Available

🟢 خلاصه مقاله:
شرکت نت‌لیфа به جمع ارائه‌دهندگان خدمات استقرار در فضای ابری پیوسته است و این بار با معرفی پایگاه‌داده‌های PostgreSQL، امکان استفاده از دیتابیس‌های قدرتمند را برای تمامی کاربران خود فراهم کرده است. این اقدام نشان می‌دهد که نت‌لیفا در تلاش است تا خدمات متنوع و قابل اعتماد در حوزه زیرساخت‌های ابری ارائه دهد و نیازهای توسعه‌دهندگان را برآورده سازد. حالا کاربران می‌توانند در داخل پلتفرم نت‌لیفا، به سادگی و بدون نیاز به سرویس‌های جداگانه، به پایگاه‌داده‌های PostgreSQL دسترسی پیدا کنند، که این امر روند توسعه برنامه‌های وب و اپلیکیشن‌های مختلف را بسیار ساده‌تر و کارآمدتر می‌سازد.

پایگاه‌داده‌های PostgreSQL که به عنوان یک سیستم مدیریت پایگاه‌داده متن باز و قدرتمند شناخته می‌شود، حالا در اختیار کاربران نت‌لیفا قرار گرفته است تا از امکانات پیشرفته آن بهره‌مند شوند. این سرویس محدودیت‌هایی دارد، اما تخصصاً برای توسعه‌دهندگان و کسب‌وکارهای کوچک و متوسط، امکانات مناسبی را فراهم می‌کند تا بتوانند زیرساخت‌های داده‌ای خود را در فضای ابری ارتقاء دهند. این اقدام نشان‌دهنده‌ی تعهد نت‌لیفا به گسترش خدمات ابری و ایجاد فرصت‌های جدید برای توسعه‌دهندگان است که بتوانند پروژه‌های خود را سریع‌تر و با ابزارهای بهتر راه‌اندازی کنند.

در مجموع، این گام جدید نت‌لیفا، امکان دسترسی آسان و سریع به پایگاه‌داده‌های PostgreSQL را برای میلیون‌ها کاربر فراهم می‌کند و فرصتی است برای پشتیبانی بهتر از پروژه‌های مبتنی بر فضای ابری. این حرکت نشان از تلاش شرکت برای رقابت در بازار خدمات ابری و بهبود تجربه کاربری دارد، تا بتواند جایگاه خود را در این حوزه تثبیت کند و به نیازهای روزافزون توسعه‌دهندگان پاسخ دهد.

#پایگاه‌داده #PostgreSQL #فضای_ابری #توسعه‌دهندگان

🟣لینک مقاله:
https://postgresweekly.com/link/184472/web


👑 @Database_Academy