Forwarded from VIP
معاون رئیس جمهور:
با خروج از این وضعیت، شرایط اینترنت به حالت قبل و حتی بهتر از اون برمیگرده.
🤐رضایت ما از اینترنت قبلی = 0
🤐میزان بهتر شدن = n
0 × n = 0
https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
با خروج از این وضعیت، شرایط اینترنت به حالت قبل و حتی بهتر از اون برمیگرده.
🤐رضایت ما از اینترنت قبلی = 0
🤐میزان بهتر شدن = n
0 × n = 0
https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
🔵 عنوان مقاله
How CTIDs Gave Me a 30x Speedup on Processing 200 Million Rows
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، سرعت و کارایی دو عامل حیاتی هستند که میتوانند تفاوت زیادی در عملکرد سیستمهای بزرگ ایجاد کنند. در این مقاله، به تجربیات من در استفاده از شناسههای فیزیکی سطر یا همان CTID برای بهبود سرعت پردازش دادهها پرداختهام. وقتی با جدولی شامل ۲۰۰ میلیون سطر مواجه شدیم، فهمیدم که چگونه روشهای معمول مانند اسکن شاخص (Index Scan) در مقیاسهای بزرگ ممکن است کارایی خود را از دست بدهند و چه راهکارهایی میتواند این محدودیتها را برطرف سازد.
در ادامه، به بررسی جایگاهی که CTID در بهبود عملکرد ایفا میکند، میپردازیم. CTID، که به عنوان آدرس فیزیکی هر سطر در جدول شناخته میشود، برخلاف شاخصهای معمول، امکان دستیابی مستقیم و سریع به ردیفهای مورد نظر را فراهم میآورد. این ویژگی، فرآیند خواندن دادهها را بسیار سریعتر میکند و اجازه میدهد تا عملیاتهای انتهای ساختاری پیچیده کمتری نیاز باشد. ما نشان دادهایم که با بهرهگیری صحیح از این قابلیت، میتوان به صورت کامل از I/O ترتیبی (Sequential I/O) بهرهمند شد، امری که در نتیجه سرعت پردازش و کارایی سیستم را به طور چشمگیری افزایش میدهد.
در بخش نهایی، تمامی الگوریتمها و الگوهای دسترسی به دادهها را به صورت تصویری و قابل فهم نمایش دادهایم تا تفاوتها و مزیتهای استفاده از CTID به وضوح روشن شود. با بررسی نمونههای عملی، نشان دادهایم که چگونه این رویکرد تبدیل به یک استراتژی موثری برای پردازش سریع دادههای حجیم شده است، بهخصوص در مواردی که نیاز به عملیاتهای سریع و حجمبالای خواندن و نوشتن وجود دارد.
این تجربیات نشان میدهد که در مواجهه با حجم عظیم دادهها، بهرهگیری از امکانات داخلی پایگاه دادهها مانند CTID، میتواند تفاوت بین سیستمهای کند و سیستمهای فوقالعاده سریع را رقم بزند. با ادامهی توسعه و تحلیل این روشها، میتوان به سرعتهای بیسابقه در پردازش دادهها دست یافت.
#پایگاه_داده #عملکرد_سریع #تحلیل_داده #تکنولوژی
🟣لینک مقاله:
https://postgresweekly.com/link/184119/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How CTIDs Gave Me a 30x Speedup on Processing 200 Million Rows
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، سرعت و کارایی دو عامل حیاتی هستند که میتوانند تفاوت زیادی در عملکرد سیستمهای بزرگ ایجاد کنند. در این مقاله، به تجربیات من در استفاده از شناسههای فیزیکی سطر یا همان CTID برای بهبود سرعت پردازش دادهها پرداختهام. وقتی با جدولی شامل ۲۰۰ میلیون سطر مواجه شدیم، فهمیدم که چگونه روشهای معمول مانند اسکن شاخص (Index Scan) در مقیاسهای بزرگ ممکن است کارایی خود را از دست بدهند و چه راهکارهایی میتواند این محدودیتها را برطرف سازد.
در ادامه، به بررسی جایگاهی که CTID در بهبود عملکرد ایفا میکند، میپردازیم. CTID، که به عنوان آدرس فیزیکی هر سطر در جدول شناخته میشود، برخلاف شاخصهای معمول، امکان دستیابی مستقیم و سریع به ردیفهای مورد نظر را فراهم میآورد. این ویژگی، فرآیند خواندن دادهها را بسیار سریعتر میکند و اجازه میدهد تا عملیاتهای انتهای ساختاری پیچیده کمتری نیاز باشد. ما نشان دادهایم که با بهرهگیری صحیح از این قابلیت، میتوان به صورت کامل از I/O ترتیبی (Sequential I/O) بهرهمند شد، امری که در نتیجه سرعت پردازش و کارایی سیستم را به طور چشمگیری افزایش میدهد.
در بخش نهایی، تمامی الگوریتمها و الگوهای دسترسی به دادهها را به صورت تصویری و قابل فهم نمایش دادهایم تا تفاوتها و مزیتهای استفاده از CTID به وضوح روشن شود. با بررسی نمونههای عملی، نشان دادهایم که چگونه این رویکرد تبدیل به یک استراتژی موثری برای پردازش سریع دادههای حجیم شده است، بهخصوص در مواردی که نیاز به عملیاتهای سریع و حجمبالای خواندن و نوشتن وجود دارد.
این تجربیات نشان میدهد که در مواجهه با حجم عظیم دادهها، بهرهگیری از امکانات داخلی پایگاه دادهها مانند CTID، میتواند تفاوت بین سیستمهای کند و سیستمهای فوقالعاده سریع را رقم بزند. با ادامهی توسعه و تحلیل این روشها، میتوان به سرعتهای بیسابقه در پردازش دادهها دست یافت.
#پایگاه_داده #عملکرد_سریع #تحلیل_داده #تکنولوژی
🟣لینک مقاله:
https://postgresweekly.com/link/184119/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Connorhallman
How Postgres CTIDs Gave Me a 30x Speedup on Processing 200 Million Rows
Indexes don't solve everything at scale. A story of how I cut 3-days worth of execution time down to a few hours by exploiting PostgreSQL's physical row addresses for cache-friendly sequential reads.
🔵 عنوان مقاله
Understanding Bitmap Heap Scans in Postgres
🟢 خلاصه مقاله:
در پایگاه دادههای PostgreSQL، یکی از انواع اسکنهایی که ممکن است در بخش شرح اجرای پرسوجو (EXPLAIN) با آن مواجه شوید، اسکنهای هیپ بیتمپ (Bitmap Heap Scan) هستند. این نوع اسکنها معمولا در زمانهایی ظاهر میشوند که کوئریهای پیچیده یا شروط خاصی روی جداول اجرا میشود و توسعهدهندگان و مدیران پایگاه داده در مواجهه اول با آن، ممکن است کمی سردرگم شوند. بنابراین، فهم نحوه کارکرد این اسکنها کمک میکند تا بتوانید برنامههای اجرا را بهتر درک و بهینهسازی کنید.
در عملیات اسکن هیپ بیتمپ، PostgreSQL با استفاده از ایندکسهای موجود، مجموعهای از آیکونهای مربوط به ردیفهایی که با شرطهای پرسوجو مطابقت دارند، ساخته میشود. این مرحله، به صورت مؤثری، مجموعهای از بلوکهای داده در حافظه را مشخص میکند که نیاز است در ادامه بازیابی شوند. سپس، این بلوکها به صورت هدفمند و کارآمد خوانده میشوند تا دادههای مورد نظر دریافت شوند. این فرآیند، به خصوص زمانی که تعداد زیادی ردیف باید فیلتر شود، بسیار به صرفه است و به کاهش مصرف منابع کمک میکند.
در نتیجه، درک این ساختار و روش کارکرد اسکن هیپ بیتمپ، نقش مهمی در بهبود عملکرد پایگاه داده و تشخیص دلایل کندی کوئریها دارد. این نوع اسکنها، نوعی استراتژی برای مدیریت دادههای بزرگ و جستوجوهای پیچیده است که با بهرهگیری از ایندکسها، عملیات بازیابی را تسهیل میکند و باعث سرعت بخشیدن به اجرای پرسوجوها میشود.
پایگاه دادههای PostgreSQL با بهرهگیری از این تکنیک، امکان تحلیل دقیق و بهینهسازی بهتر برنامههای پرسوجو را فراهم میآورد و کل فرآیند اجرای کوئریها را واضحتر میسازد. بنابراین، آشنایی با این نوع اسکن، یکی از مهارتهای کلیدی هر توسعهدهنده یا مدیر پایگاه داده است.
#پایگاهداده #PostgreSQL #بهینهسازی_پرسوجو #اسکن_هیپبیتمپ
🟣لینک مقاله:
https://postgresweekly.com/link/184469/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Understanding Bitmap Heap Scans in Postgres
🟢 خلاصه مقاله:
در پایگاه دادههای PostgreSQL، یکی از انواع اسکنهایی که ممکن است در بخش شرح اجرای پرسوجو (EXPLAIN) با آن مواجه شوید، اسکنهای هیپ بیتمپ (Bitmap Heap Scan) هستند. این نوع اسکنها معمولا در زمانهایی ظاهر میشوند که کوئریهای پیچیده یا شروط خاصی روی جداول اجرا میشود و توسعهدهندگان و مدیران پایگاه داده در مواجهه اول با آن، ممکن است کمی سردرگم شوند. بنابراین، فهم نحوه کارکرد این اسکنها کمک میکند تا بتوانید برنامههای اجرا را بهتر درک و بهینهسازی کنید.
در عملیات اسکن هیپ بیتمپ، PostgreSQL با استفاده از ایندکسهای موجود، مجموعهای از آیکونهای مربوط به ردیفهایی که با شرطهای پرسوجو مطابقت دارند، ساخته میشود. این مرحله، به صورت مؤثری، مجموعهای از بلوکهای داده در حافظه را مشخص میکند که نیاز است در ادامه بازیابی شوند. سپس، این بلوکها به صورت هدفمند و کارآمد خوانده میشوند تا دادههای مورد نظر دریافت شوند. این فرآیند، به خصوص زمانی که تعداد زیادی ردیف باید فیلتر شود، بسیار به صرفه است و به کاهش مصرف منابع کمک میکند.
در نتیجه، درک این ساختار و روش کارکرد اسکن هیپ بیتمپ، نقش مهمی در بهبود عملکرد پایگاه داده و تشخیص دلایل کندی کوئریها دارد. این نوع اسکنها، نوعی استراتژی برای مدیریت دادههای بزرگ و جستوجوهای پیچیده است که با بهرهگیری از ایندکسها، عملیات بازیابی را تسهیل میکند و باعث سرعت بخشیدن به اجرای پرسوجوها میشود.
پایگاه دادههای PostgreSQL با بهرهگیری از این تکنیک، امکان تحلیل دقیق و بهینهسازی بهتر برنامههای پرسوجو را فراهم میآورد و کل فرآیند اجرای کوئریها را واضحتر میسازد. بنابراین، آشنایی با این نوع اسکن، یکی از مهارتهای کلیدی هر توسعهدهنده یا مدیر پایگاه داده است.
#پایگاهداده #PostgreSQL #بهینهسازی_پرسوجو #اسکن_هیپبیتمپ
🟣لینک مقاله:
https://postgresweekly.com/link/184469/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Richyen
Understanding Bitmap Heap Scans in PostgreSQL
Introduction
🔵 عنوان مقاله
Do You Need to Tune Postgres Vacuum?
🟢 خلاصه مقاله:
آیا نیاز دارید که عملیات وکویوم در پایگاه داده پستگرس خود را بهبود دهید؟ در این مقاله، ما به صورت جامع و همیشگی به موضوع بررسی و کمک به کاهش حجم غیرضروری در دیتابیس پستگرس میپردازیم. یکی از موارد مهم در مدیریت عملکرد پایگاههای داده، نظارت بر فرآیند اتواوکوم (autovacuum) است که به طور خودکار وظیفه نگهداری و بهروزرسانی جداول را بر عهده دارد. این فرآیند برای جلوگیری از تجمع فضای بلااستفاده و بروز مشکلات عملکردی حیاتی است، اما گاهی اوقات نیازمند تنظیمات دقیقتر و بررسی عمیقتر است. در این مقاله، ابتدا روشهای تشخیص بروز مشکل بادکنک و انباشت غیرضروری در دیتابیس را بررسی میکنیم، سپس نکات و روشهای مناسب برای بهینهسازی وکویوم و فرآیندهای مرتبط را ارائه میدهیم. این راهنما برای کسانی که میخواهند پایگاه داده پستگرس خود را به بهترین شکل ممکن نگهداری و بهینهسازی کنند، بسیار کاربردی و عملی است و به سادگی میتواند عملکرد سیستم را به طور قابل توجهی ارتقاء دهد.
#پستگرس #بهینهسازی_پایگاه_داده #اتوواکوم #مدیریت_حجم
🟣لینک مقاله:
https://postgresweekly.com/link/183428/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Do You Need to Tune Postgres Vacuum?
🟢 خلاصه مقاله:
آیا نیاز دارید که عملیات وکویوم در پایگاه داده پستگرس خود را بهبود دهید؟ در این مقاله، ما به صورت جامع و همیشگی به موضوع بررسی و کمک به کاهش حجم غیرضروری در دیتابیس پستگرس میپردازیم. یکی از موارد مهم در مدیریت عملکرد پایگاههای داده، نظارت بر فرآیند اتواوکوم (autovacuum) است که به طور خودکار وظیفه نگهداری و بهروزرسانی جداول را بر عهده دارد. این فرآیند برای جلوگیری از تجمع فضای بلااستفاده و بروز مشکلات عملکردی حیاتی است، اما گاهی اوقات نیازمند تنظیمات دقیقتر و بررسی عمیقتر است. در این مقاله، ابتدا روشهای تشخیص بروز مشکل بادکنک و انباشت غیرضروری در دیتابیس را بررسی میکنیم، سپس نکات و روشهای مناسب برای بهینهسازی وکویوم و فرآیندهای مرتبط را ارائه میدهیم. این راهنما برای کسانی که میخواهند پایگاه داده پستگرس خود را به بهترین شکل ممکن نگهداری و بهینهسازی کنند، بسیار کاربردی و عملی است و به سادگی میتواند عملکرد سیستم را به طور قابل توجهی ارتقاء دهد.
#پستگرس #بهینهسازی_پایگاه_داده #اتوواکوم #مدیریت_حجم
🟣لینک مقاله:
https://postgresweekly.com/link/183428/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Snowflake
Postgres Vacuum Explained: Autovacuum, Bloat and Tuning
Learn why Postgres vacuuming matters, how autovacuum works, and when to tune it to prevent bloat, improve performance, and avoid transaction ID wraparound issues.
Forwarded from VIP
〰️ تازههای تکنولوژی
🎮 رد شایعه اتصال اجباری پلیاستیشن
سونی اعلام کرد کاربران پلیاستیشن ۴ و ۵ نیازی به اتصال اینترنتی هر ۳۰ روز ندارند.
💵 احتمال گرانی آیفون ۱۸
افزایش شدید هزینه حافظه میتواند قیمت آیفونهای آینده را بالا ببرد.
🔉 آزمایش تبلیغات در جمینای
گوگل در حال تست تبلیغات داخل هوش مصنوعی Gemini است.
🏘 تغییر مسیر سرمایهگذاری اپل
مدیرعامل احتمالی آینده اپل میخواهد بودجه بیشتری را صرف محصولات انقلابی کند.
🍿 قانون جدید اسکار برای هوش مصنوعی
فقط بازیگری انسانی و فیلمنامه انسانی شانس دریافت جایزه خواهند داشت.
⭐ انتشار ۱۲ هزار تصویر از ناسا
ناسا آرشیو بزرگی از تصاویر مأموریت آرتمیس ۲ را منتشر کرده است.
🤖 ادامه تنش میان اوپنایآی و ماسک
اوپنایآی، ایلان ماسک را به تلاش برای تخریب مسیر این شرکت متهم کرد.
🎮 عرضه اولیه جیتیای ۶ فقط روی کنسول
نسخه رایانه شخصی همزمان با کنسولها منتشر نمیشود.
📸 افشای اطلاعات اولیه پیکسل ۱۱
جزئیاتی از تراشه Tensor G6 و ارتقای دوربینهای پیکسل ۱۱ منتشر شده است.
😄 دور زدن تشخیص سن با سبیل
برخی کودکان بریتانیایی با کشیدن سبیل، سیستمهای تشخیص سن را فریب میدهند.
ℹ️ پرونده جریمه اپل
اپل بابت تبلیغات مربوط به قابلیتهای هوش مصنوعی سیری با پروندهای سنگین روبهرو شده است.
🔎 بررسی امنیتی مدلهای هوش مصنوعی
گوگل، مایکروسافت و xAI مدلهای خود را پیش از عرضه عمومی در اختیار دولت آمریکا میگذارند.
🎮 رد شایعه اتصال اجباری پلیاستیشن
سونی اعلام کرد کاربران پلیاستیشن ۴ و ۵ نیازی به اتصال اینترنتی هر ۳۰ روز ندارند.
💵 احتمال گرانی آیفون ۱۸
افزایش شدید هزینه حافظه میتواند قیمت آیفونهای آینده را بالا ببرد.
🔉 آزمایش تبلیغات در جمینای
گوگل در حال تست تبلیغات داخل هوش مصنوعی Gemini است.
🏘 تغییر مسیر سرمایهگذاری اپل
مدیرعامل احتمالی آینده اپل میخواهد بودجه بیشتری را صرف محصولات انقلابی کند.
🍿 قانون جدید اسکار برای هوش مصنوعی
فقط بازیگری انسانی و فیلمنامه انسانی شانس دریافت جایزه خواهند داشت.
⭐ انتشار ۱۲ هزار تصویر از ناسا
ناسا آرشیو بزرگی از تصاویر مأموریت آرتمیس ۲ را منتشر کرده است.
🤖 ادامه تنش میان اوپنایآی و ماسک
اوپنایآی، ایلان ماسک را به تلاش برای تخریب مسیر این شرکت متهم کرد.
🎮 عرضه اولیه جیتیای ۶ فقط روی کنسول
نسخه رایانه شخصی همزمان با کنسولها منتشر نمیشود.
📸 افشای اطلاعات اولیه پیکسل ۱۱
جزئیاتی از تراشه Tensor G6 و ارتقای دوربینهای پیکسل ۱۱ منتشر شده است.
😄 دور زدن تشخیص سن با سبیل
برخی کودکان بریتانیایی با کشیدن سبیل، سیستمهای تشخیص سن را فریب میدهند.
ℹ️ پرونده جریمه اپل
اپل بابت تبلیغات مربوط به قابلیتهای هوش مصنوعی سیری با پروندهای سنگین روبهرو شده است.
🔎 بررسی امنیتی مدلهای هوش مصنوعی
گوگل، مایکروسافت و xAI مدلهای خود را پیش از عرضه عمومی در اختیار دولت آمریکا میگذارند.
🔵 عنوان مقاله
Waiting for Postgres 19: Online Enabling and Disabling of Data Checksums
🟢 خلاصه مقاله:
انتظار برای نسخه ۱۹ پایگاه داده پستگرس، با امکانات جدیدی از جمله فعالسازی و غیرفعالسازی آنلاین چکمسکها، خبر مهمی برای توسعهدهندگان و مدیران سیستم است. این ویژگی به کاربران اجازه میدهد که بدون نیاز به توقف یا توقف موقت سرور، بررسیهای صحت دادهها را فعال یا غیرفعال کنند. چنین قابلیتی علاوه بر کاهش زمان توقف سیستم، مدیریتِ بهتر و انعطافپذیری بیشتری در نگهداری و بهروزرسانی پایگاه داده فراهم میآورد.
نسخه ۱۹ پستگرس، تمرکز ویژهای بر بهبود قابلیتهای مدیریتی و عملکردی دارد، و یکی از موارد مورد بحث، این است که چگونه میتوان بدون تاثیر بر سرویسدهی، امکاناتی نظیر چکمسکها را مدیریت کرد. این توسعه، توانمندیهای جدیدی برای تیمهای فنی فراهم میکند که بتوانند انعطافپذیرتر و سریعتر با تغییرات و نیازهای کاربران مقابله کنند. همچنین، محققان و توسعهدهندگان در حال بررسی راههایی برای یافتن و رفع حفرههای امنیتی و اشکالات پنهان در سیستم هستند که میتواند منجر به خطاهای قابل سوءاستفاده، مثل باگهای Use-After-Free، شود.
در این راستا، محققانی مانند هوبرت لوباتزسکی و آندری لپخیف کارهای ارزشمندی در زمینه کشفِ این نوع باگها انجام دادهاند. آنها تلاش میکنند تا با پیدا کردن و رفع این اشکالات مهم، امنیت و پایداری سیستمهای مدیریت پایگاه دادههای عظیم را بهبود بخشند. این تحقیقات در کنار امکانات جدید نسخه ۱۹، نوید میدهد که آیندهای با امنیت، انعطافپذیری و کارایی بیشتر برای کاربران پستگرس رقم خواهد خورد.
#پستگرس #دانش_پایگاه_داده #امنیت_سیستم #نسخه۱۹
🟣لینک مقاله:
https://postgresweekly.com/link/184122/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Waiting for Postgres 19: Online Enabling and Disabling of Data Checksums
🟢 خلاصه مقاله:
انتظار برای نسخه ۱۹ پایگاه داده پستگرس، با امکانات جدیدی از جمله فعالسازی و غیرفعالسازی آنلاین چکمسکها، خبر مهمی برای توسعهدهندگان و مدیران سیستم است. این ویژگی به کاربران اجازه میدهد که بدون نیاز به توقف یا توقف موقت سرور، بررسیهای صحت دادهها را فعال یا غیرفعال کنند. چنین قابلیتی علاوه بر کاهش زمان توقف سیستم، مدیریتِ بهتر و انعطافپذیری بیشتری در نگهداری و بهروزرسانی پایگاه داده فراهم میآورد.
نسخه ۱۹ پستگرس، تمرکز ویژهای بر بهبود قابلیتهای مدیریتی و عملکردی دارد، و یکی از موارد مورد بحث، این است که چگونه میتوان بدون تاثیر بر سرویسدهی، امکاناتی نظیر چکمسکها را مدیریت کرد. این توسعه، توانمندیهای جدیدی برای تیمهای فنی فراهم میکند که بتوانند انعطافپذیرتر و سریعتر با تغییرات و نیازهای کاربران مقابله کنند. همچنین، محققان و توسعهدهندگان در حال بررسی راههایی برای یافتن و رفع حفرههای امنیتی و اشکالات پنهان در سیستم هستند که میتواند منجر به خطاهای قابل سوءاستفاده، مثل باگهای Use-After-Free، شود.
در این راستا، محققانی مانند هوبرت لوباتزسکی و آندری لپخیف کارهای ارزشمندی در زمینه کشفِ این نوع باگها انجام دادهاند. آنها تلاش میکنند تا با پیدا کردن و رفع این اشکالات مهم، امنیت و پایداری سیستمهای مدیریت پایگاه دادههای عظیم را بهبود بخشند. این تحقیقات در کنار امکانات جدید نسخه ۱۹، نوید میدهد که آیندهای با امنیت، انعطافپذیری و کارایی بیشتر برای کاربران پستگرس رقم خواهد خورد.
#پستگرس #دانش_پایگاه_داده #امنیت_سیستم #نسخه۱۹
🟣لینک مقاله:
https://postgresweekly.com/link/184122/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
How we OCR'ed 30,000 papers using Codex, open OCR models, and Jobs (7 minute read)
🟢 خلاصه مقاله:
ما چگونه توانستیم با بهرهگیری از مدل OCR متنباز و کدهای تولید شده توسط Codex، ۳۰,۰۰۰ مقاله را دیجیتالیزه کنیم؟
در این پروژه، Hugging Face از مدلی متنباز به نام Chandra-OCR-2 استفاده کرد که قادر بود متنهای اسناد را با دقت بالا شناسایی و استخراج کند. با کمک اسکریپتهایی که توسط Codex توسعه یافته بودند، این فرآیند روی سرورهای بدون سرور (serverless GPUs) انجام شد؛ به گونهای که حدود ۲۷ هزار مقاله به فرمت Markdown تبدیل شدند. هدف اصلی این کار، فراهم کردن امکان «گفتوگو با مقاله» بود؛ یعنی کاربران میتوانند به راحتی محتوای مقالهها را جستجو، مطالعه و با آنها تعامل داشته باشند.
برای تسریع در انجام این پروژه، عملیات پردازشی به صورت همزمان انجام شد که باعث شد کلیت فرآیند در حدود ۳۰ ساعت به پایان برسد. علاوه بر این، هزینه اجرایی نسبتا پایین باقی ماند، تنها حدود ۸۵۰ دلار. این رویکرد نشان میدهد که با استفاده از فناوریهای متنباز و پردازشهای همزمان، میتوان پروژههای بزرگ مقیاس را به صورت اقتصادی و سریع انجام داد.
#هوش_مصنوعی #کدکس #پیشرفت_فناوری #متن_باز
🟣لینک مقاله:
https://huggingface.co/blog/nielsr/ocr-papers-jobs?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How we OCR'ed 30,000 papers using Codex, open OCR models, and Jobs (7 minute read)
🟢 خلاصه مقاله:
ما چگونه توانستیم با بهرهگیری از مدل OCR متنباز و کدهای تولید شده توسط Codex، ۳۰,۰۰۰ مقاله را دیجیتالیزه کنیم؟
در این پروژه، Hugging Face از مدلی متنباز به نام Chandra-OCR-2 استفاده کرد که قادر بود متنهای اسناد را با دقت بالا شناسایی و استخراج کند. با کمک اسکریپتهایی که توسط Codex توسعه یافته بودند، این فرآیند روی سرورهای بدون سرور (serverless GPUs) انجام شد؛ به گونهای که حدود ۲۷ هزار مقاله به فرمت Markdown تبدیل شدند. هدف اصلی این کار، فراهم کردن امکان «گفتوگو با مقاله» بود؛ یعنی کاربران میتوانند به راحتی محتوای مقالهها را جستجو، مطالعه و با آنها تعامل داشته باشند.
برای تسریع در انجام این پروژه، عملیات پردازشی به صورت همزمان انجام شد که باعث شد کلیت فرآیند در حدود ۳۰ ساعت به پایان برسد. علاوه بر این، هزینه اجرایی نسبتا پایین باقی ماند، تنها حدود ۸۵۰ دلار. این رویکرد نشان میدهد که با استفاده از فناوریهای متنباز و پردازشهای همزمان، میتوان پروژههای بزرگ مقیاس را به صورت اقتصادی و سریع انجام داد.
#هوش_مصنوعی #کدکس #پیشرفت_فناوری #متن_باز
🟣لینک مقاله:
https://huggingface.co/blog/nielsr/ocr-papers-jobs?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
huggingface.co
How we OCR'ed 30,000 papers using Codex, open OCR models and Jobs
A Blog post by Niels Rogge on Hugging Face
🔵 عنوان مقاله
pg_textsearch 1.1: BM25 Ranked Text Search Extension
🟢 خلاصه مقاله:
در نسخه 1.1 افزونه جستجوی متنی با رتبهبندی PG_textsearch، ویژگیهای جدید و مهمی افزوده شده است که عملکرد سیستم را به طور قابل توجهی بهبود میبخشد. یکی از این ویژگیهای کلیدی، پشتیبانی از عملیات درج همزمان است که با این امکان، میتوان در شرایطی که حجم و تعداد نوشتنها بسیار زیاد است، سرعت عملیات وارد کردن دادهها را افزایش داد و کارایی مسیر نوشتن را بهبود بخشید. این قابلیت به خصوص در سیستمهایی که نیاز دارند به سرعت و با مقیاس بزرگ دادهها را وارد و بروزرسانی کنند، بسیار کاربردی است.
علاوه بر این، اکنون امکان تعیین محدودیت بر مصرف حافظه وجود دارد، که این قابلیت به مدیر سیستمها اجازه میدهد تا مصرف حافظه را کنترل و نظارت کند. این ویژگی کمک میکند تا سیستم در وضعیت بهینه و پایدار باقی بماند و از مصرف بیرویه منابع جلوگیری شود، در نتیجه عملکرد کلی پایدارتر و موثرتری را فراهم میسازد.
همچنین، این نسخه جدید امکان شاخصگذاری مستقیم بر روی ستونهایی از نوع text[]، varchar[] و bpchar[] را فراهم کرده است. این تفاوت مهم به توسعهدهندگان این امکان را میدهد تا به صورت مستقیم و بدون نیاز به تبدیلهای پیچیده، روی انواع دادههای متنی چندبعدی شاخصگذاری انجام دهند و جستجوهای سریعتر و موثرتری داشته باشند.
در مجموع، نسخه 1.1 این افزونه با افزودن پشتیبانی از درج همزمان، مدیریت مصرف حافظه و شاخصگذاری مستقیم بر روی انواع دادههای متنی، ابزارهای قدرتمندی را برای بهبود کارایی سیستمهای مبتنی بر جستجوی متن در اختیار توسعهدهندگان قرار میدهد و بهرهوری در پروژههای بزرگ و پردازشهای سنگین را افزایش میدهد.
#جستجوی_متن #بهبود_کارایی #پایدارسازی_سیستم #PostgreSQL
🟣لینک مقاله:
https://postgresweekly.com/link/184478/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_textsearch 1.1: BM25 Ranked Text Search Extension
🟢 خلاصه مقاله:
در نسخه 1.1 افزونه جستجوی متنی با رتبهبندی PG_textsearch، ویژگیهای جدید و مهمی افزوده شده است که عملکرد سیستم را به طور قابل توجهی بهبود میبخشد. یکی از این ویژگیهای کلیدی، پشتیبانی از عملیات درج همزمان است که با این امکان، میتوان در شرایطی که حجم و تعداد نوشتنها بسیار زیاد است، سرعت عملیات وارد کردن دادهها را افزایش داد و کارایی مسیر نوشتن را بهبود بخشید. این قابلیت به خصوص در سیستمهایی که نیاز دارند به سرعت و با مقیاس بزرگ دادهها را وارد و بروزرسانی کنند، بسیار کاربردی است.
علاوه بر این، اکنون امکان تعیین محدودیت بر مصرف حافظه وجود دارد، که این قابلیت به مدیر سیستمها اجازه میدهد تا مصرف حافظه را کنترل و نظارت کند. این ویژگی کمک میکند تا سیستم در وضعیت بهینه و پایدار باقی بماند و از مصرف بیرویه منابع جلوگیری شود، در نتیجه عملکرد کلی پایدارتر و موثرتری را فراهم میسازد.
همچنین، این نسخه جدید امکان شاخصگذاری مستقیم بر روی ستونهایی از نوع text[]، varchar[] و bpchar[] را فراهم کرده است. این تفاوت مهم به توسعهدهندگان این امکان را میدهد تا به صورت مستقیم و بدون نیاز به تبدیلهای پیچیده، روی انواع دادههای متنی چندبعدی شاخصگذاری انجام دهند و جستجوهای سریعتر و موثرتری داشته باشند.
در مجموع، نسخه 1.1 این افزونه با افزودن پشتیبانی از درج همزمان، مدیریت مصرف حافظه و شاخصگذاری مستقیم بر روی انواع دادههای متنی، ابزارهای قدرتمندی را برای بهبود کارایی سیستمهای مبتنی بر جستجوی متن در اختیار توسعهدهندگان قرار میدهد و بهرهوری در پروژههای بزرگ و پردازشهای سنگین را افزایش میدهد.
#جستجوی_متن #بهبود_کارایی #پایدارسازی_سیستم #PostgreSQL
🟣لینک مقاله:
https://postgresweekly.com/link/184478/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
Release v1.1.0 · timescale/pg_textsearch
pg_textsearch v1.1.0
The 1.1.0 release is organized around three themes: write-path performance for update-heavy workloads, operational readiness, and new indexing features. Lots of good stuff in ...
The 1.1.0 release is organized around three themes: write-path performance for update-heavy workloads, operational readiness, and new indexing features. Lots of good stuff in ...
ابزار Qdrant یه دیتابیس برداری و اوپن سورسه که به درد پروژههای هوش مصنوعی میخوره.
- با Rust نوشته شده
- میتونه حجم عظیم اطلاعات رو جواب بده
- قابلیت جستجو و فیلتر داره
- میتونی روی سرور خودت هاستش کنی
خودش یه غولیه تو دنیای هوش مصنوعی و 31 هزار تا star داره توی گیتهاب
https://github.com/qdrant/qdrant
- با Rust نوشته شده
- میتونه حجم عظیم اطلاعات رو جواب بده
- قابلیت جستجو و فیلتر داره
- میتونی روی سرور خودت هاستش کنی
خودش یه غولیه تو دنیای هوش مصنوعی و 31 هزار تا star داره توی گیتهاب
https://github.com/qdrant/qdrant
GitHub
GitHub - qdrant/qdrant: Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine for the next generation…
Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine for the next generation of AI. Also available in the cloud https://cloud.qdrant.io/ - qdrant/qdrant
🔵 عنوان مقاله
How Datadog Redefined Data Replication (7 minute read)
🟢 خلاصه مقاله:
شرکت Datadog پس از مواجهه با مشکلی در صفحه خلاصهی معیارهای خود که مدت زمان پاسخگویی آن به ۷ ثانیه در حالت p۹۰ رسیده بود، رویکرد جدیدی در نحوه توزیع و همترازی دادهها اتخاذ کرد. این مشکل ناشی از استفاده مستقیم از پایگاه دادهی Postgres برای انجام عملیاتهای جستجوی پرهزینه و پیچیده بر روی هزاران معیار و تنظیمات بود. به طور خاص، این استعلامهای Join در پایگاه داده، بار سنگینی بر سیستم وارد میکرد و موجب کاهش سرعت پاسخگویی میشد.
در نتیجه، راهحل مناسب این مشکل بر پایه تغییر در فرآیند همترازی دادهها قرار گرفت. به جای استفاده مستقیم و مکرر از پایگاه داده، تیم فنی Datadog تصمیم گرفت تغییرات دادهها را با استفاده از فناوری CDC (تردید تغییر دادهها) به صورت استریمینگ انتقال دهد. در این رویکرد، Debezium به عنوان مطالعهکننده WAL (وضعیت لاگ تراکنشهای Write-Ahead) عمل میکند؛ Kafka تغییرات را در بافر نگه میدارد و در نهایت یک پلتفرم جستجو، پاسخ سریع و کمتاخیر به درخواستها میدهد. این تغییر بزرگ، نه تنها سرعت پاسخگویی صفحات را بهبود بخشید بلکه کارایی و مقیاسپذیری سامانه را نیز افزایش داد.
برای اطمینان از امنیت و صحت عملیات همزمانی در سطوح بزرگ، تیم Datadog ابزارهایی مانند اعتبارسنجی مهاجرت اسکیم و نسخهبندی سازگار با نسخههای قدیمی را توسعه داد. آنها از Schema Registry مبتنی بر فرمت Avro بهره بردند تا اطمینان حاصل کنند که تغییرات در ساختار دادهها بدون ایجاد ناسازگاریها یا خطاهای ناخواسته اعمال میشوند. نتیجه این رویکرد، بهبود چشمگیر در عملکرد سیستم و کاهش زمان پاسخگویی صفحات، به خصوص در زمانهای اوج بار، بود.
این تحول در استراتژی همترازی دادهها، نشاندهنده انعطافپذیری و نوآوری در طراحی سیستمهای مقیاسپذیر است، جایی که تمرکز بر امنیت، سرعت، و کارایی، اصلیترین اهداف شرکتهای بزرگ فناوری است.
#داده #پایگاه_داده #همترازی_داده #فناوری
🟣لینک مقاله:
https://blog.bytebytego.com/p/how-datadog-redefined-data-replication?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How Datadog Redefined Data Replication (7 minute read)
🟢 خلاصه مقاله:
شرکت Datadog پس از مواجهه با مشکلی در صفحه خلاصهی معیارهای خود که مدت زمان پاسخگویی آن به ۷ ثانیه در حالت p۹۰ رسیده بود، رویکرد جدیدی در نحوه توزیع و همترازی دادهها اتخاذ کرد. این مشکل ناشی از استفاده مستقیم از پایگاه دادهی Postgres برای انجام عملیاتهای جستجوی پرهزینه و پیچیده بر روی هزاران معیار و تنظیمات بود. به طور خاص، این استعلامهای Join در پایگاه داده، بار سنگینی بر سیستم وارد میکرد و موجب کاهش سرعت پاسخگویی میشد.
در نتیجه، راهحل مناسب این مشکل بر پایه تغییر در فرآیند همترازی دادهها قرار گرفت. به جای استفاده مستقیم و مکرر از پایگاه داده، تیم فنی Datadog تصمیم گرفت تغییرات دادهها را با استفاده از فناوری CDC (تردید تغییر دادهها) به صورت استریمینگ انتقال دهد. در این رویکرد، Debezium به عنوان مطالعهکننده WAL (وضعیت لاگ تراکنشهای Write-Ahead) عمل میکند؛ Kafka تغییرات را در بافر نگه میدارد و در نهایت یک پلتفرم جستجو، پاسخ سریع و کمتاخیر به درخواستها میدهد. این تغییر بزرگ، نه تنها سرعت پاسخگویی صفحات را بهبود بخشید بلکه کارایی و مقیاسپذیری سامانه را نیز افزایش داد.
برای اطمینان از امنیت و صحت عملیات همزمانی در سطوح بزرگ، تیم Datadog ابزارهایی مانند اعتبارسنجی مهاجرت اسکیم و نسخهبندی سازگار با نسخههای قدیمی را توسعه داد. آنها از Schema Registry مبتنی بر فرمت Avro بهره بردند تا اطمینان حاصل کنند که تغییرات در ساختار دادهها بدون ایجاد ناسازگاریها یا خطاهای ناخواسته اعمال میشوند. نتیجه این رویکرد، بهبود چشمگیر در عملکرد سیستم و کاهش زمان پاسخگویی صفحات، به خصوص در زمانهای اوج بار، بود.
این تحول در استراتژی همترازی دادهها، نشاندهنده انعطافپذیری و نوآوری در طراحی سیستمهای مقیاسپذیر است، جایی که تمرکز بر امنیت، سرعت، و کارایی، اصلیترین اهداف شرکتهای بزرگ فناوری است.
#داده #پایگاه_داده #همترازی_داده #فناوری
🟣لینک مقاله:
https://blog.bytebytego.com/p/how-datadog-redefined-data-replication?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Bytebytego
How Datadog Redefined Data Replication
In this article, we will look at how Datadog implemented the changes and the challenges they faced.
🔵 عنوان مقاله
Managing context in long-run agentic applications (14 minute read)
🟢 خلاصه مقاله:
در برنامههای بلندمدت و پرکاربرد، عاملها به سرعت با محدودیتهای پنجرهی زمینه مواجه میشوند و دچار پدیدهای به نام «زوال زمینه» میشوند؛ وضعیتی که در آن اطلاعات مهم و اولیهای که باید حفظ شوند، تدریجاً از حافظهی عامل حذف میشوند و باعث کاهش کارایی و هماهنگی میگردند. برای مقابله با این مشکل، شرکتهایی مانند Slack از استراتژیهای هوشمندانهای برای اصلاح و تنظیم مجدد زمینه استفاده میکنند. این استراتژیها شامل برشهای هوشمندانه و خلاصهسازیهای مکرر است؛ به گونهای که عامل در مسیر اجرای وظایف خود بتواند با حفظ اطلاعات کلیدی، ادامه دهد.
یکی از تکنیکهای مؤثر در این روشها، مرحلههای دورهای «بازنگری» است. در این مرحله، عامل به صورت خودکار تاریخچه و اطلاعات جمعآوریشده خود را مرور میکند و بخشهای مهم و مرتبط را خلاصه مینماید؛ این کار باعث میشود که عامل بتواند به جای نگهداشتن حجم زیادی از دادههای قدیمی، تمرکز خود را بر روی نکات کلیدی و اطلاعات حیاتی حفظ کند. این فرآیند علاوه بر حفظ پیوستگی و اعتبار اطلاعات، به بهبود دقت و استحکام عملیات در طول زمان کمک شایانی میکند.
در نتیجه، استفاده از استراتژیهای هوشمندانه برای مدیریت زمینه، اجازه میدهد تا عاملهای بلندمدت نه تنها با محدودیتهای فنی مواجه نشوند بلکه از زوال اطلاعات جلوگیری کرده و در نتیجه، اعتمادپذیری و ثبات در انجام وظایف را افزایش دهند. این رویکردها به طور خاص در پروژههای بزرگ و سیستمهایی که نیازمند نگهداری و پردازش بلندمدت اطلاعات هستند، بسیار حیاتی و مؤثر واقع میشود.
#هوش_مصنوعی #مدیریت_زمینه #عامل_هوشمند #پایداری
🟣لینک مقاله:
https://slack.engineering/managing-context-in-long-run-agentic-applications/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Managing context in long-run agentic applications (14 minute read)
🟢 خلاصه مقاله:
در برنامههای بلندمدت و پرکاربرد، عاملها به سرعت با محدودیتهای پنجرهی زمینه مواجه میشوند و دچار پدیدهای به نام «زوال زمینه» میشوند؛ وضعیتی که در آن اطلاعات مهم و اولیهای که باید حفظ شوند، تدریجاً از حافظهی عامل حذف میشوند و باعث کاهش کارایی و هماهنگی میگردند. برای مقابله با این مشکل، شرکتهایی مانند Slack از استراتژیهای هوشمندانهای برای اصلاح و تنظیم مجدد زمینه استفاده میکنند. این استراتژیها شامل برشهای هوشمندانه و خلاصهسازیهای مکرر است؛ به گونهای که عامل در مسیر اجرای وظایف خود بتواند با حفظ اطلاعات کلیدی، ادامه دهد.
یکی از تکنیکهای مؤثر در این روشها، مرحلههای دورهای «بازنگری» است. در این مرحله، عامل به صورت خودکار تاریخچه و اطلاعات جمعآوریشده خود را مرور میکند و بخشهای مهم و مرتبط را خلاصه مینماید؛ این کار باعث میشود که عامل بتواند به جای نگهداشتن حجم زیادی از دادههای قدیمی، تمرکز خود را بر روی نکات کلیدی و اطلاعات حیاتی حفظ کند. این فرآیند علاوه بر حفظ پیوستگی و اعتبار اطلاعات، به بهبود دقت و استحکام عملیات در طول زمان کمک شایانی میکند.
در نتیجه، استفاده از استراتژیهای هوشمندانه برای مدیریت زمینه، اجازه میدهد تا عاملهای بلندمدت نه تنها با محدودیتهای فنی مواجه نشوند بلکه از زوال اطلاعات جلوگیری کرده و در نتیجه، اعتمادپذیری و ثبات در انجام وظایف را افزایش دهند. این رویکردها به طور خاص در پروژههای بزرگ و سیستمهایی که نیازمند نگهداری و پردازش بلندمدت اطلاعات هستند، بسیار حیاتی و مؤثر واقع میشود.
#هوش_مصنوعی #مدیریت_زمینه #عامل_هوشمند #پایداری
🟣لینک مقاله:
https://slack.engineering/managing-context-in-long-run-agentic-applications/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
slack.engineering
Managing context in long-run agentic applications
Excerpt In complex, long-running agentic systems, maintaining alignment and coherent reasoning between agents requires careful design. In this second article of our series, we explore these challenges and the mechanisms we built to keep teams of agents working…
Forwarded from VIP
🕊پرامپت خوب، شبیه یک تصمیم درست و اصولی در زندگی هر آدمیه.
من همیشه سعی کردم برای تمام چنلهای زیر، بهترین مقالهها رو از معتبرترین سایتهای هر حوزه جمعآوری کنم.
اما مشکلی که قبلاً داشتم این بود که پرامپت درستی برای ترجمهی اصولی مقالات نداشتم.
یعنی بعضی وقتها ترجمه سوتی میداد، یا بیش از حد توکن مصرف میشد و خروجی کیفیت لازم رو نداشت.
بعد از مدتها آزمون و خطا، تقریباً حدود یک سال پیش تونستم یک پرامپت اصولی طراحی کنم که مقالات رو تمیز، روان و درست ترجمه کنه.
حالا گفتم این پرامپت رو با شما هم به اشتراک بذارم؛ شاید برای شما هم مفید و کاربردی باشه. 🙌
لینک ریپو اینجاست👇🔴
https://github.com/mrbardia72/token-efficient-prompt/blob/main/prompt_translate.md
🌟خوشحال میشم استار بدید و مشارکت کنید🌟
اینجا👇می تونید توی تمام چنل ها ما عضو بشید
https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
من همیشه سعی کردم برای تمام چنلهای زیر، بهترین مقالهها رو از معتبرترین سایتهای هر حوزه جمعآوری کنم.
اما مشکلی که قبلاً داشتم این بود که پرامپت درستی برای ترجمهی اصولی مقالات نداشتم.
یعنی بعضی وقتها ترجمه سوتی میداد، یا بیش از حد توکن مصرف میشد و خروجی کیفیت لازم رو نداشت.
بعد از مدتها آزمون و خطا، تقریباً حدود یک سال پیش تونستم یک پرامپت اصولی طراحی کنم که مقالات رو تمیز، روان و درست ترجمه کنه.
حالا گفتم این پرامپت رو با شما هم به اشتراک بذارم؛ شاید برای شما هم مفید و کاربردی باشه. 🙌
لینک ریپو اینجاست👇🔴
https://github.com/mrbardia72/token-efficient-prompt/blob/main/prompt_translate.md
🌟خوشحال میشم استار بدید و مشارکت کنید🌟
اینجا👇می تونید توی تمام چنل ها ما عضو بشید
https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
🔵 عنوان مقاله
Agent responsibly (5 minute read)
🟢 خلاصه مقاله:
در دنیای توسعه نرمافزار، استفاده از عاملهای هوش مصنوعی برای کد نویسی روزبهروز رایجتر میشود. این عاملها میتوانند کدهایی مستحکم و قابل اجرایی تولید کنند که از نظر آزمایشها معتبر هستند، اما در واقعیت و در محیطهای عملیاتی ممکن است دچار نقصهایی شوند. این موضوع خطر ایجاد اعتماد کاذب را به همراه دارد و میتواند ریسکهایی جدی برای سیستمها به وجود آورد، چرا که تصور میشود سیستم کاملاً ایمن و آماده است در حالی که واقعیت نشان میدهد با چالشهایی روبهرو خواهد شد.
بنابراین، بهترین رویکرد این است که به جای اعتماد کامل به عاملهای هوش مصنوعی، از آنها به عنوان ابزار کمکی استفاده کنیم و همواره کنترل و مالکیت انسانی بر فرآیندها حفظ شود. باید زیرساختهایی محکم و استانداردهای قوی طراحی کنیم که فرآیند استقرار و بهرهبرداری از این سیستمها را ایمن و مطمئن سازند. در این حالت، بهرهگیری از عاملهای هوش مصنوعی به شکل کنارگذاشته نمیشود، بلکه نقش آنها در آمادهسازی کد و کاهش خطاها است و در عین حال، حاکمیت و کنترل نهایی بر عهده انسان باقی میماند.
در نهایت، تمرکز بر توسعه استراتژیهایی است که ایمنی و امنیت سیستمها را به عنوان اولویت نخست قرار دهند. ساختن فرهنگ ایمنسازی و آموزش مستمر در کنار پیروی از استانداردهای معتبر، میتواند خطرات ناشی از اتکای بیشازحد به هوش مصنوعی در فرآیند توسعه نرمافزار را کاهش دهد و نهادینه کردن نگرشی مسئولانه را ترویج کند.
#هوشمندیکد #امنیتسیستم #توسعه_پایدار #مدیریت_ریسک
🟣لینک مقاله:
https://vercel.com/blog/agent-responsibly?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Agent responsibly (5 minute read)
🟢 خلاصه مقاله:
در دنیای توسعه نرمافزار، استفاده از عاملهای هوش مصنوعی برای کد نویسی روزبهروز رایجتر میشود. این عاملها میتوانند کدهایی مستحکم و قابل اجرایی تولید کنند که از نظر آزمایشها معتبر هستند، اما در واقعیت و در محیطهای عملیاتی ممکن است دچار نقصهایی شوند. این موضوع خطر ایجاد اعتماد کاذب را به همراه دارد و میتواند ریسکهایی جدی برای سیستمها به وجود آورد، چرا که تصور میشود سیستم کاملاً ایمن و آماده است در حالی که واقعیت نشان میدهد با چالشهایی روبهرو خواهد شد.
بنابراین، بهترین رویکرد این است که به جای اعتماد کامل به عاملهای هوش مصنوعی، از آنها به عنوان ابزار کمکی استفاده کنیم و همواره کنترل و مالکیت انسانی بر فرآیندها حفظ شود. باید زیرساختهایی محکم و استانداردهای قوی طراحی کنیم که فرآیند استقرار و بهرهبرداری از این سیستمها را ایمن و مطمئن سازند. در این حالت، بهرهگیری از عاملهای هوش مصنوعی به شکل کنارگذاشته نمیشود، بلکه نقش آنها در آمادهسازی کد و کاهش خطاها است و در عین حال، حاکمیت و کنترل نهایی بر عهده انسان باقی میماند.
در نهایت، تمرکز بر توسعه استراتژیهایی است که ایمنی و امنیت سیستمها را به عنوان اولویت نخست قرار دهند. ساختن فرهنگ ایمنسازی و آموزش مستمر در کنار پیروی از استانداردهای معتبر، میتواند خطرات ناشی از اتکای بیشازحد به هوش مصنوعی در فرآیند توسعه نرمافزار را کاهش دهد و نهادینه کردن نگرشی مسئولانه را ترویج کند.
#هوشمندیکد #امنیتسیستم #توسعه_پایدار #مدیریت_ریسک
🟣لینک مقاله:
https://vercel.com/blog/agent-responsibly?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Vercel
Agent responsibly
There's a difference between leveraging AI and relying on it. A framework for shipping agent-generated code with the judgment and guardrails it requires.
🔵 عنوان مقاله
Ctrl-C in psql Gives Me the Heebie-Jeebies
🟢 خلاصه مقاله:
در هنگام کار با ابزار مدیریت پایگاهداده psql، ممکن است با مشکلی خاص مواجه شوید که در نگاه اول چندان جدی به نظر نرسد، اما در واقع میتواند نگرانیهای امنیتی جدیتری را به دنبال داشته باشد. زمانی که کلید Ctrl-C را در psql فشار میدهید، درخواست کنسل کردن عملیات جاری ارسال میشود. این درخواست، به صورت غیر رمزگذاریشده و از طریق یک اتصال مجزا، ارسال میشود، حتی اگر اتصال اصلی شما از لایه امنیتی TLS بهرهمند باشد. این موضوع ممکن است باعث نگرانیهای امنیتی و حریم خصوصی شود، چرا که اطلاعات حساس در طول انتقال در معرض دید قرار میگیرد و راه را برای حملات احتمالی هموار میسازد.
در این مقاله، به صورت عمیق و فنی، نحوه عملکرد درخواست CancelRequest در پروتکل PostgreSQL مورد بررسی قرار میگیرد. توضیح داده میشود که چگونه این درخواست در سطح پروتکل پیادهسازی میشود، چه سازوکارهایی در پشت آن مخفی است و چه پیامدهایی از نظر امنیت دارد. فهمیدن این موضوع اهمیت زیادی دارد چرا که نشان میدهد چرا PostgreSQL این روش را برای مدیریت درخواستهای کنسل در نظر گرفته است و چه راههایی برای کاهش خطرات امنیتی وجود دارد.
در پایان، آگاهی از نحوه کار CancelRequest و ریشههای آن در پروتکلهای ارتباطی، به توسعهدهندگان و مدیران پایگاهداده کمک میکند تا بهتر بتوانند استراتژیهای امنیتی خود را پیادهسازی کنند و از بروز آسیبپذیریهای ناخواسته جلوگیری نمایند. شناخت این جزئیات فنی، کلید بهبود امنیت و اطمینان خاطر در استفاده روزمره از PostgreSQL است.
#امنیت_پایگاهداده #PostgreSQL #امنیت_شبکه #پروتکل
🟣لینک مقاله:
https://postgresweekly.com/link/182715/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Ctrl-C in psql Gives Me the Heebie-Jeebies
🟢 خلاصه مقاله:
در هنگام کار با ابزار مدیریت پایگاهداده psql، ممکن است با مشکلی خاص مواجه شوید که در نگاه اول چندان جدی به نظر نرسد، اما در واقع میتواند نگرانیهای امنیتی جدیتری را به دنبال داشته باشد. زمانی که کلید Ctrl-C را در psql فشار میدهید، درخواست کنسل کردن عملیات جاری ارسال میشود. این درخواست، به صورت غیر رمزگذاریشده و از طریق یک اتصال مجزا، ارسال میشود، حتی اگر اتصال اصلی شما از لایه امنیتی TLS بهرهمند باشد. این موضوع ممکن است باعث نگرانیهای امنیتی و حریم خصوصی شود، چرا که اطلاعات حساس در طول انتقال در معرض دید قرار میگیرد و راه را برای حملات احتمالی هموار میسازد.
در این مقاله، به صورت عمیق و فنی، نحوه عملکرد درخواست CancelRequest در پروتکل PostgreSQL مورد بررسی قرار میگیرد. توضیح داده میشود که چگونه این درخواست در سطح پروتکل پیادهسازی میشود، چه سازوکارهایی در پشت آن مخفی است و چه پیامدهایی از نظر امنیت دارد. فهمیدن این موضوع اهمیت زیادی دارد چرا که نشان میدهد چرا PostgreSQL این روش را برای مدیریت درخواستهای کنسل در نظر گرفته است و چه راههایی برای کاهش خطرات امنیتی وجود دارد.
در پایان، آگاهی از نحوه کار CancelRequest و ریشههای آن در پروتکلهای ارتباطی، به توسعهدهندگان و مدیران پایگاهداده کمک میکند تا بهتر بتوانند استراتژیهای امنیتی خود را پیادهسازی کنند و از بروز آسیبپذیریهای ناخواسته جلوگیری نمایند. شناخت این جزئیات فنی، کلید بهبود امنیت و اطمینان خاطر در استفاده روزمره از PostgreSQL است.
#امنیت_پایگاهداده #PostgreSQL #امنیت_شبکه #پروتکل
🟣لینک مقاله:
https://postgresweekly.com/link/182715/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Neon
Ctrl-C in psql gives me the heebie-jeebies - Neon
There are a few different reasons to hit the brakes on a Postgres query. Maybe it’s taking too long to finish. Maybe you realised you forgot to create an index that will make it orders of magnitude quicker. Maybe there’s some reason the results are no longer…
Forwarded from VIP
♦️ ۲۲ اردیبهشت، زادروز مریم میرزاخانی، به عنوان روز جهانی زنان در ریاضیات شناخته میشود؛ ریاضیدان ایرانیای که نامش برای همیشه در تاریخ علم ماندگار شد.
میرزاخانی در سال ۱۳۷۳ مدال طلای المپیاد ریاضی ایران و در سال ۱۹۹۴ مدال طلای المپیاد جهانی ریاضی در هنگکنگ را کسب کرد. یک سال بعد، در ۱۹۹۵، دوباره طلای جهانی گرفت و با کسب نمره کامل، نامش را در تاریخ المپیادها ثبت کرد.
او برای ادامه تحصیل به آمریکا رفت و دکترای خود را از دانشگاه هاروارد گرفت. مریم بعدها استاد دانشگاه استنفورد شد و در سال ۲۰۱۴ به عنوان نخستین زن تاریخ، مدال فیلدز، معتبرترین جایزه دنیای ریاضیات، را دریافت کرد.
داستان او فقط درباره ریاضی نیست؛ درباره کنجکاوی، پشتکار و شکستن مرزهاییست که غیرممکن به نظر میرسیدند.
https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
میرزاخانی در سال ۱۳۷۳ مدال طلای المپیاد ریاضی ایران و در سال ۱۹۹۴ مدال طلای المپیاد جهانی ریاضی در هنگکنگ را کسب کرد. یک سال بعد، در ۱۹۹۵، دوباره طلای جهانی گرفت و با کسب نمره کامل، نامش را در تاریخ المپیادها ثبت کرد.
او برای ادامه تحصیل به آمریکا رفت و دکترای خود را از دانشگاه هاروارد گرفت. مریم بعدها استاد دانشگاه استنفورد شد و در سال ۲۰۱۴ به عنوان نخستین زن تاریخ، مدال فیلدز، معتبرترین جایزه دنیای ریاضیات، را دریافت کرد.
داستان او فقط درباره ریاضی نیست؛ درباره کنجکاوی، پشتکار و شکستن مرزهاییست که غیرممکن به نظر میرسیدند.
https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
❤1
🔵 عنوان مقاله
Netlify Database is Now Available
🟢 خلاصه مقاله:
شرکت نتلیфа به جمع ارائهدهندگان خدمات استقرار در فضای ابری پیوسته است و این بار با معرفی پایگاهدادههای PostgreSQL، امکان استفاده از دیتابیسهای قدرتمند را برای تمامی کاربران خود فراهم کرده است. این اقدام نشان میدهد که نتلیفا در تلاش است تا خدمات متنوع و قابل اعتماد در حوزه زیرساختهای ابری ارائه دهد و نیازهای توسعهدهندگان را برآورده سازد. حالا کاربران میتوانند در داخل پلتفرم نتلیفا، به سادگی و بدون نیاز به سرویسهای جداگانه، به پایگاهدادههای PostgreSQL دسترسی پیدا کنند، که این امر روند توسعه برنامههای وب و اپلیکیشنهای مختلف را بسیار سادهتر و کارآمدتر میسازد.
پایگاهدادههای PostgreSQL که به عنوان یک سیستم مدیریت پایگاهداده متن باز و قدرتمند شناخته میشود، حالا در اختیار کاربران نتلیفا قرار گرفته است تا از امکانات پیشرفته آن بهرهمند شوند. این سرویس محدودیتهایی دارد، اما تخصصاً برای توسعهدهندگان و کسبوکارهای کوچک و متوسط، امکانات مناسبی را فراهم میکند تا بتوانند زیرساختهای دادهای خود را در فضای ابری ارتقاء دهند. این اقدام نشاندهندهی تعهد نتلیفا به گسترش خدمات ابری و ایجاد فرصتهای جدید برای توسعهدهندگان است که بتوانند پروژههای خود را سریعتر و با ابزارهای بهتر راهاندازی کنند.
در مجموع، این گام جدید نتلیفا، امکان دسترسی آسان و سریع به پایگاهدادههای PostgreSQL را برای میلیونها کاربر فراهم میکند و فرصتی است برای پشتیبانی بهتر از پروژههای مبتنی بر فضای ابری. این حرکت نشان از تلاش شرکت برای رقابت در بازار خدمات ابری و بهبود تجربه کاربری دارد، تا بتواند جایگاه خود را در این حوزه تثبیت کند و به نیازهای روزافزون توسعهدهندگان پاسخ دهد.
#پایگاهداده #PostgreSQL #فضای_ابری #توسعهدهندگان
🟣لینک مقاله:
https://postgresweekly.com/link/184472/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Netlify Database is Now Available
🟢 خلاصه مقاله:
شرکت نتلیфа به جمع ارائهدهندگان خدمات استقرار در فضای ابری پیوسته است و این بار با معرفی پایگاهدادههای PostgreSQL، امکان استفاده از دیتابیسهای قدرتمند را برای تمامی کاربران خود فراهم کرده است. این اقدام نشان میدهد که نتلیفا در تلاش است تا خدمات متنوع و قابل اعتماد در حوزه زیرساختهای ابری ارائه دهد و نیازهای توسعهدهندگان را برآورده سازد. حالا کاربران میتوانند در داخل پلتفرم نتلیفا، به سادگی و بدون نیاز به سرویسهای جداگانه، به پایگاهدادههای PostgreSQL دسترسی پیدا کنند، که این امر روند توسعه برنامههای وب و اپلیکیشنهای مختلف را بسیار سادهتر و کارآمدتر میسازد.
پایگاهدادههای PostgreSQL که به عنوان یک سیستم مدیریت پایگاهداده متن باز و قدرتمند شناخته میشود، حالا در اختیار کاربران نتلیفا قرار گرفته است تا از امکانات پیشرفته آن بهرهمند شوند. این سرویس محدودیتهایی دارد، اما تخصصاً برای توسعهدهندگان و کسبوکارهای کوچک و متوسط، امکانات مناسبی را فراهم میکند تا بتوانند زیرساختهای دادهای خود را در فضای ابری ارتقاء دهند. این اقدام نشاندهندهی تعهد نتلیفا به گسترش خدمات ابری و ایجاد فرصتهای جدید برای توسعهدهندگان است که بتوانند پروژههای خود را سریعتر و با ابزارهای بهتر راهاندازی کنند.
در مجموع، این گام جدید نتلیفا، امکان دسترسی آسان و سریع به پایگاهدادههای PostgreSQL را برای میلیونها کاربر فراهم میکند و فرصتی است برای پشتیبانی بهتر از پروژههای مبتنی بر فضای ابری. این حرکت نشان از تلاش شرکت برای رقابت در بازار خدمات ابری و بهبود تجربه کاربری دارد، تا بتواند جایگاه خود را در این حوزه تثبیت کند و به نیازهای روزافزون توسعهدهندگان پاسخ دهد.
#پایگاهداده #PostgreSQL #فضای_ابری #توسعهدهندگان
🟣لینک مقاله:
https://postgresweekly.com/link/184472/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Netlify
Netlify Database is now available: from provisioning to integrated Postgres
Netlify Database is a fully managed Postgres database built into the Netlify platform. It brings professional branching and migration workflows into every project, so builders can move fast without things constantly breaking.
🔵 عنوان مقاله
attempting to 'rebuild Postgres in Rust'
🟢 خلاصه مقاله:
در حال حاضر، پروژهای تحت عنوان «بازسازی پایگاه داده PostgreSQL با زبان Rust» در جریان است. هدف این پروژه، طراحی مجدد سیستم پایگاه داده PostgreSQL است تا با بهرهگیری از زبان برنامهنویسی قوی و امن Rust، عملکرد و امنیت آن بهبود یابد. اهمیت این تلاش در امکان بهرهگیری از مزایای زبان Rust، مانند سرعت بالا، بهرهوری در حافظه و اطمینان از عدم وجود خطاهای حافظه است که میتواند بر کیفیت و ایمنی سیستم تاثیرگذار باشد.
در این مسیر، تیم توسعه از هوش مصنوعی و عاملان هوشمند برای تسهیل فرآیند توسعه و آزمایش استفاده میکند. جالب است بدانید که تاکنون حدود یکسوم از آزمایشهای مربوط به PostgreSQL با این روش اجرا شده است و نتیجهها حاکی از پیشرفت قابل توجه است. همچنین، نسخهای تعاملی و زنده از این پروژه در دسترس است که علاقهمندان میتوانند به صورت آنلاین آن را مشاهده و تجربه کنند.
این حرکت نوآورانه نشاندهنده تلاش برای نوآوری و بهبودهای تکنولوژیکی در یکی از محبوبترین و پراستفادهترین سیستمهای مدیریت پایگاه داده است. استفاده از هوش مصنوعی در توسعه چنین پروژههایی، نشان میدهد که آینده سیستمهای پایگاه داده میتواند به شدت تغییر کند و امکانات جدیدی فراهم آید که قبلاً تصور آن سخت بود.
در نهایت، این پروژه نمونهای است از ترکیب فناوریهای مدرن برای بهبود سیستمهای موجود و توسعه ابزارهای قدرتمند برای برنامهنویسان و مدیران داده.
#پایگاه داده #Rust #هوش مصنوعی #پروژههای نوآورانه
🟣لینک مقاله:
https://postgresweekly.com/link/184112/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
attempting to 'rebuild Postgres in Rust'
🟢 خلاصه مقاله:
در حال حاضر، پروژهای تحت عنوان «بازسازی پایگاه داده PostgreSQL با زبان Rust» در جریان است. هدف این پروژه، طراحی مجدد سیستم پایگاه داده PostgreSQL است تا با بهرهگیری از زبان برنامهنویسی قوی و امن Rust، عملکرد و امنیت آن بهبود یابد. اهمیت این تلاش در امکان بهرهگیری از مزایای زبان Rust، مانند سرعت بالا، بهرهوری در حافظه و اطمینان از عدم وجود خطاهای حافظه است که میتواند بر کیفیت و ایمنی سیستم تاثیرگذار باشد.
در این مسیر، تیم توسعه از هوش مصنوعی و عاملان هوشمند برای تسهیل فرآیند توسعه و آزمایش استفاده میکند. جالب است بدانید که تاکنون حدود یکسوم از آزمایشهای مربوط به PostgreSQL با این روش اجرا شده است و نتیجهها حاکی از پیشرفت قابل توجه است. همچنین، نسخهای تعاملی و زنده از این پروژه در دسترس است که علاقهمندان میتوانند به صورت آنلاین آن را مشاهده و تجربه کنند.
این حرکت نوآورانه نشاندهنده تلاش برای نوآوری و بهبودهای تکنولوژیکی در یکی از محبوبترین و پراستفادهترین سیستمهای مدیریت پایگاه داده است. استفاده از هوش مصنوعی در توسعه چنین پروژههایی، نشان میدهد که آینده سیستمهای پایگاه داده میتواند به شدت تغییر کند و امکانات جدیدی فراهم آید که قبلاً تصور آن سخت بود.
در نهایت، این پروژه نمونهای است از ترکیب فناوریهای مدرن برای بهبود سیستمهای موجود و توسعه ابزارهای قدرتمند برای برنامهنویسان و مدیران داده.
#پایگاه داده #Rust #هوش مصنوعی #پروژههای نوآورانه
🟣لینک مقاله:
https://postgresweekly.com/link/184112/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
malisper.me
pgrust: Rebuilding Postgres in Rust with AI - malisper.me
I’ve written dozens of blog posts about Postgres internals. Postgres is one of the greatest databases out there. But from chatting with a lot of my friends at startups, I’ve seen consistent challenges. Two weeks ago I started rebuilding it from scratch in…
🔵 عنوان مقاله
High Memory Usage in Postgres is Good, Actually
🟢 خلاصه مقاله:
در بسیاری از موارد، مصرف بالای حافظه در پایگاه داده پستگرس نشانهای است از اینکه سیستم در حال انجام وظایف خود به خوبی عمل میکند؛ یعنی دادههای پرکاربرد و مورد استفاده مکرر را در نزدیکی پردازش نگه میدارد تا سرعت پاسخگویی را بالا ببرد. در واقع، وقتی پایگاه داده حافظه زیادی مصرف میکند، این مسئله نشان میدهد که این حافظه به صورت مؤثر برای بهبود عملکرد سیستم مورد استفاده قرار میگیرد.
اما نکتهای که باید در نظر داشت، فشار حافظه یا همان "Memory pressure" است؛ این حالت زمانی رخ میدهد که مصرف حافظه به حدی برسد که شروع به کاهش کارایی سیستم کند یا منجر به کندی عملکرد شود. سیمئون در مقاله خود توضیح میدهد چگونه میتوان این دو حالت را از هم تشخیص داد و تفاوتهایشان را شناخت. فهمیدن این نکته برای مدیران پایگاه داده اهمیت دارد تا بتوانند مدیریت بهتری بر منابع سیستم داشته باشند و در شرایط مختلف واکنش مناسب نشان دهند.
در نهایت، مصرف زیاد حافظه در پستگرس نباید همیشه نگرانکننده باشد، اما باید با آگاهی کامل تفاوت آن را با فشار حافظه تشخیص داد تا عملکرد سیستم در بهترین حالت باقی بماند.
#پایگاه_داده #پستگرس #مدیریت_حافظه #کارایی
🟣لینک مقاله:
https://postgresweekly.com/link/183111/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
High Memory Usage in Postgres is Good, Actually
🟢 خلاصه مقاله:
در بسیاری از موارد، مصرف بالای حافظه در پایگاه داده پستگرس نشانهای است از اینکه سیستم در حال انجام وظایف خود به خوبی عمل میکند؛ یعنی دادههای پرکاربرد و مورد استفاده مکرر را در نزدیکی پردازش نگه میدارد تا سرعت پاسخگویی را بالا ببرد. در واقع، وقتی پایگاه داده حافظه زیادی مصرف میکند، این مسئله نشان میدهد که این حافظه به صورت مؤثر برای بهبود عملکرد سیستم مورد استفاده قرار میگیرد.
اما نکتهای که باید در نظر داشت، فشار حافظه یا همان "Memory pressure" است؛ این حالت زمانی رخ میدهد که مصرف حافظه به حدی برسد که شروع به کاهش کارایی سیستم کند یا منجر به کندی عملکرد شود. سیمئون در مقاله خود توضیح میدهد چگونه میتوان این دو حالت را از هم تشخیص داد و تفاوتهایشان را شناخت. فهمیدن این نکته برای مدیران پایگاه داده اهمیت دارد تا بتوانند مدیریت بهتری بر منابع سیستم داشته باشند و در شرایط مختلف واکنش مناسب نشان دهند.
در نهایت، مصرف زیاد حافظه در پستگرس نباید همیشه نگرانکننده باشد، اما باید با آگاهی کامل تفاوت آن را با فشار حافظه تشخیص داد تا عملکرد سیستم در بهترین حالت باقی بماند.
#پایگاه_داده #پستگرس #مدیریت_حافظه #کارایی
🟣لینک مقاله:
https://postgresweekly.com/link/183111/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Planetscale
High memory usage in Postgres is good, actually — PlanetScale
A high memory percentage in PlanetScale Postgres is not necessarily a problem. Let's compare how memory and CPU usage are different, how not all memory usage is created equal, and which signals actually require attention.
🔵 عنوان مقاله
Fivetran donates its SQLMesh data transformation framework to the Linux Foundation (2 minute read)
🟢 خلاصه مقاله:
شرکت فایوتران به تازگی اعلام کرده است که فریمورک تبدیل دادههای مبتنی بر SQL خود، به نام SQLMesh، را به بنیاد لینوکس اهدا خواهد کرد. این فریمورک که در سپتامبر گذشته از شرکت توبیکو دیتای خریداری شده بود، به منظور ارتقای حکمرانی بیطرفانه و مشترک در لایه تبدیل دادهها عرضه میشود.SQLMesh امکاناتی مانند آزمایش، نسخهبندی و فرآیندهای مشابه با Terraform برای خطلولههای SQL را فراهم میکند و هدف اصلی آن، حمایت از استانداردهای زیرساخت دادههای متنباز است.
استراتژی فایوتران این است که با مشارکت در توسعه این استاندارد، کنار دیگر ابزارهای محبوبی مانند dbt، نقش موثری در شکلگیری و گسترش زیرساخت دادههای آزاد داشته باشد. این حرکت با تکیه بر مالکیت جمعی و مشارکت جامعه توسعهدهندگان، قصد دارد رشد و پذیرش استانداردهای باز در حوزه مدیریت دادهها را تسریع کند و به عنوان معیاری مشترک برای صنعت در نظر گرفته شود.
این اقدام نشاندهنده تمایل شرکتها به سمت همکاریهای بینالمللی و تمرکز بر استانداردسازی در فضای فناوری است، تا بتوانند با بهرهگیری از منابع مشترک، اکوسیستم دادههای متنباز را توسعه دهند و نوآوری بیشتری ایجاد کنند.
#داده #منابع_باز #استانداردسازی #فناوری
🟣لینک مقاله:
https://thenewstack.io/fivetran-donates-sqlmesh-lf/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Fivetran donates its SQLMesh data transformation framework to the Linux Foundation (2 minute read)
🟢 خلاصه مقاله:
شرکت فایوتران به تازگی اعلام کرده است که فریمورک تبدیل دادههای مبتنی بر SQL خود، به نام SQLMesh، را به بنیاد لینوکس اهدا خواهد کرد. این فریمورک که در سپتامبر گذشته از شرکت توبیکو دیتای خریداری شده بود، به منظور ارتقای حکمرانی بیطرفانه و مشترک در لایه تبدیل دادهها عرضه میشود.SQLMesh امکاناتی مانند آزمایش، نسخهبندی و فرآیندهای مشابه با Terraform برای خطلولههای SQL را فراهم میکند و هدف اصلی آن، حمایت از استانداردهای زیرساخت دادههای متنباز است.
استراتژی فایوتران این است که با مشارکت در توسعه این استاندارد، کنار دیگر ابزارهای محبوبی مانند dbt، نقش موثری در شکلگیری و گسترش زیرساخت دادههای آزاد داشته باشد. این حرکت با تکیه بر مالکیت جمعی و مشارکت جامعه توسعهدهندگان، قصد دارد رشد و پذیرش استانداردهای باز در حوزه مدیریت دادهها را تسریع کند و به عنوان معیاری مشترک برای صنعت در نظر گرفته شود.
این اقدام نشاندهنده تمایل شرکتها به سمت همکاریهای بینالمللی و تمرکز بر استانداردسازی در فضای فناوری است، تا بتوانند با بهرهگیری از منابع مشترک، اکوسیستم دادههای متنباز را توسعه دهند و نوآوری بیشتری ایجاد کنند.
#داده #منابع_باز #استانداردسازی #فناوری
🟣لینک مقاله:
https://thenewstack.io/fivetran-donates-sqlmesh-lf/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The New Stack
Fivetran donates its SQLMesh data transformation framework to the Linux Foundation
Fivetran, which also own SQLMesh competitor dbt, says it believes the data transformation layer should evolve as a community effort.
🔵 عنوان مقاله
The Hidden Behavior of plan_cache_mode
🟢 خلاصه مقاله:
آیا تاکنون متوجه شدهاید که برنامهریز پرسوجو میتواند پس از چندین اجرای یک دستور تهیهشده، طرح اجرایی آن را تغییر دهد؟ این پدیده، که بهطور مخفی رخ میدهد، یکی از رفتارهای نهان در سیستمهای مدیریت پایگاه داده است که ممکن است تاثیر قابل توجهی بر عملکرد و بهینهسازی باشد. در واقع، این تغییرات خودکار و پنهان در برنامهریزی پرسوجو میتواند منبع سردرگمی برای توسعهدهندگان و مدیران پایگاه داده باشد، زیرا ممکن است نتایج متفاوتی در هر اجرای یک پرسوجو ایجاد کند.
این رفتار، که به عنوان "حالت مخفی کش طرح" یا همان *plan_cache_mode* شناخته میشود، نشان میدهد که سیستم به صورت پویا و بر اساس تجارب قبلی، تصمیم میگیرد بهترین مسیر برای اجرای پرسوجو را انتخاب کند. چنین ویژگیای در بسیاری از سیستمهای پایگاه داده رایج است تا تداوم و کارایی عملیاتها تضمین گردد، اما گاهی اوقات نیز ممکن است منجر به ایجاد پرسوجوهای نامطلوب یا کاهش کارایی شود. در نتیجه، آگاهی از نحوه کار این حالت و قابلیت کنترل آن اهمیت ویژهای دارد.
در نهایت، درک درست از این رفتار مخفی و نحوه تنظیمات مرتبط با آن میتواند کمک بزرگی در بهینهسازی عملکرد بانکهای اطلاعاتی شما باشد. لذا توصیه میشود که متخصصان مدیریت دیتابیسها همواره با این نوع رفتارهای نهان آشنا باشند و ابزارهای مدیریت و تنظیمات لازم را در اختیار داشته باشند تا از بروز مشکلات و کاهش کارایی جلوگیری کنند.
#پایگاه_داده #بهینهسازی #پرسوجو #رفتارهای_مخفی
🟣لینک مقاله:
https://postgresweekly.com/link/183119/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Hidden Behavior of plan_cache_mode
🟢 خلاصه مقاله:
آیا تاکنون متوجه شدهاید که برنامهریز پرسوجو میتواند پس از چندین اجرای یک دستور تهیهشده، طرح اجرایی آن را تغییر دهد؟ این پدیده، که بهطور مخفی رخ میدهد، یکی از رفتارهای نهان در سیستمهای مدیریت پایگاه داده است که ممکن است تاثیر قابل توجهی بر عملکرد و بهینهسازی باشد. در واقع، این تغییرات خودکار و پنهان در برنامهریزی پرسوجو میتواند منبع سردرگمی برای توسعهدهندگان و مدیران پایگاه داده باشد، زیرا ممکن است نتایج متفاوتی در هر اجرای یک پرسوجو ایجاد کند.
این رفتار، که به عنوان "حالت مخفی کش طرح" یا همان *plan_cache_mode* شناخته میشود، نشان میدهد که سیستم به صورت پویا و بر اساس تجارب قبلی، تصمیم میگیرد بهترین مسیر برای اجرای پرسوجو را انتخاب کند. چنین ویژگیای در بسیاری از سیستمهای پایگاه داده رایج است تا تداوم و کارایی عملیاتها تضمین گردد، اما گاهی اوقات نیز ممکن است منجر به ایجاد پرسوجوهای نامطلوب یا کاهش کارایی شود. در نتیجه، آگاهی از نحوه کار این حالت و قابلیت کنترل آن اهمیت ویژهای دارد.
در نهایت، درک درست از این رفتار مخفی و نحوه تنظیمات مرتبط با آن میتواند کمک بزرگی در بهینهسازی عملکرد بانکهای اطلاعاتی شما باشد. لذا توصیه میشود که متخصصان مدیریت دیتابیسها همواره با این نوع رفتارهای نهان آشنا باشند و ابزارهای مدیریت و تنظیمات لازم را در اختیار داشته باشند تا از بروز مشکلات و کاهش کارایی جلوگیری کنند.
#پایگاه_داده #بهینهسازی #پرسوجو #رفتارهای_مخفی
🟣لینک مقاله:
https://postgresweekly.com/link/183119/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Richyen
The Hidden Behavior of plan_cache_mode
Introduction