🔵 عنوان مقاله
Why Your Pioneering Postgres Feature Should Start in a Fork
🟢 خلاصه مقاله:
در دنیای پایگاههای داده، قابلیتهای جدید باید با دقت و آزمایشهای دقیق بررسی شوند تا اطمینان حاصل شود که کارایی و کارکرد صحیح خود را دارند. یکی از توسعهدهندگان سیستم Postgres، که در حال حاضر در تیم توسعهی این بانک اطلاعاتی فعالیت میکند، اخیراً درباره تلاشهای خود در بهبود عملکرد اسکنهای موازی بر روی جداول موقت صحبت کرده است. او سه مرتبه این ایده را آزمایش کرد، اما مشکلات متعددی در هر بار آزمایش ظاهر شد. این مشکلات عمدتاً به محدودیتهای حافظه محلی و محدودیتها در استفاده از کوئریهای خواندنی در حالت فقط-خواندنی مرتبط بودند، که بر صفحات آلوده تاثیر میگذاشتند و نتایج ناامیدکنندهای را به دنبال داشتند.
در این راستا، او بر این باور است که راهنمایی و ارائهی قابلیتهای جدید بهتر است در ابتدا در یک شاخه (fork) صورت گیرد، جایی که میتواند آزمایشهای مستقل و بدون خطر برای هستهی اصلی سیستم انجام دهد. او اشاره میکند که هستهی اصلی پایگاه داده، در مقایسه با توسعههای خارج از هسته، محدودیتها و سختگیریهای زیادی دارد، زیرا استانداردهای بالایی برای امنیت، امنیت و عملیات پایدار تعیین شده است. بنابراین، شروع در یک شاخه جدید امکان آزمایشهای گستردهتر و نوآورانهتر را فراهم میکند، بدون آنکه ریسک پایداری و ثبات هستهی اصلی تهدید شود.
در نهایت، او تأکید میکند که این رویکرد نوآورانه میتواند راه را برای توسعه قابلیتهای پیچیدهتر و بهبودهای اساسی در عملکرد PostgreSQL هموار کند. پیشنهاد او این است که برای معرفی ویژگیهای جدید و آزمایش آنها، ابتدا در شاخهای جداگانه آزموده شوند، به این صورت که در نهایت، موارد موفقیتآمیز به هستهی اصلی وارد و در نسخههای نهایی قرار گیرند. این رویکرد باعث میشود نوآوری و توسعه همزمان با حفظ ثبات و امنیت سیستم، پیشرفت کند و بتوان به صورت مؤثرتری فناوریهای جدید را راهی میدان کرد.
#پایگاه_داده #PostgreSQL #توسعه_نرمافزار #نوآوری
🟣لینک مقاله:
https://danolivo.substack.com/p/why-your-pioneering-postgres-feature
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Why Your Pioneering Postgres Feature Should Start in a Fork
🟢 خلاصه مقاله:
در دنیای پایگاههای داده، قابلیتهای جدید باید با دقت و آزمایشهای دقیق بررسی شوند تا اطمینان حاصل شود که کارایی و کارکرد صحیح خود را دارند. یکی از توسعهدهندگان سیستم Postgres، که در حال حاضر در تیم توسعهی این بانک اطلاعاتی فعالیت میکند، اخیراً درباره تلاشهای خود در بهبود عملکرد اسکنهای موازی بر روی جداول موقت صحبت کرده است. او سه مرتبه این ایده را آزمایش کرد، اما مشکلات متعددی در هر بار آزمایش ظاهر شد. این مشکلات عمدتاً به محدودیتهای حافظه محلی و محدودیتها در استفاده از کوئریهای خواندنی در حالت فقط-خواندنی مرتبط بودند، که بر صفحات آلوده تاثیر میگذاشتند و نتایج ناامیدکنندهای را به دنبال داشتند.
در این راستا، او بر این باور است که راهنمایی و ارائهی قابلیتهای جدید بهتر است در ابتدا در یک شاخه (fork) صورت گیرد، جایی که میتواند آزمایشهای مستقل و بدون خطر برای هستهی اصلی سیستم انجام دهد. او اشاره میکند که هستهی اصلی پایگاه داده، در مقایسه با توسعههای خارج از هسته، محدودیتها و سختگیریهای زیادی دارد، زیرا استانداردهای بالایی برای امنیت، امنیت و عملیات پایدار تعیین شده است. بنابراین، شروع در یک شاخه جدید امکان آزمایشهای گستردهتر و نوآورانهتر را فراهم میکند، بدون آنکه ریسک پایداری و ثبات هستهی اصلی تهدید شود.
در نهایت، او تأکید میکند که این رویکرد نوآورانه میتواند راه را برای توسعه قابلیتهای پیچیدهتر و بهبودهای اساسی در عملکرد PostgreSQL هموار کند. پیشنهاد او این است که برای معرفی ویژگیهای جدید و آزمایش آنها، ابتدا در شاخهای جداگانه آزموده شوند، به این صورت که در نهایت، موارد موفقیتآمیز به هستهی اصلی وارد و در نسخههای نهایی قرار گیرند. این رویکرد باعث میشود نوآوری و توسعه همزمان با حفظ ثبات و امنیت سیستم، پیشرفت کند و بتوان به صورت مؤثرتری فناوریهای جدید را راهی میدان کرد.
#پایگاه_داده #PostgreSQL #توسعه_نرمافزار #نوآوری
🟣لینک مقاله:
https://danolivo.substack.com/p/why-your-pioneering-postgres-feature
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
Why your pioneering Postgres feature should start in a fork
Prove pioneering features in a fork, not Postgres core
🔵 عنوان مقاله
pgGraph 1.0: Add Graph Database 'Superpowers' to Postgres
🟢 خلاصه مقاله:
در دنیای پایگاههای داده، بهکارگیری نوع جدیدی از ساختارها برای مدیریت ارتباطات پیچیده، همیشه یکی از چالشهای بزرگ بوده است. حال، افزونه «pgGraph 1.0» این مشکل را حل کرده و امکانات فوقالعادهای را به پایگاه داده محبوب پستگرس (Postgres) اضافه میکند. این افزونه به کاربران اجازه میدهد تا بدون نیاز به سیستمهای جداگانه، جستوجوی گراف، پیمایش مسیرها، یافتن کوتاهترین مسیر و استعلام روابط را مستقیماً روی جداول معمولی انجام دهند.
این ابزار قدرتمند، یک «نیروی فراانسانی» برای پایگاه دادههای پستگرس است که آن را به گزینهای مناسب برای پروژههایی تبدیل میکند که نیازمند تحلیل شبکهها، روابط اجتماعی، مسیرهای حملونقل و دیگر ساختارهای گرافمانند هستند. با استفاده از این افزونه، توسعهدهندگان توانایی انجام عملیات پیچیده گرافنویسی را در محیطی آشنا و کاربرپسند دارند، که موجب صرفهجویی در زمان و کاهش خطاهای نرمافزاری میشود.
در مجموع، «pgGraph 1.0» پلی است میان ساختار رابطهای و مدل گراف، که امکانات جدیدی را به PostgreSQL میافزاید و این سیستم مدیریت پایگاه داده را بهروز و قدرتمندتر میکند. این تحول، جلب توجه توسعهدهندگان و مدیران پایگاه دادههایی میکند که به دنبال راهحلی ساده و در عین حال قدرتمند برای تحلیل روابط پیچیده هستند.
#پایگاه_داده #گراف #پستگرس #تحلیل_روابط
🟣لینک مقاله:
https://github.com/Evokoa/pgGraph/releases/tag/v1.0.0
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgGraph 1.0: Add Graph Database 'Superpowers' to Postgres
🟢 خلاصه مقاله:
در دنیای پایگاههای داده، بهکارگیری نوع جدیدی از ساختارها برای مدیریت ارتباطات پیچیده، همیشه یکی از چالشهای بزرگ بوده است. حال، افزونه «pgGraph 1.0» این مشکل را حل کرده و امکانات فوقالعادهای را به پایگاه داده محبوب پستگرس (Postgres) اضافه میکند. این افزونه به کاربران اجازه میدهد تا بدون نیاز به سیستمهای جداگانه، جستوجوی گراف، پیمایش مسیرها، یافتن کوتاهترین مسیر و استعلام روابط را مستقیماً روی جداول معمولی انجام دهند.
این ابزار قدرتمند، یک «نیروی فراانسانی» برای پایگاه دادههای پستگرس است که آن را به گزینهای مناسب برای پروژههایی تبدیل میکند که نیازمند تحلیل شبکهها، روابط اجتماعی، مسیرهای حملونقل و دیگر ساختارهای گرافمانند هستند. با استفاده از این افزونه، توسعهدهندگان توانایی انجام عملیات پیچیده گرافنویسی را در محیطی آشنا و کاربرپسند دارند، که موجب صرفهجویی در زمان و کاهش خطاهای نرمافزاری میشود.
در مجموع، «pgGraph 1.0» پلی است میان ساختار رابطهای و مدل گراف، که امکانات جدیدی را به PostgreSQL میافزاید و این سیستم مدیریت پایگاه داده را بهروز و قدرتمندتر میکند. این تحول، جلب توجه توسعهدهندگان و مدیران پایگاه دادههایی میکند که به دنبال راهحلی ساده و در عین حال قدرتمند برای تحلیل روابط پیچیده هستند.
#پایگاه_داده #گراف #پستگرس #تحلیل_روابط
🟣لینک مقاله:
https://github.com/Evokoa/pgGraph/releases/tag/v1.0.0
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
Release v1.0.0: pgGraph Production Release · Evokoa/pgGraph
v1.0.0 is pgGraph's first production release and supports PostgreSQL 14
through 18. PostgreSQL tables remain the source of truth, and pgGraph's graph
indexes and projections can be validate...
through 18. PostgreSQL tables remain the source of truth, and pgGraph's graph
indexes and projections can be validate...
🔵 عنوان مقاله
Pagila 4: A Sample Database for Postgres
🟢 خلاصه مقاله:
پگیلا ۴: نمونه دیتابیسی برای پستگرس
پگیلا ابتدا بهعنوان یک نسخه مشابه بانک اطلاعات نمونه ساکیلا در مایاسکیوال توسعه یافته بود. این پایگاه داده نمونه، به مرور زمان با افزودن امکانات و ویژگیهای خاص پستگرس، گسترش یافته است. از جمله این ویژگیها میتوان به پشتیبانی از توابع مخصوص پستگرس مانند SQL/JSON و UUIDv7 اشاره کرد که باعث بهبود عملکرد و امکانپذیری در انجام عملیات پیچیدهتر میشود. نسخه ۴.۰ این بانک اطلاعاتی، که نیازمند پستگرس ۱۸ است، بسیار بزرگتر و متنوعتر شده و شامل مجموعه دادههای گستردهتری است، به گونهای که نمونههای مختلف کاربردهای واقعی را در بر میگیرد و امکانات بیشتری برای توسعهدهندگان فراهم میآورد.
توسعه این پایگاه داده نمونه نشان میدهد که مبتنی بر نیازهای کاربران و امکانات جدید پستگرس، خصوصاً در زمینه مدیریت دادههای ساختیافته و نیمهساختیافته، دستاوردهای قابل توجهی حاصل شده است. بهاینترتیب، پگیلا ابزاری ارزشمند برای آموزش، آزمایش و توسعه برنامههای مبتنی بر پستگرس محسوب میشود و توسعهدهندگان میتوانند بهراحتی از آن برای تست ویژگیهای جدید یا اجرای پروژههای نمونه بهرهمند شوند.
#پستیگرس #بانکاطلاعات #پگیلا #نمونهدیتابیس
🟣لینک مقاله:
https://github.com/devrimgunduz/pagila
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Pagila 4: A Sample Database for Postgres
🟢 خلاصه مقاله:
پگیلا ۴: نمونه دیتابیسی برای پستگرس
پگیلا ابتدا بهعنوان یک نسخه مشابه بانک اطلاعات نمونه ساکیلا در مایاسکیوال توسعه یافته بود. این پایگاه داده نمونه، به مرور زمان با افزودن امکانات و ویژگیهای خاص پستگرس، گسترش یافته است. از جمله این ویژگیها میتوان به پشتیبانی از توابع مخصوص پستگرس مانند SQL/JSON و UUIDv7 اشاره کرد که باعث بهبود عملکرد و امکانپذیری در انجام عملیات پیچیدهتر میشود. نسخه ۴.۰ این بانک اطلاعاتی، که نیازمند پستگرس ۱۸ است، بسیار بزرگتر و متنوعتر شده و شامل مجموعه دادههای گستردهتری است، به گونهای که نمونههای مختلف کاربردهای واقعی را در بر میگیرد و امکانات بیشتری برای توسعهدهندگان فراهم میآورد.
توسعه این پایگاه داده نمونه نشان میدهد که مبتنی بر نیازهای کاربران و امکانات جدید پستگرس، خصوصاً در زمینه مدیریت دادههای ساختیافته و نیمهساختیافته، دستاوردهای قابل توجهی حاصل شده است. بهاینترتیب، پگیلا ابزاری ارزشمند برای آموزش، آزمایش و توسعه برنامههای مبتنی بر پستگرس محسوب میشود و توسعهدهندگان میتوانند بهراحتی از آن برای تست ویژگیهای جدید یا اجرای پروژههای نمونه بهرهمند شوند.
#پستیگرس #بانکاطلاعات #پگیلا #نمونهدیتابیس
🟣لینک مقاله:
https://github.com/devrimgunduz/pagila
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - devrimgunduz/pagila: PostgreSQL Sample Database
PostgreSQL Sample Database. Contribute to devrimgunduz/pagila development by creating an account on GitHub.
🔵 عنوان مقاله
The Right Way to Give a Third-Party DBA Access to Your Database
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، فراهم کردن دسترسی مناسب به افراد ثالث یا مدیران پایگاه داده (DBA) یکی از مسائل مهم و پرچالش است. امروزه، اهمیت این موضوع بیش از پیش شده است؛ چرا که نیاز به نظارت و نگهداری از پایگاههای داده، بدون به خطر انداختن امنیت و کنترل اصلی سیستم، بسیار حس میشود.
برای این منظور، ابتدا باید نقشهایی محدود و مشخص تعریف کرد که تنها اجازههای لازم را در بر داشته باشند. این کار مانع از دسترسیهای غیرضروری و خطرساز میشود و مدیریت دقیقتری بر فعالیتها را امکانپذیر میسازد. فضاهای نقشبندی شده به DBAها اجازه میدهد تا کارهای مورد نیاز خود — مانند کنترل گزارشهای مانیتورینگ، متوقف کردن کوئریهای خطرناک یا پاکسازی و بازتنظیم ایندکسها — را انجام دهند، بدون اینکه مالکیت دادهها یا دسترسیهای سطح بالا به آنها داده شود.
در حقیقت، روشی امن و کارآمد است که به مدیران پایگاه داده اجازه میدهد کارهای تخصصی خود را انجام دهند، در حالی که همچنان کنترل و امنیت سیستم حفظ میشود. این نوع دسترسیدهی، به ویژه در سازمانهای بزرگ یا پروژههای حساس، نقش حیاتی بازی میکند و اطمینان میدهد که عملیات پایگاه داده با کمترین خطر و بیشترین بهرهوری انجام میشود.
بنابراین، بهترین راهکار آن است که با ساخت نقشهایی مشخص و محدود، به DBAها دسترسیهای لازم اما کنترلشده ارائه دهیم، بدون اینکه نیاز به واگذاری مالکیت کامل یا دسترسیهای سوپر یوزر باشد. این روش، نه تنها امنیت سیستم را تضمین میکند بلکه مدیریت و نظارت بر عملکرد پایگاه داده را سادهتر میسازد و در عین حال، به تیمهای فنی آزادی لازم برای انجام وظایفشان را میدهد.
#مدیریت_پایگاه_داده #امنیت_سایبری #رشد_فناوری #تکنولوژی
🟣لینک مقاله:
https://stormatics.tech/blogs/the-right-way-to-give-a-third-party-dba-access-to-your-postgresql-database
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Right Way to Give a Third-Party DBA Access to Your Database
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، فراهم کردن دسترسی مناسب به افراد ثالث یا مدیران پایگاه داده (DBA) یکی از مسائل مهم و پرچالش است. امروزه، اهمیت این موضوع بیش از پیش شده است؛ چرا که نیاز به نظارت و نگهداری از پایگاههای داده، بدون به خطر انداختن امنیت و کنترل اصلی سیستم، بسیار حس میشود.
برای این منظور، ابتدا باید نقشهایی محدود و مشخص تعریف کرد که تنها اجازههای لازم را در بر داشته باشند. این کار مانع از دسترسیهای غیرضروری و خطرساز میشود و مدیریت دقیقتری بر فعالیتها را امکانپذیر میسازد. فضاهای نقشبندی شده به DBAها اجازه میدهد تا کارهای مورد نیاز خود — مانند کنترل گزارشهای مانیتورینگ، متوقف کردن کوئریهای خطرناک یا پاکسازی و بازتنظیم ایندکسها — را انجام دهند، بدون اینکه مالکیت دادهها یا دسترسیهای سطح بالا به آنها داده شود.
در حقیقت، روشی امن و کارآمد است که به مدیران پایگاه داده اجازه میدهد کارهای تخصصی خود را انجام دهند، در حالی که همچنان کنترل و امنیت سیستم حفظ میشود. این نوع دسترسیدهی، به ویژه در سازمانهای بزرگ یا پروژههای حساس، نقش حیاتی بازی میکند و اطمینان میدهد که عملیات پایگاه داده با کمترین خطر و بیشترین بهرهوری انجام میشود.
بنابراین، بهترین راهکار آن است که با ساخت نقشهایی مشخص و محدود، به DBAها دسترسیهای لازم اما کنترلشده ارائه دهیم، بدون اینکه نیاز به واگذاری مالکیت کامل یا دسترسیهای سوپر یوزر باشد. این روش، نه تنها امنیت سیستم را تضمین میکند بلکه مدیریت و نظارت بر عملکرد پایگاه داده را سادهتر میسازد و در عین حال، به تیمهای فنی آزادی لازم برای انجام وظایفشان را میدهد.
#مدیریت_پایگاه_داده #امنیت_سایبری #رشد_فناوری #تکنولوژی
🟣لینک مقاله:
https://stormatics.tech/blogs/the-right-way-to-give-a-third-party-dba-access-to-your-postgresql-database
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Stormatics
The Right Way to Give a Third-Party DBA Access to Your PostgreSQL Database
Learn how to give third-party DBAs secure PostgreSQL access using least privilege, predefined roles, and practical access controls instead of superuser accounts.
🔵 عنوان مقاله
Postgres's MVCC is Bad, But So is Everyone Else's
🟢 خلاصه مقاله:
سیستم چندنسخهای تراکنشها (MVCC) در پایگاه داده پستگرساسکیوال، اگرچه در برخی موارد مشکلساز است، اما مشکل اصلی این نیست که تنها این سیستم دچار مشکل است. گروه بانکهای اطلاعاتی آندری پاولو، که یکی از پیشگامان در زمینه طراحی و توسعه پایگاههای داده است، معتقدند که پیادهسازی MVCC در پستگرساسکیوال بیشترین رضایت را در میان هفتاد درصد موارد دارد، هرچند که باز هم معمولا افراد در مورد آن انتقاد میکنند. رادیم، که همکاری نزدیکی با این گروه دارد، بر اساس ارزیابیهای مقایسهای تایید میکند که مشکلاتی در این زمینه وجود دارد، اما بهطور جدی میپرسد: دیگر سیستمهای محبوب و رایج مانند اوراکل، ایننو دی بی، اسکیوال سرور مایکروسافت، مونگودیبی و اتد، چه روشی را جایگزین MVCC کردهاند، و این جایگزینها چه هزینه یا درجهای از پیچیدگی و کاهش عملکرد را به همراه دارند؟
در حقیقت، این سؤال مهم است که چرا اکثر سیستمهای بانک اطلاعاتی از پیادهسازیهای مختلفی استفاده میکنند که ممکن است هر یک مشکلات خاص خود را داشته باشند. برای مثال، اوراکل و اسکیوال سرور، اغلب از رویکردهای متفاوتی برای اطمینان از همزمانی و یکپارچگی دادهها بهره میبرند که ممکن است در مقایسه با MVCC، هزینههای بیشتری از نظر منابع سیستم و پیچیدگی پیادهسازی داشته باشد. در مقابل، برخی دیگر مانند مونگودیبی، که بر اساس مدل سندی است، ساختارهای متفاوتی دارند و به نوعی راهحلهای جایگزین در اختیار میگذارند، اما این راهحلها نیز محدودیتهایی دارند که ممکن است بر عملکرد و قابلیت توسعهدهی اثر بگذارند.
در نهایت، شناخت اینکه هرکدام از این سیستمها چه هزینههایی را بر روی عملکرد، پیچیدگی و مقیاسپذیری تحمیل میکنند، به توسعهدهندگان و مدیران بانکهای اطلاعاتی کمک میکند تا تصمیمهای آگاهانهتری در انتخاب ساختار مناسب برای نیازهای خاص خود بگیرند. به نظر میرسد که هیچ روشی کامل نیست، اما فهم بهتر تفاوتها و هزینههای هرکدام، امکان بهبود و انتخاب بهینه را فراهم میآورد.
#پایگاه_داده #MVCC #مدیریت_داده #توسعه
🟣لینک مقاله:
https://boringsql.com/posts/mvcc-bad-bad/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Postgres's MVCC is Bad, But So is Everyone Else's
🟢 خلاصه مقاله:
سیستم چندنسخهای تراکنشها (MVCC) در پایگاه داده پستگرساسکیوال، اگرچه در برخی موارد مشکلساز است، اما مشکل اصلی این نیست که تنها این سیستم دچار مشکل است. گروه بانکهای اطلاعاتی آندری پاولو، که یکی از پیشگامان در زمینه طراحی و توسعه پایگاههای داده است، معتقدند که پیادهسازی MVCC در پستگرساسکیوال بیشترین رضایت را در میان هفتاد درصد موارد دارد، هرچند که باز هم معمولا افراد در مورد آن انتقاد میکنند. رادیم، که همکاری نزدیکی با این گروه دارد، بر اساس ارزیابیهای مقایسهای تایید میکند که مشکلاتی در این زمینه وجود دارد، اما بهطور جدی میپرسد: دیگر سیستمهای محبوب و رایج مانند اوراکل، ایننو دی بی، اسکیوال سرور مایکروسافت، مونگودیبی و اتد، چه روشی را جایگزین MVCC کردهاند، و این جایگزینها چه هزینه یا درجهای از پیچیدگی و کاهش عملکرد را به همراه دارند؟
در حقیقت، این سؤال مهم است که چرا اکثر سیستمهای بانک اطلاعاتی از پیادهسازیهای مختلفی استفاده میکنند که ممکن است هر یک مشکلات خاص خود را داشته باشند. برای مثال، اوراکل و اسکیوال سرور، اغلب از رویکردهای متفاوتی برای اطمینان از همزمانی و یکپارچگی دادهها بهره میبرند که ممکن است در مقایسه با MVCC، هزینههای بیشتری از نظر منابع سیستم و پیچیدگی پیادهسازی داشته باشد. در مقابل، برخی دیگر مانند مونگودیبی، که بر اساس مدل سندی است، ساختارهای متفاوتی دارند و به نوعی راهحلهای جایگزین در اختیار میگذارند، اما این راهحلها نیز محدودیتهایی دارند که ممکن است بر عملکرد و قابلیت توسعهدهی اثر بگذارند.
در نهایت، شناخت اینکه هرکدام از این سیستمها چه هزینههایی را بر روی عملکرد، پیچیدگی و مقیاسپذیری تحمیل میکنند، به توسعهدهندگان و مدیران بانکهای اطلاعاتی کمک میکند تا تصمیمهای آگاهانهتری در انتخاب ساختار مناسب برای نیازهای خاص خود بگیرند. به نظر میرسد که هیچ روشی کامل نیست، اما فهم بهتر تفاوتها و هزینههای هرکدام، امکان بهبود و انتخاب بهینه را فراهم میآورد.
#پایگاه_داده #MVCC #مدیریت_داده #توسعه
🟣لینک مقاله:
https://boringsql.com/posts/mvcc-bad-bad/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
boringSQL | Supercharge your SQL & PostgreSQL powers
PostgreSQL's MVCC is bad. So is everyone else's.
The critics are right: PostgreSQL's MVCC bloats tables and amplifies writes. Oracle, InnoDB, SQL Server, MongoDB, LSM stores, and etcd answer the same four design questions differently, and each pays for it somewhere else.
🔵 عنوان مقاله
PGSimCity: How Postgres Works, in 3D
🟢 خلاصه مقاله:
سیستم PGSimCity: چگونه پایگاه داده پستگرس در ابعادی سهبعدی کار میکند
این پروژه، روشی کاملاً نوآورانه برای کاوش در مدل داخلی پستگرس است. فراتر از یک تصویرسازی ساده، شما میتوانید در میان این مدل حرکت کنید، اجزا را بررسی کنید و حتی در صورت تمایل، قسمتهایی را آزمایش و تغییر دهید. این نوع تجربه، فرصت بینظیری فراهم میکند تا مفهومهای فنی پیچیده و اغلب دشوار پستگرس را به شیوهای بصری و تعاملی درک کنید. اگرچه طراحی آن کمی شلوغ است و ممکن است در برخی دستگاهها مانند تلفنهای همراه کمی دشوار باشد، اما این پروژه نگاه تازهای به مفاهیم پیچیده و غیرقابل فهم در ساختار پستگرس ارائه میدهد.
پلتفرم PGSimCity یک دید متفاوت و جذاب از چگونگی عملکرد داخلی این سیستم مدیریت پایگاه داده است، که به توسعهدهندگان و علاقهمندان امکان میدهد عمق بیشتری در فهم ساختار و فرآیندهای آن داشته باشند. این پروژه با بهرهگیری از فناوریهای مدرن، تصویری زنده و فعال از معماری پستگرس به نمایش میگذارد، که هر کاربر میتواند در آن غرق شود و به کشف جزئیات مختلف بپردازد. اگر قصد دارید تصور بهتری از نحوه کار پستگرس کسب کنید، حتماً این تجربه را از دست ندهید.
برای هر کسی که به دنبال درک عمیقتری از اصول پایگاه دادههای مدرن است، PGSimCity یک فرصت استثنایی محسوب میشود که ابزارها و امکانات جدیدی برای آموزش و آزمایش فراهم میکند، ضمن اینکه جذابیت بصری و تعاملی آن، به یادگیری مفاهیم سخت کمک میکند و آن را دلنشینتر میسازد.
#پستگرس #مدیریت_پایگاه_داده #تکنولوژی #آموزش
🟣لینک مقاله:
https://nikolays.github.io/PGSimCity/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PGSimCity: How Postgres Works, in 3D
🟢 خلاصه مقاله:
سیستم PGSimCity: چگونه پایگاه داده پستگرس در ابعادی سهبعدی کار میکند
این پروژه، روشی کاملاً نوآورانه برای کاوش در مدل داخلی پستگرس است. فراتر از یک تصویرسازی ساده، شما میتوانید در میان این مدل حرکت کنید، اجزا را بررسی کنید و حتی در صورت تمایل، قسمتهایی را آزمایش و تغییر دهید. این نوع تجربه، فرصت بینظیری فراهم میکند تا مفهومهای فنی پیچیده و اغلب دشوار پستگرس را به شیوهای بصری و تعاملی درک کنید. اگرچه طراحی آن کمی شلوغ است و ممکن است در برخی دستگاهها مانند تلفنهای همراه کمی دشوار باشد، اما این پروژه نگاه تازهای به مفاهیم پیچیده و غیرقابل فهم در ساختار پستگرس ارائه میدهد.
پلتفرم PGSimCity یک دید متفاوت و جذاب از چگونگی عملکرد داخلی این سیستم مدیریت پایگاه داده است، که به توسعهدهندگان و علاقهمندان امکان میدهد عمق بیشتری در فهم ساختار و فرآیندهای آن داشته باشند. این پروژه با بهرهگیری از فناوریهای مدرن، تصویری زنده و فعال از معماری پستگرس به نمایش میگذارد، که هر کاربر میتواند در آن غرق شود و به کشف جزئیات مختلف بپردازد. اگر قصد دارید تصور بهتری از نحوه کار پستگرس کسب کنید، حتماً این تجربه را از دست ندهید.
برای هر کسی که به دنبال درک عمیقتری از اصول پایگاه دادههای مدرن است، PGSimCity یک فرصت استثنایی محسوب میشود که ابزارها و امکانات جدیدی برای آموزش و آزمایش فراهم میکند، ضمن اینکه جذابیت بصری و تعاملی آن، به یادگیری مفاهیم سخت کمک میکند و آن را دلنشینتر میسازد.
#پستگرس #مدیریت_پایگاه_داده #تکنولوژی #آموزش
🟣لینک مقاله:
https://nikolays.github.io/PGSimCity/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PGSimCity
PGSimCity · How PostgreSQL Works, in 3D
An independent, non-commercial educational visualization of PostgreSQL internals. Not affiliated with Electronic Arts.
🔵 عنوان مقاله
Three New Things in Postgres 19
🟢 خلاصه مقاله:
در جدیدترین نسخه، سه ویژگی مهم در پستگرس ۱۹ معرفی شده است که میتواند تاثیر قابل توجهی بر عملکرد و کارایی پایگاههای داده داشته باشد. این تغییرات نشاندهنده تمرکز توسعهدهندگان بر بهبود بهبود سرعت، کارایی و امکانات مدیریت دادهها است.
یکی از این ویژگیها، استفاده از فناوری REPACK است که به منظور بهبود ساختار داخلی پایگاههای داده و افزایش بهرهوری در عملیاتهای مربوط به نگهداری دادهها طراحی شده است. این ابزار امکان بازسازی سریعتر و بهینهتر ساختار دادهها را فراهم میکند، بدون آن که نیاز به توقف کامل سیستم باشد. این ویژگی به مدیران پایگاه داده کمک میکند تا عملیات نگهداری را با کمترین اختلال انجام دهند و در نتیجه، زمان خرابی کاهش یافته و کارایی سیستم ارتقا مییابد.
همچنین، در نسخه جدید، حالت JIT (کد ترجمه واقعی در زمان اجرا) به صورت پیشفرض خاموش است. این تصمیم به منظور جلوگیری از مصرف بیش از حد منابع در سیستمهای خاص اتخاذ شده است، در حالی که توسعهدهندگان امکان فعالسازی آن را در صورت نیاز دارند. این رویکرد به مدیران و توسعهدهندگان امکان میدهد تا بر اساس نیازهای خاص پروژه خود، بهترین تنظیمات را انتخاب کنند و از هرگونه مشکلی که ممکن است در اثر فعالسازی خودکار JIT پیش بیاید، جلوگیری نمایند.
در کنار این موارد، بهبودهای قابل توجهی در بخش برنامهریزی و اجرای پرسوجوها صورت گرفته است. بهینهسازی در سیستم برنامهریز (query planner) باعث میشود اجرای کوئریها سریعتر، دقیقتر و بهینهتر انجام شود. این بهبودها به ویژه در مواجهه با کوئریهای پیچیده و دادههای حجیم تاثیر قابل توجهی دارند و به توسعهدهندگان این امکان را میدهند تا دادههای بزرگ را با کارایی بیشتر مدیریت کنند.
در مجموع، این امکانات جدید در پستگرس ۱۹ نشان میدهد که تیم توسعهدهنده همچنان به بهبود مداوم و ارتقای قابلیتهای این سیستم قدرتمند ادامه میدهد و این نسخه جدید، گام مهمی در جهت بهبود عملکرد و سهولت مدیریت پایگاههای داده است.
#پستگرس #پایگاه_داده #توسعهدهی #بهبود_عملکرد
🟣لینک مقاله:
https://planetscale.com/blog/whats-new-in-postgres-19
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Three New Things in Postgres 19
🟢 خلاصه مقاله:
در جدیدترین نسخه، سه ویژگی مهم در پستگرس ۱۹ معرفی شده است که میتواند تاثیر قابل توجهی بر عملکرد و کارایی پایگاههای داده داشته باشد. این تغییرات نشاندهنده تمرکز توسعهدهندگان بر بهبود بهبود سرعت، کارایی و امکانات مدیریت دادهها است.
یکی از این ویژگیها، استفاده از فناوری REPACK است که به منظور بهبود ساختار داخلی پایگاههای داده و افزایش بهرهوری در عملیاتهای مربوط به نگهداری دادهها طراحی شده است. این ابزار امکان بازسازی سریعتر و بهینهتر ساختار دادهها را فراهم میکند، بدون آن که نیاز به توقف کامل سیستم باشد. این ویژگی به مدیران پایگاه داده کمک میکند تا عملیات نگهداری را با کمترین اختلال انجام دهند و در نتیجه، زمان خرابی کاهش یافته و کارایی سیستم ارتقا مییابد.
همچنین، در نسخه جدید، حالت JIT (کد ترجمه واقعی در زمان اجرا) به صورت پیشفرض خاموش است. این تصمیم به منظور جلوگیری از مصرف بیش از حد منابع در سیستمهای خاص اتخاذ شده است، در حالی که توسعهدهندگان امکان فعالسازی آن را در صورت نیاز دارند. این رویکرد به مدیران و توسعهدهندگان امکان میدهد تا بر اساس نیازهای خاص پروژه خود، بهترین تنظیمات را انتخاب کنند و از هرگونه مشکلی که ممکن است در اثر فعالسازی خودکار JIT پیش بیاید، جلوگیری نمایند.
در کنار این موارد، بهبودهای قابل توجهی در بخش برنامهریزی و اجرای پرسوجوها صورت گرفته است. بهینهسازی در سیستم برنامهریز (query planner) باعث میشود اجرای کوئریها سریعتر، دقیقتر و بهینهتر انجام شود. این بهبودها به ویژه در مواجهه با کوئریهای پیچیده و دادههای حجیم تاثیر قابل توجهی دارند و به توسعهدهندگان این امکان را میدهند تا دادههای بزرگ را با کارایی بیشتر مدیریت کنند.
در مجموع، این امکانات جدید در پستگرس ۱۹ نشان میدهد که تیم توسعهدهنده همچنان به بهبود مداوم و ارتقای قابلیتهای این سیستم قدرتمند ادامه میدهد و این نسخه جدید، گام مهمی در جهت بهبود عملکرد و سهولت مدیریت پایگاههای داده است.
#پستگرس #پایگاه_داده #توسعهدهی #بهبود_عملکرد
🟣لینک مقاله:
https://planetscale.com/blog/whats-new-in-postgres-19
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Planetscale
What's new in Postgres 19 — PlanetScale
`VACUUM` reclaims dead-tuple space but doesn't shrink a table. PostgreSQL 19 Beta 2 adds an in-core online rewrite with REPACK (CONCURRENTLY), and much more.
Forwarded from Persian Post
نه تنها بنزین گران شد بلکه سهمیه نیز کمتر شد.
https://xn--r1a.website/+Bp8JeTpQoiUwMjVk
https://xn--r1a.website/+Bp8JeTpQoiUwMjVk
🕊1
Forwarded from Software Engineer
امکان تغییر آدرس ایمیل 📧✨
اگر این قابلیت برای حسابت فعال شده باشد، میتوانی آدرس @gmail.com خودت را بدون ساختن حساب جدید تغییر بدهی. این قابلیت بهصورت تدریجی برای کاربران منتشر شده و ممکن است هنوز برای همه فعال نباشد. (Google Help)
روش اول (کامپیوتر - پیشنهاد گوگل) 💻🔍
وارد حساب گوگلت شو:
Google Account
از منوی سمت چپ روی Personal info (اطلاعات شخصی) کلیک کن.
بخش Contact info را باز کن.
روی Email کلیک کن.
گزینه Google Account email را انتخاب کن.
اگر گزینه Change Google Account email یا تغییر آدرس ایمیل گوگل را میبینی:
روی آن کلیک کن.
نام جدید دلخواهت را وارد کن.
اگر آزاد باشد، ادامه بده.
کد تأیید یا مراحل امنیتی را انجام بده. 🔒✅
بعد از تأیید:
ایمیل جدید، آدرس اصلی حسابت میشود.
ایمیل قبلی بهعنوان Alternate Email (آدرس جایگزین) باقی میماند.
ایمیلهایی که به آدرس قدیمی ارسال شوند نیز همچنان به همان Inbox میرسند. (Google Help)
اگر این گزینه را نمیبینی 🚫
اگر در مرحله ۶ گزینه Change Google Account email وجود ندارد، یعنی هنوز این قابلیت برای حسابت فعال نشده است. گوگل آن را بهصورت مرحلهای منتشر میکند و ممکن است چند هفته یا چند ماه دیگر برای حسابت فعال شود. (Google Help)
قبل از تغییر این نکات را بدان 📝👀
همه ایمیلها، فایلهای Drive، عکسهای Photos و اطلاعات حسابت حفظ میشوند. 💾
میتوانی با ایمیل قدیمی و جدید وارد حسابت شوی. 🔑
برخی تنظیمات دستگاه یا برنامهها ممکن است نیاز به ورود مجدد داشته باشند.
فقط هر ۱۲ ماه یکبار میتوانی آدرس را تغییر دهی و تعداد تغییرها نیز محدود است. (Google Help)
اگر این قابلیت برای حسابت فعال شده باشد، میتوانی آدرس @gmail.com خودت را بدون ساختن حساب جدید تغییر بدهی. این قابلیت بهصورت تدریجی برای کاربران منتشر شده و ممکن است هنوز برای همه فعال نباشد. (Google Help)
روش اول (کامپیوتر - پیشنهاد گوگل) 💻🔍
وارد حساب گوگلت شو:
Google Account
از منوی سمت چپ روی Personal info (اطلاعات شخصی) کلیک کن.
بخش Contact info را باز کن.
روی Email کلیک کن.
گزینه Google Account email را انتخاب کن.
اگر گزینه Change Google Account email یا تغییر آدرس ایمیل گوگل را میبینی:
روی آن کلیک کن.
نام جدید دلخواهت را وارد کن.
اگر آزاد باشد، ادامه بده.
کد تأیید یا مراحل امنیتی را انجام بده. 🔒✅
بعد از تأیید:
ایمیل جدید، آدرس اصلی حسابت میشود.
ایمیل قبلی بهعنوان Alternate Email (آدرس جایگزین) باقی میماند.
ایمیلهایی که به آدرس قدیمی ارسال شوند نیز همچنان به همان Inbox میرسند. (Google Help)
اگر این گزینه را نمیبینی 🚫
اگر در مرحله ۶ گزینه Change Google Account email وجود ندارد، یعنی هنوز این قابلیت برای حسابت فعال نشده است. گوگل آن را بهصورت مرحلهای منتشر میکند و ممکن است چند هفته یا چند ماه دیگر برای حسابت فعال شود. (Google Help)
قبل از تغییر این نکات را بدان 📝👀
همه ایمیلها، فایلهای Drive، عکسهای Photos و اطلاعات حسابت حفظ میشوند. 💾
میتوانی با ایمیل قدیمی و جدید وارد حسابت شوی. 🔑
برخی تنظیمات دستگاه یا برنامهها ممکن است نیاز به ورود مجدد داشته باشند.
فقط هر ۱۲ ماه یکبار میتوانی آدرس را تغییر دهی و تعداد تغییرها نیز محدود است. (Google Help)
Google
Change your Google Account email address - Computer - Gmail Help
Your Google Account email is the address that you use to sign in to Google services and to identify your account to you and others. If you choose, you can change your Google Account email that en
🔵 عنوان مقاله
Rainfrog 0.4: A Database Management TUI for Postgres
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، ابزارهای کارآمد نقش بسزایی در بهبود کارایی و سهولت فرآیندهای کاری ایفا میکنند. یکی از این ابزارها، Rainfrog 0.4 است که یک واسط کاربری مبتنی بر ترمینال برای مدیریت پایگاههای داده PostgreSQL محسوب میشود. این برنامه طراحی شده است تا جایگزینی بهتر و منسجمتر برای ابزارهای سنتی مانند psql باشد، با ویژگیهایی که کار با پایگاه دادهها را سادهتر و لذتبخشتر میکند.
Rainfrog در مقایسه با psql، یک ساختار منظمتر و کاربرپسندتر دارد، و به کاربران امکان میدهد تا با ناوبری به سبک ویم در میان کوئریها، تاریخچه، اسکیمها و دیگر بخشهای پایگاه داده حرکت کنند. این ویژگیها، قابلیتهای استفاده را افزایش داده و فرآیند مدیریت دادهها را سریعتر و کاربردیتر میسازد.
در واقع، این نرمافزار با تمرکز بر سهولت کار و امکانات پیشرفته، تجربه کاربر را به سطح جدیدی میبرد. طراحی منسجم و قابلیتهای جابجایی سریع بین بخشها، آن را برای توسعهدهندگان و مدیران پایگاه داده بسیار مناسب میسازد. در نسخه اولیه، امکانات پایهای ارائه شده است که میتوان در آینده انتظار افزودن ویژگیهای بیشتری را داشت، و این مسیر نویدبخش آیندهای بهتر در مدیریت پایگاه دادههای PostgreSQL است.
در نهایت، Rainfrog 0.4 با ترکیب کارآمدی و سادگی، ابزاری ارزشمند برای کسانی است که به دنبال یک رابط ترمینال قدرتمند و کاربرپسند برای مدیریت دادههای خود هستند.
#مدیریت_پایگاه_داده #PostgreSQL #ابزارهای_ترمینال #Rainfrog
🟣لینک مقاله:
https://github.com/achristmascarl/rainfrog
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Rainfrog 0.4: A Database Management TUI for Postgres
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، ابزارهای کارآمد نقش بسزایی در بهبود کارایی و سهولت فرآیندهای کاری ایفا میکنند. یکی از این ابزارها، Rainfrog 0.4 است که یک واسط کاربری مبتنی بر ترمینال برای مدیریت پایگاههای داده PostgreSQL محسوب میشود. این برنامه طراحی شده است تا جایگزینی بهتر و منسجمتر برای ابزارهای سنتی مانند psql باشد، با ویژگیهایی که کار با پایگاه دادهها را سادهتر و لذتبخشتر میکند.
Rainfrog در مقایسه با psql، یک ساختار منظمتر و کاربرپسندتر دارد، و به کاربران امکان میدهد تا با ناوبری به سبک ویم در میان کوئریها، تاریخچه، اسکیمها و دیگر بخشهای پایگاه داده حرکت کنند. این ویژگیها، قابلیتهای استفاده را افزایش داده و فرآیند مدیریت دادهها را سریعتر و کاربردیتر میسازد.
در واقع، این نرمافزار با تمرکز بر سهولت کار و امکانات پیشرفته، تجربه کاربر را به سطح جدیدی میبرد. طراحی منسجم و قابلیتهای جابجایی سریع بین بخشها، آن را برای توسعهدهندگان و مدیران پایگاه داده بسیار مناسب میسازد. در نسخه اولیه، امکانات پایهای ارائه شده است که میتوان در آینده انتظار افزودن ویژگیهای بیشتری را داشت، و این مسیر نویدبخش آیندهای بهتر در مدیریت پایگاه دادههای PostgreSQL است.
در نهایت، Rainfrog 0.4 با ترکیب کارآمدی و سادگی، ابزاری ارزشمند برای کسانی است که به دنبال یک رابط ترمینال قدرتمند و کاربرپسند برای مدیریت دادههای خود هستند.
#مدیریت_پایگاه_داده #PostgreSQL #ابزارهای_ترمینال #Rainfrog
🟣لینک مقاله:
https://github.com/achristmascarl/rainfrog
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - achristmascarl/rainfrog: 🐸 a database tool for the terminal
🐸 a database tool for the terminal. Contribute to achristmascarl/rainfrog development by creating an account on GitHub.
فراتر از یک دیتابیس تراکنشی: بررسی قابلیتهای HTAP، جستجوی برداری و اتصال مستقیم به Iceberg در AliSQL
سالهاست که سیستمهای داده را بر اساس یک قانون نانوشته میسازیم: جداسازی دیتابیسهای عملیاتی (OLTP) از موتورهای تحلیلی (OLAP).
همگام نگهداشتن این دو محیط، به معنای درگیری با پایپلاینهای پیچیده ETL، کانکتورهای شکننده CDC و بحثهای همیشگی «تازگی دادهها» (Data Freshness) است. این در واقع هزینهای بود که برای پایداری سیستم میپرداختیم؛ اما چه میشد اگر میتوانستیم با چند تصمیم معماری هوشمندانه، این مرزها را پاک کنیم؟ آن هم بدون تغییرات گسترده در کدها و با حفظ پایداری همیشگی سیستم؟
این دقیقاً همان تغییری است که تیم دیتابیس ابری علیبابا با معرفی نسخه متنباز AliSQL 8.0.44-2 (انشعاب بهینهشده MySQL نسخه ۸) ایجاد کرده است. فرمولی برنده از ترکیب پایداری MySQL، سرعت خیرهکننده DuckDB و قابلیتهای پیشرفته هوش مصنوعی.
این یک ایده آزمایشگاهی نیست؛ این معماری طی یک دهه برای زنده ماندن در هرجومرج ترافیکی رویداد جمعه سیاه آبدیده شده و امروز روی بیش از ۱۰۰۰ نود پروداکشن در حال اجراست. نتیجه؟ تا ۷۰٪ پرفورمنس بهتر و ۹۵.۲٪ کاهش زمان ریکاوری (Crash Recovery) نسبت به MySQL کامیونیتی.
اگر درگیر طراحی سیستمهای دادهمحور هستید و دنبال یک پلتفرم جامع و مقیاسپذیر هستید و یا به دنبال بهبود MySQL خود هستید، این ۴ تغییر زیربنایی در AliSQL قطعا توجه شما را جلب خواهد کرد:
۱. موتور تحلیلی بومی DuckDB (یکپارچگی HTAP)
دیتابیس AliSQL حالا DuckDB را به عنوان یک Storage Engine در کنار InnoDB به رسمیت میشناسد. این یعنی کوئریهای تحلیلی ستونی تا ۲۰۰ برابر سریعتر اجرا میشوند. نکته جذاب؟ نیازی به درایور جدید یا تغییر Connection String نیست؛ برنامههای شما همچنان با پروتکل استاندارد MySQL ارتباط برقرار میکنند.
۲. جستجوی برداری بومی برای عصر AI
ورکلودهای مدرن نیازمند جستجوی معنایی هستند. این نسخه از نوع داده VECTOR (تا ۱۶,۳۸۳ بعد) همراه با ایندکسهای HNSW پشتیبانی میکند. با این قابلیت، میتوانید الگوهای RAG، موتورهای پیشنهادگر و جستجوی معنایی را مستقیماً داخل سیستم OLTP خود اجرا کنید.
۳. نوشتن مستقیم روی Apache Iceberg (پلی به سوی Lakehouse)
اینجا همان نقطه عطف ماجراست! از طریق پلاگین DuckDB Iceberg، دیتابیس دیتای تراکنشی را مستقیماً روی جداول Iceberg (درون S3) مینویسد.
نتیجه؟ حذف کامل پایپلاینهای CDC. دیتا به محض Commit شدن، توسط موتورهایی مثل Spark، Flink و Trino قابل کوئری گرفتن است. دیتابیس عملیاتی شما دیگر فقط «منبع بالادستی» دیتا لیک نیست، بلکه تبدیل به بخشی از خود دیتا لیک شده است.
۴. بهینهسازیهای عمیق و Native Flashback
امکان کوئری زدن به دیتای گذشته با AS OF TIMESTAMP و بهینهسازیهای سطح پایین Binlog که باعث کاهش شدید I/O اضافی و تاخیر در Commit تراکنشهای بزرگ شده است.
تصویر بزرگتر: عصر Lakebase
هرچند مفهوم “Lakebase” اخیراً توسط بازیگرانی مثل Databricks مطرح شده، اما معماریای که AliSQL فراهم کرده، دقیقاً به همان الگوی یکپارچه OLTP + Lakehouse میرسد. این نشاندهنده یک همگرایی جدی در صنعت است؛ صنعتی که قاطعانه به سمت پاک کردن مرز بین تراکنشها و تحلیلها حرکت میکند.
این بازطراحی اساسی نشان میدهد که معماریهای HTAP و همگرایی OLTP و Lakehouseها جدیتر از همیشه در حال توسعه هستند.
https://github.com/alibaba/AliSQL
@ | <Mojtaba Banaie/>
سالهاست که سیستمهای داده را بر اساس یک قانون نانوشته میسازیم: جداسازی دیتابیسهای عملیاتی (OLTP) از موتورهای تحلیلی (OLAP).
همگام نگهداشتن این دو محیط، به معنای درگیری با پایپلاینهای پیچیده ETL، کانکتورهای شکننده CDC و بحثهای همیشگی «تازگی دادهها» (Data Freshness) است. این در واقع هزینهای بود که برای پایداری سیستم میپرداختیم؛ اما چه میشد اگر میتوانستیم با چند تصمیم معماری هوشمندانه، این مرزها را پاک کنیم؟ آن هم بدون تغییرات گسترده در کدها و با حفظ پایداری همیشگی سیستم؟
این دقیقاً همان تغییری است که تیم دیتابیس ابری علیبابا با معرفی نسخه متنباز AliSQL 8.0.44-2 (انشعاب بهینهشده MySQL نسخه ۸) ایجاد کرده است. فرمولی برنده از ترکیب پایداری MySQL، سرعت خیرهکننده DuckDB و قابلیتهای پیشرفته هوش مصنوعی.
این یک ایده آزمایشگاهی نیست؛ این معماری طی یک دهه برای زنده ماندن در هرجومرج ترافیکی رویداد جمعه سیاه آبدیده شده و امروز روی بیش از ۱۰۰۰ نود پروداکشن در حال اجراست. نتیجه؟ تا ۷۰٪ پرفورمنس بهتر و ۹۵.۲٪ کاهش زمان ریکاوری (Crash Recovery) نسبت به MySQL کامیونیتی.
اگر درگیر طراحی سیستمهای دادهمحور هستید و دنبال یک پلتفرم جامع و مقیاسپذیر هستید و یا به دنبال بهبود MySQL خود هستید، این ۴ تغییر زیربنایی در AliSQL قطعا توجه شما را جلب خواهد کرد:
۱. موتور تحلیلی بومی DuckDB (یکپارچگی HTAP)
دیتابیس AliSQL حالا DuckDB را به عنوان یک Storage Engine در کنار InnoDB به رسمیت میشناسد. این یعنی کوئریهای تحلیلی ستونی تا ۲۰۰ برابر سریعتر اجرا میشوند. نکته جذاب؟ نیازی به درایور جدید یا تغییر Connection String نیست؛ برنامههای شما همچنان با پروتکل استاندارد MySQL ارتباط برقرار میکنند.
۲. جستجوی برداری بومی برای عصر AI
ورکلودهای مدرن نیازمند جستجوی معنایی هستند. این نسخه از نوع داده VECTOR (تا ۱۶,۳۸۳ بعد) همراه با ایندکسهای HNSW پشتیبانی میکند. با این قابلیت، میتوانید الگوهای RAG، موتورهای پیشنهادگر و جستجوی معنایی را مستقیماً داخل سیستم OLTP خود اجرا کنید.
۳. نوشتن مستقیم روی Apache Iceberg (پلی به سوی Lakehouse)
اینجا همان نقطه عطف ماجراست! از طریق پلاگین DuckDB Iceberg، دیتابیس دیتای تراکنشی را مستقیماً روی جداول Iceberg (درون S3) مینویسد.
نتیجه؟ حذف کامل پایپلاینهای CDC. دیتا به محض Commit شدن، توسط موتورهایی مثل Spark، Flink و Trino قابل کوئری گرفتن است. دیتابیس عملیاتی شما دیگر فقط «منبع بالادستی» دیتا لیک نیست، بلکه تبدیل به بخشی از خود دیتا لیک شده است.
۴. بهینهسازیهای عمیق و Native Flashback
امکان کوئری زدن به دیتای گذشته با AS OF TIMESTAMP و بهینهسازیهای سطح پایین Binlog که باعث کاهش شدید I/O اضافی و تاخیر در Commit تراکنشهای بزرگ شده است.
تصویر بزرگتر: عصر Lakebase
هرچند مفهوم “Lakebase” اخیراً توسط بازیگرانی مثل Databricks مطرح شده، اما معماریای که AliSQL فراهم کرده، دقیقاً به همان الگوی یکپارچه OLTP + Lakehouse میرسد. این نشاندهنده یک همگرایی جدی در صنعت است؛ صنعتی که قاطعانه به سمت پاک کردن مرز بین تراکنشها و تحلیلها حرکت میکند.
این بازطراحی اساسی نشان میدهد که معماریهای HTAP و همگرایی OLTP و Lakehouseها جدیتر از همیشه در حال توسعه هستند.
https://github.com/alibaba/AliSQL
@ | <Mojtaba Banaie/>
GitHub
GitHub - alibaba/AliSQL: AliSQL is a MySQL branch originated from Alibaba Group. Fetch document from Release Notes at bottom.
AliSQL is a MySQL branch originated from Alibaba Group. Fetch document from Release Notes at bottom. - alibaba/AliSQL
🔵 عنوان مقاله
the part of Postgres they hate the most
🟢 خلاصه مقاله:
در میان سیستمهای مدیریت پایگاه داده، بخشهایی از پوسگرس که کاربران بیشترین نارضایتی را دارند، معمولاً مربوط به عملکرد و بهکارگیری منابع است. این موضوع با نتایج بنچمارکها و آزمایشهای مختلف تایید میشود و کسانی که تجربه کار با این سیستمها را دارند، به خوبی میدانند که چقدر این قسمتها ممکن است باعث کندی و تأخیر در اجرای درخواستها شوند. نارضایتیها معمولاً حول همین بخشها میچرخد، چرا که بسیاری معتقدند بهبود در این قسمتها میتواند تاثیر قابل توجهی بر کارایی نهایی سیستم داشته باشد.
در حالی که بسیاری بر روی این نقاط ضعف تمرکز میکنند، سوال مهمتر این است: در عوض، سایر سیستمهای بانک اطلاعاتی نظیر اوراکل، ایننو دیبی، اسکیوال سرور، مونگو دیبی و دیتیدی چه راهکارهایی در پیش گرفتهاند؟ و این راهکارها چه هزینههایی را در بر دارند؟ هر یک از این پلتفرمها راهکارهای متفاوتی برای مقابله با مشکلات عملکرد ارائه میدهند. برای نمونه، اوراکل و اسکیوال سرور امکانات بهینهسازی پیشرفته، سیستمهای کشینگ خاص و معماریهای توزیع شده را به کار میگیرند که البته با هزینههای مالی و پیچیدگی فنی بالایی همراه است.
به طور کلی، هر فناوری، چه در قالب open-source مانند پوسگرس و چه در قالب نرمافزارهای اختصاصی و تجاری، به نوعی باید تعادل بین کارایی، هزینه و پیچیدگی را برقرار کند. در نتیجه، انتخاب بهترین راهکار بستگی به نیازهای خاص سازمان، منابع مالی و قابلیتهای فنی آن دارد. در نهایت، درک دقیق از هزینهها و مزایای هر گزینه میتواند تصمیمگیری هوشمندانهتری را برای تیمهای توسعه و مدیران سیستم رقم بزند، تا بتوانند بهترین گزینه را برای رفع مشکلات مقیاسپذیری و عملکردی انتخاب کنند.
#پایگاه_داده #بازنگری_عملکرد #سیستمهای_مدیریت_دیتا #پیشرفتهای_ فناوری
🟣لینک مقاله:
https://www.cs.cmu.edu/~pavlo/blog/2023/04/the-part-of-postgresql-we-hate-the-most.html
➖➖➖➖➖➖➖➖
👑 @Database_Academy
the part of Postgres they hate the most
🟢 خلاصه مقاله:
در میان سیستمهای مدیریت پایگاه داده، بخشهایی از پوسگرس که کاربران بیشترین نارضایتی را دارند، معمولاً مربوط به عملکرد و بهکارگیری منابع است. این موضوع با نتایج بنچمارکها و آزمایشهای مختلف تایید میشود و کسانی که تجربه کار با این سیستمها را دارند، به خوبی میدانند که چقدر این قسمتها ممکن است باعث کندی و تأخیر در اجرای درخواستها شوند. نارضایتیها معمولاً حول همین بخشها میچرخد، چرا که بسیاری معتقدند بهبود در این قسمتها میتواند تاثیر قابل توجهی بر کارایی نهایی سیستم داشته باشد.
در حالی که بسیاری بر روی این نقاط ضعف تمرکز میکنند، سوال مهمتر این است: در عوض، سایر سیستمهای بانک اطلاعاتی نظیر اوراکل، ایننو دیبی، اسکیوال سرور، مونگو دیبی و دیتیدی چه راهکارهایی در پیش گرفتهاند؟ و این راهکارها چه هزینههایی را در بر دارند؟ هر یک از این پلتفرمها راهکارهای متفاوتی برای مقابله با مشکلات عملکرد ارائه میدهند. برای نمونه، اوراکل و اسکیوال سرور امکانات بهینهسازی پیشرفته، سیستمهای کشینگ خاص و معماریهای توزیع شده را به کار میگیرند که البته با هزینههای مالی و پیچیدگی فنی بالایی همراه است.
به طور کلی، هر فناوری، چه در قالب open-source مانند پوسگرس و چه در قالب نرمافزارهای اختصاصی و تجاری، به نوعی باید تعادل بین کارایی، هزینه و پیچیدگی را برقرار کند. در نتیجه، انتخاب بهترین راهکار بستگی به نیازهای خاص سازمان، منابع مالی و قابلیتهای فنی آن دارد. در نهایت، درک دقیق از هزینهها و مزایای هر گزینه میتواند تصمیمگیری هوشمندانهتری را برای تیمهای توسعه و مدیران سیستم رقم بزند، تا بتوانند بهترین گزینه را برای رفع مشکلات مقیاسپذیری و عملکردی انتخاب کنند.
#پایگاه_داده #بازنگری_عملکرد #سیستمهای_مدیریت_دیتا #پیشرفتهای_ فناوری
🟣لینک مقاله:
https://www.cs.cmu.edu/~pavlo/blog/2023/04/the-part-of-postgresql-we-hate-the-most.html
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Andy Pavlo - Carnegie Mellon University
The Part of PostgreSQL We Hate the Most
As much as Andy loves PostgreSQL, there is one part that is terrible and causes many headaches for people. Learn what it is and why it sucks.
Forwarded from Gopher Academy
اصطلاح one-shot ramp-up
بسته به زمینه (نرمافزار، DevOps، AI یا سختافزار) کمی متفاوت است، اما مفهوم کلی آن این است:
راهاندازی یا افزایش ظرفیت در یک مرحله و بهصورت یکباره، بدون افزایش تدریجی.
معنی واژهها
One-shot =
یکباره، در یک مرحله، بدون تکرار
Ramp-up =
افزایش تدریجی ظرفیت، سرعت، بار یا عملکرد تا رسیدن به سطح موردنظر
وقتی این دو کنار هم قرار میگیرند، منظور این است که بهجای افزایش تدریجی، سیستم مستقیماً به ظرفیت نهایی یا موردنظر میرسد.
مثال در توسعه نرمافزار
فرض کنید یک سرویس باید ۱۰۰۰ Worker اجرا کند.
درواقعه Ramp-up یعنی تدریجی
ثانیه 1 → 100 Worker
ثانیه 2 → 200 Worker
ثانیه 3 → 300 Worker
ثانیه 10 → 1000 Worker
One-shot ramp-up
ثانیه 1 → 1000 Worker
همه Workerها یکباره ایجاد میشوند.
مثال در تست بار (Load Testing)
در ابزارهایی مانند k6 یا JMeter:
Ramp-up
یعنی تعداد کاربران مجازی بهتدریج افزایش پیدا کند.
One-shot ramp-up
یعنی تمام کاربران مجازی همزمان شروع به ارسال درخواست کنند.
مثلاً:
1000 Virtual Users
Normal Ramp-up:
0 → 1000 در مدت 5 دقیقه
One-shot Ramp-up:
0 → 1000 در کمتر از یک ثانیه
مثال در Kubernetes
فرض کنید Deployment شما باید ۵۰ Pod داشته باشد.
اRamp-up معمولی:
ا Podها بهتدریج ساخته میشوند.
One-shot ramp-up: Scheduler
تلاش میکند هر ۵۰ Pod را تقریباً همزمان ایجاد کند (البته با توجه به محدودیتهای کلاستر).
مزایا
رسیدن سریع به ظرفیت کامل
مناسب برای تست فشار (Stress Testing)
کاهش زمان راهاندازی
معایب
افزایش ناگهانی مصرف CPU و RAM
احتمال ایجاد Thundering Herd Problem (هجوم همزمان تعداد زیادی درخواست یا پردازش)
افزایش احتمال Timeout یا فشار روی دیتابیس و سرویسهای وابسته
جمعبندی
این One-shot ramp-up یعنی سیستم، کاربران، Workerها یا منابع در یک مرحله و تقریباً همزمان به ظرفیت هدف برسند، نه اینکه بهصورت تدریجی افزایش پیدا کنند. این اصطلاح معمولاً در زمینههای Load Testing، سیستمهای توزیعشده، Kubernetes، سرویسهای ابری و پردازش موازی استفاده میشود.
بسته به زمینه (نرمافزار، DevOps، AI یا سختافزار) کمی متفاوت است، اما مفهوم کلی آن این است:
راهاندازی یا افزایش ظرفیت در یک مرحله و بهصورت یکباره، بدون افزایش تدریجی.
معنی واژهها
One-shot =
یکباره، در یک مرحله، بدون تکرار
Ramp-up =
افزایش تدریجی ظرفیت، سرعت، بار یا عملکرد تا رسیدن به سطح موردنظر
وقتی این دو کنار هم قرار میگیرند، منظور این است که بهجای افزایش تدریجی، سیستم مستقیماً به ظرفیت نهایی یا موردنظر میرسد.
مثال در توسعه نرمافزار
فرض کنید یک سرویس باید ۱۰۰۰ Worker اجرا کند.
درواقعه Ramp-up یعنی تدریجی
ثانیه 1 → 100 Worker
ثانیه 2 → 200 Worker
ثانیه 3 → 300 Worker
ثانیه 10 → 1000 Worker
One-shot ramp-up
ثانیه 1 → 1000 Worker
همه Workerها یکباره ایجاد میشوند.
مثال در تست بار (Load Testing)
در ابزارهایی مانند k6 یا JMeter:
Ramp-up
یعنی تعداد کاربران مجازی بهتدریج افزایش پیدا کند.
One-shot ramp-up
یعنی تمام کاربران مجازی همزمان شروع به ارسال درخواست کنند.
مثلاً:
1000 Virtual Users
Normal Ramp-up:
0 → 1000 در مدت 5 دقیقه
One-shot Ramp-up:
0 → 1000 در کمتر از یک ثانیه
مثال در Kubernetes
فرض کنید Deployment شما باید ۵۰ Pod داشته باشد.
اRamp-up معمولی:
ا Podها بهتدریج ساخته میشوند.
One-shot ramp-up: Scheduler
تلاش میکند هر ۵۰ Pod را تقریباً همزمان ایجاد کند (البته با توجه به محدودیتهای کلاستر).
مزایا
رسیدن سریع به ظرفیت کامل
مناسب برای تست فشار (Stress Testing)
کاهش زمان راهاندازی
معایب
افزایش ناگهانی مصرف CPU و RAM
احتمال ایجاد Thundering Herd Problem (هجوم همزمان تعداد زیادی درخواست یا پردازش)
افزایش احتمال Timeout یا فشار روی دیتابیس و سرویسهای وابسته
جمعبندی
این One-shot ramp-up یعنی سیستم، کاربران، Workerها یا منابع در یک مرحله و تقریباً همزمان به ظرفیت هدف برسند، نه اینکه بهصورت تدریجی افزایش پیدا کنند. این اصطلاح معمولاً در زمینههای Load Testing، سیستمهای توزیعشده، Kubernetes، سرویسهای ابری و پردازش موازی استفاده میشود.
یکی از خبرهای جذاب این روزا منتشر شدن PGSimCity بود؛ پروژهای که مفاهیم داخلی PostgreSQL رو به یک شهر سهبعدی تعاملی تبدیل کرده تا یادگیری اجزا داخلی شهودیتر و سادهتر بشه.
اگر دوست دارین بدونین Postgresql دقیقا چطور کار میکنه از دستش ندین.
https://nikolays.github.io/PGSimCity/
@ | <Fateme/>
اگر دوست دارین بدونین Postgresql دقیقا چطور کار میکنه از دستش ندین.
https://nikolays.github.io/PGSimCity/
@ | <Fateme/>
PGSimCity
PGSimCity · How PostgreSQL Works, in 3D
An independent, non-commercial educational visualization of PostgreSQL internals. Not affiliated with Electronic Arts.
❤1
Forwarded from Persian Post
کتاب «اپل در چین: تسخیر بزرگترین شرکت جهان»
(Apple in China: The Capture of the World's Greatest Company)
اثری جذاب و خواندنی از پاتریک مکگی است.
این کتاب به بررسی وابستگی عمیق شرکت اپل به نیروی کار و زیرساختهای صنعتی چین میپردازد و نشان میدهد که چگونه اپل با برونسپاری تولید آیفون به چین، به بزرگترین شرکت فناوری جهان تبدیل شد. همچنین به این موضوع اشاره دارد که این وابستگی متقابل چگونه به پکن قدرت زیادی بخشیده است، به طوری که اگر دولت چین بخواهد، میتواند حیات تولید آیفون را یکشبه با چالش جدی مواجه کند.
https://xn--r1a.website/+Bp8JeTpQoiUwMjVk
(Apple in China: The Capture of the World's Greatest Company)
اثری جذاب و خواندنی از پاتریک مکگی است.
این کتاب به بررسی وابستگی عمیق شرکت اپل به نیروی کار و زیرساختهای صنعتی چین میپردازد و نشان میدهد که چگونه اپل با برونسپاری تولید آیفون به چین، به بزرگترین شرکت فناوری جهان تبدیل شد. همچنین به این موضوع اشاره دارد که این وابستگی متقابل چگونه به پکن قدرت زیادی بخشیده است، به طوری که اگر دولت چین بخواهد، میتواند حیات تولید آیفون را یکشبه با چالش جدی مواجه کند.
https://xn--r1a.website/+Bp8JeTpQoiUwMjVk
🔵 عنوان مقاله
Smevals - a Small Eval Suite for Evaluating Models, Prompts, and Harnesses (9 minute read)
🟢 خلاصه مقاله:
اسمیوالز، مجموعهای کوچک و کاربردی برای ارزیابی مدلها، پویاها و ابزارهای مختلف در حوزه هوش مصنوعی است که کار با آن بسیار آسان و سریع است. این ابزار، یک خط فرمان سبک و کارآمد بر پایه پایتون است که امکان اجرای ارزیابیهای تخصصی مرتبط با وظایف مختلف را بر روی چندین مدل فراهم میکند. هدف اصلی این مجموعه، پیدا کردن اقتصادیترین مدلهایی است که از نظر کیفیت در سطح مورد انتظار قرار دارند.
در استفاده از اسمیوالز، ابتدا وظایف مورد نظر خود را تعریف میکنید؛ سپس با نوشتن فایلهای YAML حاوی ارزیابهای اختصاصی و اسکریپتهای بررسی سفارشی، ارزیابیها را مینویسید و آنها را بر روی مجموعهای از تنظیمات مدلها اجرا میکنید. نتایج نمرهگذاری شده در قالب یک داشبورد محلی یا یک سایت استاتیک نمایش داده میشوند تا بتوانید به راحتی و در کمترین زمان، مدلهایی را که بهترین عملکرد را دارند، شناسایی و مقایسه کنید.
این ابزار، به ویژه برای توسعهدهندگان و محققانی که نیاز دارند سریع و به صورت موثری کیفیت مدلهای مختلف را ارزیابی کنند، بسیار مفید است. رابط کاربری ساده و قابلیتهای قابل تنظیم آن، فرآیند آزمایش و انتخاب مدلها را به مراتب آسانتر میسازد و کمک میکند تا در هزینهها و زمان صرفهجویی بیشتری صورت گیرد.
#هوش_مصنوعی #ارزیابی_مدل #پایتون #توسعه_هوش
🟣لینک مقاله:
https://primeradiant.com/blog/2026/smevals.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Smevals - a Small Eval Suite for Evaluating Models, Prompts, and Harnesses (9 minute read)
🟢 خلاصه مقاله:
اسمیوالز، مجموعهای کوچک و کاربردی برای ارزیابی مدلها، پویاها و ابزارهای مختلف در حوزه هوش مصنوعی است که کار با آن بسیار آسان و سریع است. این ابزار، یک خط فرمان سبک و کارآمد بر پایه پایتون است که امکان اجرای ارزیابیهای تخصصی مرتبط با وظایف مختلف را بر روی چندین مدل فراهم میکند. هدف اصلی این مجموعه، پیدا کردن اقتصادیترین مدلهایی است که از نظر کیفیت در سطح مورد انتظار قرار دارند.
در استفاده از اسمیوالز، ابتدا وظایف مورد نظر خود را تعریف میکنید؛ سپس با نوشتن فایلهای YAML حاوی ارزیابهای اختصاصی و اسکریپتهای بررسی سفارشی، ارزیابیها را مینویسید و آنها را بر روی مجموعهای از تنظیمات مدلها اجرا میکنید. نتایج نمرهگذاری شده در قالب یک داشبورد محلی یا یک سایت استاتیک نمایش داده میشوند تا بتوانید به راحتی و در کمترین زمان، مدلهایی را که بهترین عملکرد را دارند، شناسایی و مقایسه کنید.
این ابزار، به ویژه برای توسعهدهندگان و محققانی که نیاز دارند سریع و به صورت موثری کیفیت مدلهای مختلف را ارزیابی کنند، بسیار مفید است. رابط کاربری ساده و قابلیتهای قابل تنظیم آن، فرآیند آزمایش و انتخاب مدلها را به مراتب آسانتر میسازد و کمک میکند تا در هزینهها و زمان صرفهجویی بیشتری صورت گیرد.
#هوش_مصنوعی #ارزیابی_مدل #پایتون #توسعه_هوش
🟣لینک مقاله:
https://primeradiant.com/blog/2026/smevals.html?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
❤2
🔵 عنوان مقاله
Crowdsourced taxonomy verification: A feedback-driven framework for refining knowledge graph relationships via online search interactions (6 minute read)
🟢 خلاصه مقاله:
در فرآیند توسعه سامانههای دانشمدار، یکی از چالشهای مهم، اطمینان از صحت و سقم روابط بین موجودیتها در نقشههای دانش (Knowledge Graph) است. در این حوزه، رویکردهای سنتی معمولاً مبتنی بر تحلیلهای دستوری یا منابع ثابت هستند که ممکن است نتوانند تغییرات و واقعیات روزمره را به خوبی منعکس کنند. به همین دلیل، اخیراً رویکرد نوینی به نام "تایپوگرافی مبتنی بر جمع سپاری و بازخورد" ابداع شده که با بهرهگیری از رفتارهای جستجو در وب، امکان ارزیابی و اصلاح روابط موجود در نقشههای دانش را فراهم میآورد.
در این چارچوب جدید، روابط فرضی بین موجودیتها—مانند روابط پدری، فرزندی یا همخون—به عنوان فرضیههایی در نظر گرفته میشوند که باید صحت آنها با توجه به تعاملات کاربران در فرآیندهای جستجو تایید یا رد شود. بدین صورت، پیشنهادهای اولیه بر پایه تحلیلهای آماری و الگوریتمهای هوشمند ارائه میگردد و سپس با جمعآوری دادههای واقعی کاربران مانند کلیکها، مدت زمان گذاشته شده بر صفحات، اسکرولها و نرخ تبدیل، امتیازهای اعتمادی ساخته میشود. این امتیازها نشان میدهند که چه میزان رابطهای در نقشه دانش معتبر است و کدام روابط باید تقویت یا حذف شوند.
این رویکرد نه تنها قابلیت اصلاح و بهروزرسانی سریعتر نقشههای دانش را فراهم میکند، بلکه با تکیه بر بازخوردهای مستقیم کاربران، به تدریج به سمت ساختاری دقیقتر و منعکسکنندهتر واقعیت حرکت میکند. در نتیجه، این سیستم مبتنی بر جمع سپاری، امکان توسعه سیستمهای هوشمند و قابل اعتمادتر در حوزههای متعددی را فراهم میآورد و بهبود مستمر در صحت روابط بین دادهها و مفاهیم را تضمین میکند.
#نقشه_دانش #بازخورد_کاربر #هوش_مصنوعی #تحلیل_داده
🟣لینک مقاله:
https://engineering.grab.com/crowdsourced-taxonomy-verification?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Crowdsourced taxonomy verification: A feedback-driven framework for refining knowledge graph relationships via online search interactions (6 minute read)
🟢 خلاصه مقاله:
در فرآیند توسعه سامانههای دانشمدار، یکی از چالشهای مهم، اطمینان از صحت و سقم روابط بین موجودیتها در نقشههای دانش (Knowledge Graph) است. در این حوزه، رویکردهای سنتی معمولاً مبتنی بر تحلیلهای دستوری یا منابع ثابت هستند که ممکن است نتوانند تغییرات و واقعیات روزمره را به خوبی منعکس کنند. به همین دلیل، اخیراً رویکرد نوینی به نام "تایپوگرافی مبتنی بر جمع سپاری و بازخورد" ابداع شده که با بهرهگیری از رفتارهای جستجو در وب، امکان ارزیابی و اصلاح روابط موجود در نقشههای دانش را فراهم میآورد.
در این چارچوب جدید، روابط فرضی بین موجودیتها—مانند روابط پدری، فرزندی یا همخون—به عنوان فرضیههایی در نظر گرفته میشوند که باید صحت آنها با توجه به تعاملات کاربران در فرآیندهای جستجو تایید یا رد شود. بدین صورت، پیشنهادهای اولیه بر پایه تحلیلهای آماری و الگوریتمهای هوشمند ارائه میگردد و سپس با جمعآوری دادههای واقعی کاربران مانند کلیکها، مدت زمان گذاشته شده بر صفحات، اسکرولها و نرخ تبدیل، امتیازهای اعتمادی ساخته میشود. این امتیازها نشان میدهند که چه میزان رابطهای در نقشه دانش معتبر است و کدام روابط باید تقویت یا حذف شوند.
این رویکرد نه تنها قابلیت اصلاح و بهروزرسانی سریعتر نقشههای دانش را فراهم میکند، بلکه با تکیه بر بازخوردهای مستقیم کاربران، به تدریج به سمت ساختاری دقیقتر و منعکسکنندهتر واقعیت حرکت میکند. در نتیجه، این سیستم مبتنی بر جمع سپاری، امکان توسعه سیستمهای هوشمند و قابل اعتمادتر در حوزههای متعددی را فراهم میآورد و بهبود مستمر در صحت روابط بین دادهها و مفاهیم را تضمین میکند.
#نقشه_دانش #بازخورد_کاربر #هوش_مصنوعی #تحلیل_داده
🟣لینک مقاله:
https://engineering.grab.com/crowdsourced-taxonomy-verification?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Grab Tech
Crowdsourced taxonomy verification: A feedback-driven framework for refining knowledge graph relationships via online search interactions
Knowledge graphs power modern search and recommendation systems, but automated construction methods can introduce semantic inaccuracies. This framework verifies KG relationships in real time by injecting candidate edges into live search results and using…
❤3
🔵 عنوان مقاله
GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model (12 minute read)
🟢 خلاصه مقاله:
در طول شش ماه گذشته، شرکت Meta توانسته است عملکرد مدل پایهی مربوط به تبلیغات خود را به طرز شگفتانگیزی بهبود ببخشد. این شرکت با بهرهگیری از مجموعهای از فناوریهای نوآورانه، موفق شده است مدل پیشنهادی تبلیغات خود را چهار برابر بزرگتر کند و در نتیجه، کارایی آموزش آن را دو برابر افزایش دهد. این تغییرات در کارایی، از جمله افزایش بهرهوری در فرآیند آموزش مدلهای بزرگ زبانی (LLMs)، نقش بسزایی ایفا میکنند و Meta را در رقابتهای جهانی پیشروتر کردهاند.
برای دستیابی به این نتایج چشمگیر، Meta پنج تکنیک کلیدی را به کار گرفته است. نخست، استفاده از مکانیزم توجه سریع و انعطافپذیر (جگد فلش اتنشن) که میکوشد تا هدررفت ناشی از قسمتهای padding را حذف کند و فضای بیشتری را برای عملیات مفید فراهم آورد. دوم، ایجاد هستهی یکنواخت توجه که با سرعت ۲ تا ۳.۵ برابری، عملیات محاسباتی را به صورت موثرتری انجام میدهد. سوم، آموزش با استفاده از دقت MXFP8، که بهرهوری را در مدلسازی افزایش میدهد و زمان لازم برای آموزش را کاهش میدهد. چهارم، فناوری ارتباط جمعی بدون سیام (SM-free) که توانایی جمعآوری دادهها را بدون نیاز به منابع اضافی، نزدیک به ۲۳ واحد SM (واحدهای محاسباتی) آزاد میکند. و در نهایت، تکنیکی به نام جابهجایی تعادل بار، که باعث افزایش ۴ درصدی کارایی میشود بدون اینکه هزینهای برای ارتباط درون سیستم داشته باشد.
این پیشرفتها نشان میدهند که با ترکیب خلاقانه فناوریهای نوین، میتوان مدلهای هوشمند را بسیار بهینهتر و کارآمدتر ساخت و در عین حال، زمان و منابع مورد نیاز برای آموزش آنها را کاهش داد. این موفقیتها مسیر را برای توسعه فناوریهای تبلیغاتی و مدلسازی زبان طبیعی در آینده هموارتر میکنند و Meta را در صدر رقابتهای فناوری قرار میدهد.
#هوش_مصنوعی #یادگیری_عمیق #مدل_زبانی #تکنولوژیهای_نوین
🟣لینک مقاله:
https://engineering.fb.com/2026/08/03/ml-applications/training-gem-at-llm-scale-meta-ads-recommendation-foundation-model/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model (12 minute read)
🟢 خلاصه مقاله:
در طول شش ماه گذشته، شرکت Meta توانسته است عملکرد مدل پایهی مربوط به تبلیغات خود را به طرز شگفتانگیزی بهبود ببخشد. این شرکت با بهرهگیری از مجموعهای از فناوریهای نوآورانه، موفق شده است مدل پیشنهادی تبلیغات خود را چهار برابر بزرگتر کند و در نتیجه، کارایی آموزش آن را دو برابر افزایش دهد. این تغییرات در کارایی، از جمله افزایش بهرهوری در فرآیند آموزش مدلهای بزرگ زبانی (LLMs)، نقش بسزایی ایفا میکنند و Meta را در رقابتهای جهانی پیشروتر کردهاند.
برای دستیابی به این نتایج چشمگیر، Meta پنج تکنیک کلیدی را به کار گرفته است. نخست، استفاده از مکانیزم توجه سریع و انعطافپذیر (جگد فلش اتنشن) که میکوشد تا هدررفت ناشی از قسمتهای padding را حذف کند و فضای بیشتری را برای عملیات مفید فراهم آورد. دوم، ایجاد هستهی یکنواخت توجه که با سرعت ۲ تا ۳.۵ برابری، عملیات محاسباتی را به صورت موثرتری انجام میدهد. سوم، آموزش با استفاده از دقت MXFP8، که بهرهوری را در مدلسازی افزایش میدهد و زمان لازم برای آموزش را کاهش میدهد. چهارم، فناوری ارتباط جمعی بدون سیام (SM-free) که توانایی جمعآوری دادهها را بدون نیاز به منابع اضافی، نزدیک به ۲۳ واحد SM (واحدهای محاسباتی) آزاد میکند. و در نهایت، تکنیکی به نام جابهجایی تعادل بار، که باعث افزایش ۴ درصدی کارایی میشود بدون اینکه هزینهای برای ارتباط درون سیستم داشته باشد.
این پیشرفتها نشان میدهند که با ترکیب خلاقانه فناوریهای نوین، میتوان مدلهای هوشمند را بسیار بهینهتر و کارآمدتر ساخت و در عین حال، زمان و منابع مورد نیاز برای آموزش آنها را کاهش داد. این موفقیتها مسیر را برای توسعه فناوریهای تبلیغاتی و مدلسازی زبان طبیعی در آینده هموارتر میکنند و Meta را در صدر رقابتهای فناوری قرار میدهد.
#هوش_مصنوعی #یادگیری_عمیق #مدل_زبانی #تکنولوژیهای_نوین
🟣لینک مقاله:
https://engineering.fb.com/2026/08/03/ml-applications/training-gem-at-llm-scale-meta-ads-recommendation-foundation-model/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Engineering at Meta
GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model
Meta’s Generative Ads Recommendation Model (GEM), the foundation model behind ads recommendations across Instagram and Facebook, now trains at LLM scale on several thousand of the latest-gene…
🔵 عنوان مقاله
How DoorDash Built a Centralized Gateway for AI Agent-Tool Access (13 minute read)
🟢 خلاصه مقاله:
در دنیای فناوری امروز، نقش هوش مصنوعی و ابزارهای مبتنی بر آن در بهبود عملیاتهای تجاری بسیار حیاتی است. شرکت DoorDash با درک نیاز به یک سامانه مرکزی برای مدیریت دسترسیهای هوشمند، تصمیم گرفت یک درگاه مرکزی برای ارتباط بین عاملهای هوشمند و ابزارهای MCP ایجاد کند. این درگاه که به صورت متمرکز طراحی شده است، امکان دسترسی کنترلشده و امن به ابزارهای مورد نیاز را برای عوامل هوشمند فراهم میکند، و فرآیند مدیریت هویت، مجوزها، اعتبارنامهها، فیلترگذاری، نظارت و محدودیت سرعت را بر عهده میگیرد.
این سیستم توانسته است هماکنون از بیش از ۲۰۰ سرور MCP پشتیبانی کرده و میلیونها درخواست هفتگی را مدیریت کند، در حالی که سطح امنیت، اعتمادپذیری و کنترل کلی عملیات به شکل قابل توجهی بهبود یافته است. با نصب این درگاه مرکزی، شرکت DoorDash توانسته اطمینان حاصل کند که دسترسیهای هوشمند به صورت مؤثر و امن صورت میپذیرد، و در عین حال فرآیندها سادهتر و مدیریتپذیرتر شوند. نتیجه نهایی، ارتقاء سطح امنیت و کارایی در سیستمهای داخلی است که اهمیت زیادی در پشتیبانی از عملیاتهای روزمره و حفظ رضایت مشتری دارد.
#هوش_مصنوعی #امنیت_سایبری #مدیریت_دسترسی #تکنولوژی
🟣لینک مقاله:
https://careersatdoordash.com/blog/how-doordash-built-a-centralized-gateway-for-ai-agent-tool-access/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How DoorDash Built a Centralized Gateway for AI Agent-Tool Access (13 minute read)
🟢 خلاصه مقاله:
در دنیای فناوری امروز، نقش هوش مصنوعی و ابزارهای مبتنی بر آن در بهبود عملیاتهای تجاری بسیار حیاتی است. شرکت DoorDash با درک نیاز به یک سامانه مرکزی برای مدیریت دسترسیهای هوشمند، تصمیم گرفت یک درگاه مرکزی برای ارتباط بین عاملهای هوشمند و ابزارهای MCP ایجاد کند. این درگاه که به صورت متمرکز طراحی شده است، امکان دسترسی کنترلشده و امن به ابزارهای مورد نیاز را برای عوامل هوشمند فراهم میکند، و فرآیند مدیریت هویت، مجوزها، اعتبارنامهها، فیلترگذاری، نظارت و محدودیت سرعت را بر عهده میگیرد.
این سیستم توانسته است هماکنون از بیش از ۲۰۰ سرور MCP پشتیبانی کرده و میلیونها درخواست هفتگی را مدیریت کند، در حالی که سطح امنیت، اعتمادپذیری و کنترل کلی عملیات به شکل قابل توجهی بهبود یافته است. با نصب این درگاه مرکزی، شرکت DoorDash توانسته اطمینان حاصل کند که دسترسیهای هوشمند به صورت مؤثر و امن صورت میپذیرد، و در عین حال فرآیندها سادهتر و مدیریتپذیرتر شوند. نتیجه نهایی، ارتقاء سطح امنیت و کارایی در سیستمهای داخلی است که اهمیت زیادی در پشتیبانی از عملیاتهای روزمره و حفظ رضایت مشتری دارد.
#هوش_مصنوعی #امنیت_سایبری #مدیریت_دسترسی #تکنولوژی
🟣لینک مقاله:
https://careersatdoordash.com/blog/how-doordash-built-a-centralized-gateway-for-ai-agent-tool-access/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
DoorDash
How DoorDash Built a Centralized Gateway for AI Agent-Tool Access - DoorDash
How DoorDash built the Agent Gateway: one governed control plane where AI agents securely discover, authorize, and invoke internal and third-party tools.
🔵 عنوان مقاله
Waiting for Postgres 19: SQL Property Graph Queries (SQL/PGQ)
🟢 خلاصه مقاله:
در دنیای پایگاههای داده، سوال بسیار رایجی مطرح میشود: چه مزیتی دارد که از قابلیتهای خاص کوئرینویسی گراف در SQL، مانند پرسوجویهای گرافخصی (SQL/PGQ)، نسبت به روشهای سنتی مانند استفاده از JOINهای معمول بهرهمند شویم؟ اگر تاکنون در این باره فکر کردهاید که چرا باید از امکانات ویژه گرافهای ویژگی در SQL استفاده کنید، تنها نیستید. بسیاری از توسعهدهندگان و مدیران پایگاهدادهها کنجکاوند بدانند که این فناوری چه تفاوتی با روشهای سنتی دارد و چه مزایایی میتواند برای آنها فراهم کند.
در واقع، افزوده شدن قابلیتهای گرافپایه در SQL، امکان ذخیره و پرسوجوی دادههای پیچیده و شبکهمانند را با سهولت بیشتری فراهم میکند. این ویژگیها به ویژه در مسائلی کاربرد دارند که ساختارهای داده آنها به صورت سلسلهمراتب یا شبکههای متصل هستند، جایی که کوئریهای سنتی ممکن است نیاز به چندین عملیات JOIN و زیرپرسوجوهای پیچیده داشته باشند. با بهرهگیری از پرسوجویهای گراف در SQL، میتوان روابط پیچیده بین دادهها را به شکلی طبیعیتر و کارآمدتر مدلسازی و جستوجو کرد، امری که در آینده نزدیک و با انتشار نسخه 19 پایگاهداده PostgreSQL، بیشتر شاهد آن خواهیم بود.
در نتیجه، انتظار میرود که توسعهدهندگان بتوانند در پروژههای خود، دسترسی سریعتر و دقیقتر به دادههای مرتبط و شبکهای داشته باشند و بتوانند به شکل مؤثرتری سوالات پیچیده مربوط به روابط را پاسخ دهند. این تغییرات، علاوه بر بهبود کارایی، امکانات جدیدی برای تحلیلهای پیشرفته و بینشهای عمیقتر در دادهها فراهم میکند. در انتظار نسخه جدید PostgreSQL میمانیم تا ببینیم چگونه این قابلیتها، دنیای مدیریت و تحلیل داده را متحول خواهند ساخت.
#پایگاهداده #PostgreSQL #گراف #تحلیلداده
🟣لینک مقاله:
https://www.depesz.com/2026/07/31/waiting-for-postgresql-19-sql-property-graph-queries-sql-pgq/
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Waiting for Postgres 19: SQL Property Graph Queries (SQL/PGQ)
🟢 خلاصه مقاله:
در دنیای پایگاههای داده، سوال بسیار رایجی مطرح میشود: چه مزیتی دارد که از قابلیتهای خاص کوئرینویسی گراف در SQL، مانند پرسوجویهای گرافخصی (SQL/PGQ)، نسبت به روشهای سنتی مانند استفاده از JOINهای معمول بهرهمند شویم؟ اگر تاکنون در این باره فکر کردهاید که چرا باید از امکانات ویژه گرافهای ویژگی در SQL استفاده کنید، تنها نیستید. بسیاری از توسعهدهندگان و مدیران پایگاهدادهها کنجکاوند بدانند که این فناوری چه تفاوتی با روشهای سنتی دارد و چه مزایایی میتواند برای آنها فراهم کند.
در واقع، افزوده شدن قابلیتهای گرافپایه در SQL، امکان ذخیره و پرسوجوی دادههای پیچیده و شبکهمانند را با سهولت بیشتری فراهم میکند. این ویژگیها به ویژه در مسائلی کاربرد دارند که ساختارهای داده آنها به صورت سلسلهمراتب یا شبکههای متصل هستند، جایی که کوئریهای سنتی ممکن است نیاز به چندین عملیات JOIN و زیرپرسوجوهای پیچیده داشته باشند. با بهرهگیری از پرسوجویهای گراف در SQL، میتوان روابط پیچیده بین دادهها را به شکلی طبیعیتر و کارآمدتر مدلسازی و جستوجو کرد، امری که در آینده نزدیک و با انتشار نسخه 19 پایگاهداده PostgreSQL، بیشتر شاهد آن خواهیم بود.
در نتیجه، انتظار میرود که توسعهدهندگان بتوانند در پروژههای خود، دسترسی سریعتر و دقیقتر به دادههای مرتبط و شبکهای داشته باشند و بتوانند به شکل مؤثرتری سوالات پیچیده مربوط به روابط را پاسخ دهند. این تغییرات، علاوه بر بهبود کارایی، امکانات جدیدی برای تحلیلهای پیشرفته و بینشهای عمیقتر در دادهها فراهم میکند. در انتظار نسخه جدید PostgreSQL میمانیم تا ببینیم چگونه این قابلیتها، دنیای مدیریت و تحلیل داده را متحول خواهند ساخت.
#پایگاهداده #PostgreSQL #گراف #تحلیلداده
🟣لینک مقاله:
https://www.depesz.com/2026/07/31/waiting-for-postgresql-19-sql-property-graph-queries-sql-pgq/
➖➖➖➖➖➖➖➖
👑 @Database_Academy