🔵 عنوان مقاله
Waiting for Postgres 19: Add Non-Text Output Formats to pg_dumpall
🟢 خلاصه مقاله:
منتظر نسخه جدید پستگرس ۱۹ باشید: افزودن قابلیت خروجیهای غیرمتنی به ابزار pg_dumpall
در نسخههای قبلی، ابزار pg_dumpall تنها امکان تولید پشتیبانهای متنی را فراهم میکرد که این مسأله گاهی اوقات محدودیتی برای مدیریت و نگهداری دادهها به حساب میآمد. اما خبر خوشحالکننده این است که در این نسخه جدید، توسعهدهندگان تصمیم گرفتهاند امکانات بیشتری را در اختیار کاربران قرار دهند تا فرآیند پشتیبانگیری و انتقال دادهها آسانتر و انعطافپذیرتر شود.
در این نسخه جدید، ابزار pg_dumpall اکنون قادر است تا خروجیهایی در قالبهای مختلف مانند فرمتهای سفارشی، دایرکتوری و آرشیو tar تولید کند، علاوه بر فرمت متنی معمولی. این تغییر نه تنها باعث افزایش کارایی و صرفهجویی در فضا میشود، بلکه امکان مدیریت بهتر و انتقال سریعتر دادهها را نیز فراهم میآورد. این بهبود قابلیتها به توسعهدهندگان و مدیران بانکهای اطلاعاتی کمک میکند تا عملیات پشتیبانگیری و بازیابی را با انعطافپذیری بیشتری انجام دهند و در مواقع بحرانی همواره آماده باشند.
در نهایت، این تغییرات نشان از توجه تیم توسعه PostgreSQL به نیازهای کاربران و تمرکز بر بهبود تجربه کاربری است. با افزودن این قابلیتهای جدید، PostgreSQL قدم مهمی در جهت رقابت بهتر با سایر سیستمهای مدیریت پایگاه داده برداشته است و منتظر انتشار نسخه ۱۹ هستیم تا این امکانات بینظیر را تجربه کنیم.
#پستگرس #پشتیبانگیری #پایگاهداده #توسعهپایگاهداده
🟣لینک مقاله:
https://postgresweekly.com/link/182390/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Waiting for Postgres 19: Add Non-Text Output Formats to pg_dumpall
🟢 خلاصه مقاله:
منتظر نسخه جدید پستگرس ۱۹ باشید: افزودن قابلیت خروجیهای غیرمتنی به ابزار pg_dumpall
در نسخههای قبلی، ابزار pg_dumpall تنها امکان تولید پشتیبانهای متنی را فراهم میکرد که این مسأله گاهی اوقات محدودیتی برای مدیریت و نگهداری دادهها به حساب میآمد. اما خبر خوشحالکننده این است که در این نسخه جدید، توسعهدهندگان تصمیم گرفتهاند امکانات بیشتری را در اختیار کاربران قرار دهند تا فرآیند پشتیبانگیری و انتقال دادهها آسانتر و انعطافپذیرتر شود.
در این نسخه جدید، ابزار pg_dumpall اکنون قادر است تا خروجیهایی در قالبهای مختلف مانند فرمتهای سفارشی، دایرکتوری و آرشیو tar تولید کند، علاوه بر فرمت متنی معمولی. این تغییر نه تنها باعث افزایش کارایی و صرفهجویی در فضا میشود، بلکه امکان مدیریت بهتر و انتقال سریعتر دادهها را نیز فراهم میآورد. این بهبود قابلیتها به توسعهدهندگان و مدیران بانکهای اطلاعاتی کمک میکند تا عملیات پشتیبانگیری و بازیابی را با انعطافپذیری بیشتری انجام دهند و در مواقع بحرانی همواره آماده باشند.
در نهایت، این تغییرات نشان از توجه تیم توسعه PostgreSQL به نیازهای کاربران و تمرکز بر بهبود تجربه کاربری است. با افزودن این قابلیتهای جدید، PostgreSQL قدم مهمی در جهت رقابت بهتر با سایر سیستمهای مدیریت پایگاه داده برداشته است و منتظر انتشار نسخه ۱۹ هستیم تا این امکانات بینظیر را تجربه کنیم.
#پستگرس #پشتیبانگیری #پایگاهداده #توسعهپایگاهداده
🟣لینک مقاله:
https://postgresweekly.com/link/182390/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
The hidden technical debt of agentic engineering (17 minute read)
🟢 خلاصه مقاله:
مهندسی عاملیت، همانند ده سال قبل، به تیمهای یادگیری ماشین (ماشین لرنینگ) نوعی بدهی فنی پنهان تحمیل میکند؛ اما این بار به سرعتی بسیار بیشتر. در اصل، ساختن عاملهای هوشمند در سطح محلی بسیار آسان است و تقریباً در کمترین زمان ممکن انجام میشود، اما هنگامی که مسئله به اجرای ایمن و موثر آنها در مقیاس تولیدی میرسد، کار به مراتب پیچیدهتر و دشوارتر میشود. این موضوع یعنی همان چالشهای قدیمی که تیمهای ML با آن روبهرو بودند، دوباره ظاهر شده، اما در قالب سرعت و مقیاس بزرگتری.
بخش اصلی مشکل در خارج از خود عاملها قرار دارد؛ جایی که تمرکز بر زیرساختها و سیستمهای ادغام متمرکز است. این شامل یکپارچهسازیهای مرکزی، محیطهای اجرا زنده، مسیرهای تصمیمگیری، رکوردهای ثبتکننده تصمیمات، قابلیت مشاهده و نظارت، ارزیابیها، حلقههای بازخورد، کنترلهای انسانی، حاکمیت و هماهنگی است. تمامی این عوامل، زیرساختهایی هستند که به تنهایی میتوانند در صورت عدم مدیریت صحیح، خطرات و پیچیدگیهای زیادی ایجاد کنند، بنابراین نیازمند دیدهبانی، کنترلهای استاندارد و فرآیندهای مدیریت مشخص هستند.
در نتیجه، تیمهای پلتفرم باید ابزاری قوی برای دیدهبانی و کنترلهای استاندارد فراهم کنند تا بتوانند این سیستمهای پیچیده را به صورت سالم و ایمن مدیریت کنند. این امر نه تنها به کاهش ریسکهای عملیاتی کمک میکند، بلکه از بروز بدهیهای فنی احتمالی در آینده جلوگیری میکند و تضمین میکند که عاملهای هوشمند در مسیر درست و به صورت پایداری عمل میکنند.
#مهندسی_عاملیت #بدهی_فنی #هوش_مصنوعی #مدیریت_سیستم
🟣لینک مقاله:
https://thenewstack.io/hidden-agentic-technical-debt/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The hidden technical debt of agentic engineering (17 minute read)
🟢 خلاصه مقاله:
مهندسی عاملیت، همانند ده سال قبل، به تیمهای یادگیری ماشین (ماشین لرنینگ) نوعی بدهی فنی پنهان تحمیل میکند؛ اما این بار به سرعتی بسیار بیشتر. در اصل، ساختن عاملهای هوشمند در سطح محلی بسیار آسان است و تقریباً در کمترین زمان ممکن انجام میشود، اما هنگامی که مسئله به اجرای ایمن و موثر آنها در مقیاس تولیدی میرسد، کار به مراتب پیچیدهتر و دشوارتر میشود. این موضوع یعنی همان چالشهای قدیمی که تیمهای ML با آن روبهرو بودند، دوباره ظاهر شده، اما در قالب سرعت و مقیاس بزرگتری.
بخش اصلی مشکل در خارج از خود عاملها قرار دارد؛ جایی که تمرکز بر زیرساختها و سیستمهای ادغام متمرکز است. این شامل یکپارچهسازیهای مرکزی، محیطهای اجرا زنده، مسیرهای تصمیمگیری، رکوردهای ثبتکننده تصمیمات، قابلیت مشاهده و نظارت، ارزیابیها، حلقههای بازخورد، کنترلهای انسانی، حاکمیت و هماهنگی است. تمامی این عوامل، زیرساختهایی هستند که به تنهایی میتوانند در صورت عدم مدیریت صحیح، خطرات و پیچیدگیهای زیادی ایجاد کنند، بنابراین نیازمند دیدهبانی، کنترلهای استاندارد و فرآیندهای مدیریت مشخص هستند.
در نتیجه، تیمهای پلتفرم باید ابزاری قوی برای دیدهبانی و کنترلهای استاندارد فراهم کنند تا بتوانند این سیستمهای پیچیده را به صورت سالم و ایمن مدیریت کنند. این امر نه تنها به کاهش ریسکهای عملیاتی کمک میکند، بلکه از بروز بدهیهای فنی احتمالی در آینده جلوگیری میکند و تضمین میکند که عاملهای هوشمند در مسیر درست و به صورت پایداری عمل میکنند.
#مهندسی_عاملیت #بدهی_فنی #هوش_مصنوعی #مدیریت_سیستم
🟣لینک مقاله:
https://thenewstack.io/hidden-agentic-technical-debt/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The New Stack
The hidden technical debt of agentic engineering
Agents are easy to build but hard to run. At Port, we mapped seven blocks of hidden infrastructure debt with AI agents in enterprise systems.
🔵 عنوان مقاله
Consulting the Oracle: Claude on the Future of Data (13 minute read)
🟢 خلاصه مقاله:
در سالهای اخیر، فناوری و ابزارهای مدیریت دادهها در حال تحول سریع هستند و پیشبینیهای جدید نشان میدهند که آینده این حوزه چگونه میتواند شکل گیرد. یکی از مهمترین تغییراتی که در حال وقوع است، جایگزینی ابزارهای تجزیه و تحلیل کسبوکار (BI) با فناوریهای مدرنتر است. بر اساس نظرهای مشاورهای و تحلیلهای مرتبط، ابزارهای BI که مدتها جزو ابزارهای اصلی مدیران و تحلیلگران بودند، به تدریج کارایی خود را از دست میدهند. چرا که مدلهای زبانی بزرگ (LLMs) اکنون توانایی پاسخگویی به جستجوهای طبیعی، ترسیم نمودارها و تحلیلهای پیچیده دادهها را به شکل سادهتری دارند. این فناوریهای نوین پیشرفتهایی کلیدی در فرآیندهای تحلیل داده ایجاد کردهاند و جایگزین روشهای قدیمی و محدود شده شدهاند.
در عین حال، اوضاع برای عرضهکنندگان فرآیندهای استخراج، تبدیل و بارگذاری دادهها (ETL) نیز در حال تغییر است. پیشبینی میشود در کمتر از ۱۸ ماه آینده، شاهد بحران یا تحولی بزرگ در این حوزه باشیم که میتواند منجر به از بین رفتن راهکارهای سنتی شود. این تحول، نتیجهی رشد چشمگیر فناوریهای نوین و نیازهای جدید بازار است که در آن تمرکز بر سرعت، انعطافپذیری و هزینهمندی بیشتر میشود. پروژههای قدرتمند مبتنی بر فضای ابری و زیرساختهای انعطافپذیر، جایگزین راهکارهای قدیمی و پرهزینه شدهاند.
در همین راستا، دادهخانهها یا همان انبارهای داده نیز در حال تکامل هستند. به جای ساختارهای پیچیده و گران، آنها تبدیل به خدمات محاسباتی ارزان، مقیاسپذیر و بر بستر فرمتهای متنباز شدهاند. این تغییر روند، امکان توسعه سریع و اقتصادیتر سیستمهای مدیریت داده را فراهم میکند و باعث کاهش هزینهها و افزایش دسترسی به دادهها میشود. در نتیجه، مفهوم انبارهای داده در حال تحول است و به سمت خدمات ابری سبک و مقرونبهصرفه حرکت میکند.
همزمان، معماری دادههای مدرن به سه لایه اصلی کاهش یافته است: ذخیرهسازی، محاسبات و زمینه یا کانتکست. این سه لایه جایگزین معماریهای پیچیده و چندلایه گذشته شده و فرآیندهای تحلیل و مدیریت دادهها را سادهتر میسازند. در این ساختار، تمرکز بیشتری بر روی ایجاد زمینه و مفهومسازی دادهها شده است، به طوری که دادهکاران یا مهندسان داده از ساختن خطوط لوله و فرآیندهای پیچیده، به سمت نقشهایی مانند «نظارت و مدیریت زمینه» حرکت میکنند. این نوع دیدگاه، تمرکز بر ایجاد و حفظ زمینههای مفهومی دادهها را پررنگتر میکند و کارایی تحلیلها را افزایش میدهد.
در کل، آینده دادهها و فناوریهای مرتبط با آن در حال شکلگیری بر پایه فناوریهای نوین و معماریهای انعطافپذیر است؛ مواردی که تغییرات بزرگ در فرآیندها و نقشها را رقم زده و فرصتهای جدیدی برای بهرهبرداری و توسعه ایجاد میکنند.
#داده #تحلیل_داده #فناوری_نوین #مدیریت_داده
🟣لینک مقاله:
https://motherduck.com/blog/consulting-the-oracle-claude-on-the-future-of-data/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Consulting the Oracle: Claude on the Future of Data (13 minute read)
🟢 خلاصه مقاله:
در سالهای اخیر، فناوری و ابزارهای مدیریت دادهها در حال تحول سریع هستند و پیشبینیهای جدید نشان میدهند که آینده این حوزه چگونه میتواند شکل گیرد. یکی از مهمترین تغییراتی که در حال وقوع است، جایگزینی ابزارهای تجزیه و تحلیل کسبوکار (BI) با فناوریهای مدرنتر است. بر اساس نظرهای مشاورهای و تحلیلهای مرتبط، ابزارهای BI که مدتها جزو ابزارهای اصلی مدیران و تحلیلگران بودند، به تدریج کارایی خود را از دست میدهند. چرا که مدلهای زبانی بزرگ (LLMs) اکنون توانایی پاسخگویی به جستجوهای طبیعی، ترسیم نمودارها و تحلیلهای پیچیده دادهها را به شکل سادهتری دارند. این فناوریهای نوین پیشرفتهایی کلیدی در فرآیندهای تحلیل داده ایجاد کردهاند و جایگزین روشهای قدیمی و محدود شده شدهاند.
در عین حال، اوضاع برای عرضهکنندگان فرآیندهای استخراج، تبدیل و بارگذاری دادهها (ETL) نیز در حال تغییر است. پیشبینی میشود در کمتر از ۱۸ ماه آینده، شاهد بحران یا تحولی بزرگ در این حوزه باشیم که میتواند منجر به از بین رفتن راهکارهای سنتی شود. این تحول، نتیجهی رشد چشمگیر فناوریهای نوین و نیازهای جدید بازار است که در آن تمرکز بر سرعت، انعطافپذیری و هزینهمندی بیشتر میشود. پروژههای قدرتمند مبتنی بر فضای ابری و زیرساختهای انعطافپذیر، جایگزین راهکارهای قدیمی و پرهزینه شدهاند.
در همین راستا، دادهخانهها یا همان انبارهای داده نیز در حال تکامل هستند. به جای ساختارهای پیچیده و گران، آنها تبدیل به خدمات محاسباتی ارزان، مقیاسپذیر و بر بستر فرمتهای متنباز شدهاند. این تغییر روند، امکان توسعه سریع و اقتصادیتر سیستمهای مدیریت داده را فراهم میکند و باعث کاهش هزینهها و افزایش دسترسی به دادهها میشود. در نتیجه، مفهوم انبارهای داده در حال تحول است و به سمت خدمات ابری سبک و مقرونبهصرفه حرکت میکند.
همزمان، معماری دادههای مدرن به سه لایه اصلی کاهش یافته است: ذخیرهسازی، محاسبات و زمینه یا کانتکست. این سه لایه جایگزین معماریهای پیچیده و چندلایه گذشته شده و فرآیندهای تحلیل و مدیریت دادهها را سادهتر میسازند. در این ساختار، تمرکز بیشتری بر روی ایجاد زمینه و مفهومسازی دادهها شده است، به طوری که دادهکاران یا مهندسان داده از ساختن خطوط لوله و فرآیندهای پیچیده، به سمت نقشهایی مانند «نظارت و مدیریت زمینه» حرکت میکنند. این نوع دیدگاه، تمرکز بر ایجاد و حفظ زمینههای مفهومی دادهها را پررنگتر میکند و کارایی تحلیلها را افزایش میدهد.
در کل، آینده دادهها و فناوریهای مرتبط با آن در حال شکلگیری بر پایه فناوریهای نوین و معماریهای انعطافپذیر است؛ مواردی که تغییرات بزرگ در فرآیندها و نقشها را رقم زده و فرصتهای جدیدی برای بهرهبرداری و توسعه ایجاد میکنند.
#داده #تحلیل_داده #فناوری_نوین #مدیریت_داده
🟣لینک مقاله:
https://motherduck.com/blog/consulting-the-oracle-claude-on-the-future-of-data/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
MotherDuck
Consulting the Oracle: Claude on the Future of Data
What does AI think its own impact will be on the data and analytics industry? I asked Claude to share its predictions on the Modern Data Stack, data jobs, and the future of analytics.
🔵 عنوان مقاله
Improving storage efficiency in Magic Pocket, our immutable blob store (8 minute read)
🟢 خلاصه مقاله:
در ابتدا، تیم دیسکورد تغییراتی در ساختار ذخیرهسازی در Magic Pocket، سرویس خاص و مقاوم در برابر تغییر ماژولهای بلاکی، ایجاد کرد. این سیستم در مقیاس اگزابایتی طراحی شده بود و نقش حیاتی در نگهداری دادههای آن ایفا میکرد. با افزودن نسل جدیدی از خدمات و ویژگیها، مشکل افزایش تکهتکه شدگی و افزایش ظرفیتهای مورد نیاز به علت حجمگیری نامناسب حجمها، بهوجود آمد. این امر باعث شد که هزینههای نگهداری و بهرهوری سیستم کاهش یافته و نیازمند راهکارهای بهبود باشد.
برای مقابله با این چالش، تیم توسعه استراتژی چندمرحلهای برای فشردهسازی و جمعآوری دادهها پیادهسازی کرد، که شامل تاخیرهای دینامیک برای محدود کردن نرخ عملیات و کنترلهای بهتر در فرآیندهای باشد. این رویکرد باعث شد تا میزان هزینههای ناشی از فشردهسازی و مرتبسازی دادهها، تا ۵۰ درصد کاهش یابد و سیستم به شکل مؤثرتری بهرهور گردد. در نتیجه، با بهبودهای انجام شده، Magic Pocket توانست کارآیی فضای ذخیرهسازی را افزایش داده و عملکرد بهتری در مدیریت حجم عظیم دادهها نشان دهد.
در نهایت، این تغییرات نمونهای موفق از بهینهسازیهای فنی در سامانههای مدیریت دادههای بزرگ است که نشان میدهد با استراتژیهای مناسب و فناوریهای نوین، میتوان بهرهوری سیستمهای ذخیرهسازی را به طور قابل توجهی ارتقاء داد و هزینههای عملیاتی را کاهش داد.
#ذخیرهسازی #هوشمندسازی_داده #بهینهسازی #مدیریت_حجم
🟣لینک مقاله:
https://dropbox.tech/infrastructure/improving-storage-efficiency-in-magic-pocket-our-immutable-blob-store?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Improving storage efficiency in Magic Pocket, our immutable blob store (8 minute read)
🟢 خلاصه مقاله:
در ابتدا، تیم دیسکورد تغییراتی در ساختار ذخیرهسازی در Magic Pocket، سرویس خاص و مقاوم در برابر تغییر ماژولهای بلاکی، ایجاد کرد. این سیستم در مقیاس اگزابایتی طراحی شده بود و نقش حیاتی در نگهداری دادههای آن ایفا میکرد. با افزودن نسل جدیدی از خدمات و ویژگیها، مشکل افزایش تکهتکه شدگی و افزایش ظرفیتهای مورد نیاز به علت حجمگیری نامناسب حجمها، بهوجود آمد. این امر باعث شد که هزینههای نگهداری و بهرهوری سیستم کاهش یافته و نیازمند راهکارهای بهبود باشد.
برای مقابله با این چالش، تیم توسعه استراتژی چندمرحلهای برای فشردهسازی و جمعآوری دادهها پیادهسازی کرد، که شامل تاخیرهای دینامیک برای محدود کردن نرخ عملیات و کنترلهای بهتر در فرآیندهای باشد. این رویکرد باعث شد تا میزان هزینههای ناشی از فشردهسازی و مرتبسازی دادهها، تا ۵۰ درصد کاهش یابد و سیستم به شکل مؤثرتری بهرهور گردد. در نتیجه، با بهبودهای انجام شده، Magic Pocket توانست کارآیی فضای ذخیرهسازی را افزایش داده و عملکرد بهتری در مدیریت حجم عظیم دادهها نشان دهد.
در نهایت، این تغییرات نمونهای موفق از بهینهسازیهای فنی در سامانههای مدیریت دادههای بزرگ است که نشان میدهد با استراتژیهای مناسب و فناوریهای نوین، میتوان بهرهوری سیستمهای ذخیرهسازی را به طور قابل توجهی ارتقاء داد و هزینههای عملیاتی را کاهش داد.
#ذخیرهسازی #هوشمندسازی_داده #بهینهسازی #مدیریت_حجم
🟣لینک مقاله:
https://dropbox.tech/infrastructure/improving-storage-efficiency-in-magic-pocket-our-immutable-blob-store?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
dropbox.tech
Improving storage efficiency in Magic Pocket, our immutable blob store
By turning compaction into a layered, adaptive pipeline and strengthening our monitoring and controls, we made Magic Pocket more resilient to workload changes.
🔵 عنوان مقاله
Apache Iceberg Rust 0.9.0 Release (2 minute read)
🟢 خلاصه مقاله:
شرکت اپاچی آیسبرگ بهتازگی نسخه ۰.۹.۰ از کتابخانهی iceberg-rust را منتشر کرده است. یکی از اصلیترین ویژگیهای این نسخه، معرفی معماری مبتنی بر ترایت است که در آن ساختار ذخیرهسازی جدا از بکاندهای خاص تعیین شده است. این تغییر، امکان یکپارچهسازی و توسعهی آسانتر کتابخانه را فراهم میکند، بهطوری که کاربران و توسعهدهندگان میتوانند در استفاده و سفارشیسازی آن آزادی عمل بیشتری داشته باشند.
در این نسخه، بهبودهای چشمگیر در عملکرد خواندن دادهها با استفاده از Arrow شاهد هستیم که سرعت و کارایی عملیات دادهکاوی را به طور قابل توجهی افزایش میدهد. علاوه بر این، پشتیبانی از DataFusion نیز گسترش یافته است، که این امر امکان انجام تحلیلهای پیچیدهتر و سریعتر بر روی دادهها را فراهم میکند. همچنین، قابلیتهای مربوط به پردازش عددهای اعشاری یا دهدهی، با ارتقاء به دقت ۳۸ رقمی و بهرهگیری از کتابخانهی سریعnum بهبود یافته است، که این امر در کار با دادههای مالی و علمی بسیار موثر است.
در مجموع، این نسخه جدید، نشاندهندهی تعهد توسعهدهندگان به بهبود کارایی، انعطافپذیری و امکانات فنی کتابخانهی آیسبرگ است، که میتواند نقش مهمی در مسیر توسعه سیستمهای پردازش دادههای بزرگ ایفا کند.
#آیسبرگ #پوشهگذاری_داده #کد_باز #پردازش_داده
🟣لینک مقاله:
https://iceberg.apache.org/blog/apache-iceberg-rust-0.9.0-release/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Apache Iceberg Rust 0.9.0 Release (2 minute read)
🟢 خلاصه مقاله:
شرکت اپاچی آیسبرگ بهتازگی نسخه ۰.۹.۰ از کتابخانهی iceberg-rust را منتشر کرده است. یکی از اصلیترین ویژگیهای این نسخه، معرفی معماری مبتنی بر ترایت است که در آن ساختار ذخیرهسازی جدا از بکاندهای خاص تعیین شده است. این تغییر، امکان یکپارچهسازی و توسعهی آسانتر کتابخانه را فراهم میکند، بهطوری که کاربران و توسعهدهندگان میتوانند در استفاده و سفارشیسازی آن آزادی عمل بیشتری داشته باشند.
در این نسخه، بهبودهای چشمگیر در عملکرد خواندن دادهها با استفاده از Arrow شاهد هستیم که سرعت و کارایی عملیات دادهکاوی را به طور قابل توجهی افزایش میدهد. علاوه بر این، پشتیبانی از DataFusion نیز گسترش یافته است، که این امر امکان انجام تحلیلهای پیچیدهتر و سریعتر بر روی دادهها را فراهم میکند. همچنین، قابلیتهای مربوط به پردازش عددهای اعشاری یا دهدهی، با ارتقاء به دقت ۳۸ رقمی و بهرهگیری از کتابخانهی سریعnum بهبود یافته است، که این امر در کار با دادههای مالی و علمی بسیار موثر است.
در مجموع، این نسخه جدید، نشاندهندهی تعهد توسعهدهندگان به بهبود کارایی، انعطافپذیری و امکانات فنی کتابخانهی آیسبرگ است، که میتواند نقش مهمی در مسیر توسعه سیستمهای پردازش دادههای بزرگ ایفا کند.
#آیسبرگ #پوشهگذاری_داده #کد_باز #پردازش_داده
🟣لینک مقاله:
https://iceberg.apache.org/blog/apache-iceberg-rust-0.9.0-release/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
Operating Trino at Scale With Trino Gateway (9 minute read)
🟢 خلاصه مقاله:
در دنیای امروز، مدیریت مجموعهای از خوشههای تخصصی برای اجرای کوئریهای متنوع و پیچیده، به چالشی بزرگ بدل شده است. با افزایش حجم درخواستها و تنوع کارهای محاسباتی، شرکتهای بزرگ مانند Expedia نیاز داشتند راهکاری کارآمد برای سادهسازی فرآیندهای عملیاتی خود بیابند. به همین دلیل، تیم توسعه Expedia تصمیم گرفت تا با توسعه یک دروازهمرزی به نام «Trino Gateway»، مشکل مدیریت چندین خوشه را برطرف کند. این دروازه، به جای اینکه کاربران برای هر نوع کوئری به نقاط مختلف متصل شوند، یک آدرس URL واحد و یکپارچه ارائه میدهد که همچنین به صورت هوشمند کوئریها را به بهترین خوشهبندی بر اساس قواعد تعیینشده هدایت میکند. این روش نه تنها کاربری آسانتر، بلکه بهرهوری و کارایی سیستم را نیز به طور قابل توجهی افزایش میدهد.
در نتیجه، استقرار این سیستم جدید باعث شد تا عملیاتهای مدیریت و دسترسی به منابع دادهها بسیار سادهتر و سریعتر صورت گیرد؛ چرا که کاربران فقط یک نقطه اتصال دارند و سیستم به صورت خودکار بهترین مسیر را برای اجرای کوئریها تعیین میکند. این نوآوری، نمونهای از پیشرفتهترین تکنولوژیهای مدیریت داده و زیرساختهای ابری است که آینده کمپانیها را در حوزه تجزیه و تحلیل داده تغییر داده است.
#مدیریت_داده #فناوری_ابری #Trino #هوشمندسازی
🟣لینک مقاله:
https://medium.com/expedia-group-tech/operating-trino-at-scale-with-trino-gateway-41824af788de?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Operating Trino at Scale With Trino Gateway (9 minute read)
🟢 خلاصه مقاله:
در دنیای امروز، مدیریت مجموعهای از خوشههای تخصصی برای اجرای کوئریهای متنوع و پیچیده، به چالشی بزرگ بدل شده است. با افزایش حجم درخواستها و تنوع کارهای محاسباتی، شرکتهای بزرگ مانند Expedia نیاز داشتند راهکاری کارآمد برای سادهسازی فرآیندهای عملیاتی خود بیابند. به همین دلیل، تیم توسعه Expedia تصمیم گرفت تا با توسعه یک دروازهمرزی به نام «Trino Gateway»، مشکل مدیریت چندین خوشه را برطرف کند. این دروازه، به جای اینکه کاربران برای هر نوع کوئری به نقاط مختلف متصل شوند، یک آدرس URL واحد و یکپارچه ارائه میدهد که همچنین به صورت هوشمند کوئریها را به بهترین خوشهبندی بر اساس قواعد تعیینشده هدایت میکند. این روش نه تنها کاربری آسانتر، بلکه بهرهوری و کارایی سیستم را نیز به طور قابل توجهی افزایش میدهد.
در نتیجه، استقرار این سیستم جدید باعث شد تا عملیاتهای مدیریت و دسترسی به منابع دادهها بسیار سادهتر و سریعتر صورت گیرد؛ چرا که کاربران فقط یک نقطه اتصال دارند و سیستم به صورت خودکار بهترین مسیر را برای اجرای کوئریها تعیین میکند. این نوآوری، نمونهای از پیشرفتهترین تکنولوژیهای مدیریت داده و زیرساختهای ابری است که آینده کمپانیها را در حوزه تجزیه و تحلیل داده تغییر داده است.
#مدیریت_داده #فناوری_ابری #Trino #هوشمندسازی
🟣لینک مقاله:
https://medium.com/expedia-group-tech/operating-trino-at-scale-with-trino-gateway-41824af788de?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Medium
Operating Trino at Scale With Trino Gateway
Workload‑aware routing for Trino
🔵 عنوان مقاله
pgmicro: An In-Process Postgres Reimplementation
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، ابزارها و فناوریهایی که بتوانند فرآیندهای مختلف را سادهتر و کارآمدتر کنند، همیشه مورد توجه قرار گرفتهاند. یکی از آخرین نوآوریها، پروژهای است به نام pgmicro که در حال توسعه و بهبود است. این پروژه به عنوان یک بازنویسی در حال انجام برای سیستم پایگاه داده پستگرس، تلاش میکند تا فرآیندهای مربوط به تحلیل و اجرا را به شکل جدیدی ارائه دهد.
pgmicro به عنوان یک پروژه در حال فرآیند، بهوسیله یکتای برای تبدیل SQL عمل میکند؛ این ابزار با بهرهگیری از کتابخانهی libpg_query، قابلیت تحلیل دستورات SQL را دارد و در مرحله بعد، آن را مستقیماً به قالب بایتکود مخصوص SQLite ترجمه میکند. این ویژگی باعث میشود که عملیات اجرا بسیار سریع و بهینهتر صورت بگیرد، چرا که نیازی به تبدیلهای مکرر و زمانبر نیست و روند اجرای کوئریها به شکل مستقیم و بیوقفه انجام میشود.
این ابزار، به صورت یک بسته نود (npm) و خط فرمان (CLI) در اختیار توسعهدهندگان قرار میگیرد و همچنین امکان استفاده از پروتکل سیم (wire protocol) برای اتصال به سرورها و کلاینتهای موجود را فراهم میکند. این قابلیت به توسعهدهندگان اجازه میدهد تا بدون نیاز به تغییر در ساختارهای قدیمی و موجود، بتوانند از pgmicro بهرهمند شوند و تجربه کاربری مشابه با کار با پایگاه دادههای PostgreSQL را داشته باشند. در واقع، این پروژه هدفش فراهم کردن راهحلی سریع، انعطافپذیر و بیدرجهت برای توسعهدهندگان است تا بتوانند در پروژههای متنوع، عملیات پایگاه داده را به شکل مؤثری بهبود بخشند.
در مجموع، pgmicro با ترکیب قابلیتهای تحلیل SQL، ترجمه به بایتکود، و امکان استفاده آسان، میتواند نقطه عطفی در توسعه سیستمهای پایگاه دادههای سبک و قابلاعتماد باشد، و به توسعهدهندگان این امکان را میدهد تا در محیطهای مختلف، راهحلی کارآمد و سبک برای مدیریت دادههای خود داشته باشند.
#پایگاه_داده #پروژه_پروتکل #برنامه_نویسی #توسعهدهندگان
🟣لینک مقاله:
https://postgresweekly.com/link/183433/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pgmicro: An In-Process Postgres Reimplementation
🟢 خلاصه مقاله:
در دنیای مدیریت پایگاههای داده، ابزارها و فناوریهایی که بتوانند فرآیندهای مختلف را سادهتر و کارآمدتر کنند، همیشه مورد توجه قرار گرفتهاند. یکی از آخرین نوآوریها، پروژهای است به نام pgmicro که در حال توسعه و بهبود است. این پروژه به عنوان یک بازنویسی در حال انجام برای سیستم پایگاه داده پستگرس، تلاش میکند تا فرآیندهای مربوط به تحلیل و اجرا را به شکل جدیدی ارائه دهد.
pgmicro به عنوان یک پروژه در حال فرآیند، بهوسیله یکتای برای تبدیل SQL عمل میکند؛ این ابزار با بهرهگیری از کتابخانهی libpg_query، قابلیت تحلیل دستورات SQL را دارد و در مرحله بعد، آن را مستقیماً به قالب بایتکود مخصوص SQLite ترجمه میکند. این ویژگی باعث میشود که عملیات اجرا بسیار سریع و بهینهتر صورت بگیرد، چرا که نیازی به تبدیلهای مکرر و زمانبر نیست و روند اجرای کوئریها به شکل مستقیم و بیوقفه انجام میشود.
این ابزار، به صورت یک بسته نود (npm) و خط فرمان (CLI) در اختیار توسعهدهندگان قرار میگیرد و همچنین امکان استفاده از پروتکل سیم (wire protocol) برای اتصال به سرورها و کلاینتهای موجود را فراهم میکند. این قابلیت به توسعهدهندگان اجازه میدهد تا بدون نیاز به تغییر در ساختارهای قدیمی و موجود، بتوانند از pgmicro بهرهمند شوند و تجربه کاربری مشابه با کار با پایگاه دادههای PostgreSQL را داشته باشند. در واقع، این پروژه هدفش فراهم کردن راهحلی سریع، انعطافپذیر و بیدرجهت برای توسعهدهندگان است تا بتوانند در پروژههای متنوع، عملیات پایگاه داده را به شکل مؤثری بهبود بخشند.
در مجموع، pgmicro با ترکیب قابلیتهای تحلیل SQL، ترجمه به بایتکود، و امکان استفاده آسان، میتواند نقطه عطفی در توسعه سیستمهای پایگاه دادههای سبک و قابلاعتماد باشد، و به توسعهدهندگان این امکان را میدهد تا در محیطهای مختلف، راهحلی کارآمد و سبک برای مدیریت دادههای خود داشته باشند.
#پایگاه_داده #پروژه_پروتکل #برنامه_نویسی #توسعهدهندگان
🟣لینک مقاله:
https://postgresweekly.com/link/183433/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - glommer/pgmicro: An in-process reimplementation of PostgreSQL, backed by a SQLite-compatible storage engine
An in-process reimplementation of PostgreSQL, backed by a SQLite-compatible storage engine - glommer/pgmicro
🔵 عنوان مقاله
AWS's recent ending of support for Postgres 13 on RDS
🟢 خلاصه مقاله:
اخیراً، آمازون وب سرویسز (AWS) اعلام کرده است که پشتیبانی از نسخه ۱۳ بانکاطلاعات PostgreSQL را در سرویس RDS خود پایان میدهد. این تغییر ممکن است بر برنامهها و سیستمهایی که هنوز از این نسخه قدیمی استفاده میکنند، تأثیرگذار باشد و نیازمند بروزرسانی و تغییرات در زیرساختهای آنها است. بنابراین، مدیران و توسعهدهندگان باید با دقت برنامهریزی کنند تا فرآیند ارتقاء به نسخههای جدیدتر را به شیوهای امن و موفق انجام دهند، چرا که هرگونه اشتباه ممکن است باعث بروز مشکلات پیچیدهای شود.
در کنار این، لازم است توجه داشت که در صورت انجام نادرست ارتقاء، ممکن است سرویسهایی مانند AWS Glue دچار خطا شوند یا پشتیبانی آنها مختل گردد. AWS Glue یکی از سرویسهای حیاتی برای اتصال و پردازش دادهها در ابر است و هر گونه تغییر در نسخههای پایگاهداده ممکن است بر کارایی آن تأثیر بگذارد. بنابراین، پیش از هرگونه اقدام، لازم است اقدامات آزمایشی و بررسیهای دقیق برای جلوگیری از بروز مشکل صورت گیرد و مراقبتهای لازم رعایت شود.
در کل، این خبر هشداردهندهای برای کاربران است که باید مراقب بروزرسانیها و تطابق نسخههای مورد استفاده خود باشند تا از بروز اختلال در سرویسهای حیاتی جلوگیری کنند. انجام این فرایند با دقت و آگاهی، میتواند اطمینان حاصل کند که سیستمهای شما به صورت پایدار و بدون اختلال به کار خود ادامه میدهند.
#AWS #PostgreSQL #ارتقاء_سیستم #امنیت_دادهها
🟣لینک مقاله:
https://postgresweekly.com/link/182719/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
AWS's recent ending of support for Postgres 13 on RDS
🟢 خلاصه مقاله:
اخیراً، آمازون وب سرویسز (AWS) اعلام کرده است که پشتیبانی از نسخه ۱۳ بانکاطلاعات PostgreSQL را در سرویس RDS خود پایان میدهد. این تغییر ممکن است بر برنامهها و سیستمهایی که هنوز از این نسخه قدیمی استفاده میکنند، تأثیرگذار باشد و نیازمند بروزرسانی و تغییرات در زیرساختهای آنها است. بنابراین، مدیران و توسعهدهندگان باید با دقت برنامهریزی کنند تا فرآیند ارتقاء به نسخههای جدیدتر را به شیوهای امن و موفق انجام دهند، چرا که هرگونه اشتباه ممکن است باعث بروز مشکلات پیچیدهای شود.
در کنار این، لازم است توجه داشت که در صورت انجام نادرست ارتقاء، ممکن است سرویسهایی مانند AWS Glue دچار خطا شوند یا پشتیبانی آنها مختل گردد. AWS Glue یکی از سرویسهای حیاتی برای اتصال و پردازش دادهها در ابر است و هر گونه تغییر در نسخههای پایگاهداده ممکن است بر کارایی آن تأثیر بگذارد. بنابراین، پیش از هرگونه اقدام، لازم است اقدامات آزمایشی و بررسیهای دقیق برای جلوگیری از بروز مشکل صورت گیرد و مراقبتهای لازم رعایت شود.
در کل، این خبر هشداردهندهای برای کاربران است که باید مراقب بروزرسانیها و تطابق نسخههای مورد استفاده خود باشند تا از بروز اختلال در سرویسهای حیاتی جلوگیری کنند. انجام این فرایند با دقت و آگاهی، میتواند اطمینان حاصل کند که سیستمهای شما به صورت پایدار و بدون اختلال به کار خود ادامه میدهند.
#AWS #PostgreSQL #ارتقاء_سیستم #امنیت_دادهها
🟣لینک مقاله:
https://postgresweekly.com/link/182719/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
The Register
AWS giveth with its right hand and breaketh with its left
: Never attribute to malice what can be adequately explained by one very large org chart
🔵 عنوان مقاله
pg_regresql: Truly Portable Postgres Statistics
🟢 خلاصه مقاله:
در جهان پایگاههای داده، اهمیت داشتن آماری دقیق و قابل اعتماد برای بهینهسازی کوئریها غیرقابل انکار است. برای این منظور، استانداردهای موجود در PostgreSQL به گونهای طراحی شدهاند که به مدیران و توسعهدهندگان امکان میدهد اطلاعات آماری مربوط به جداول و شاخصها را جمعآوری و بهروزرسانی کنند. اما در مواردی، مشکل اصلی فعالیتهای توسعه و آزمایش است؛ به طوری که نمونههای کوچک و محلی برای توسعه باید از دادههای واقعی و تولید بهرهمند شوند، در حالی که نیاز است این آماری که بانکهای توسعه و آزمایش را نگهداری میکنند، در طول زمان به طور مستقل و بدون وابستگی به تغییرات دادههای تولید، باقی بماند.
در چنین مواردی، افزونهای به نام pg_regresql معرفی شده است که عملیات جمعآوری و استفاده از آمار را متفاوت میکند. این افزونه با تکیه بر اطلاعات موجود در جدول pg_class به جای خواندن اندازه فایلهای واقعی، سیستم آماری پایگاهداده را مجاب میکند که از این آمارهای مجازی بهرهبرداری کند. به این صورت، آماری که در محیطهای توسعه و آزمایش به کار میرود، ثابت باقی میماند و در عین حال، کارایی و قابلیت پیشبینی کوئریها حفظ میشود. این رویکرد به توسعهدهندگان اجازه میدهد تا در محیطهای کوچکتر، بازخوردهای موثری درباره بهینهسازی کوئریها دریافت کرده و فرآیندهای توسعه را با اطمینان ادامه دهند، بدون آنکه نگران ناپایداری یا وابستگی به دادههای تولید باشند.
در نتیجه، افزونه pg_regresql ارزش زیادی در راستای بهبود توسعه و آزمایش در اکوسیستم PostgreSQL دارد. این ابزار نوآورانه، کمک میکند تا تیمهای فنی بتوانند محیطهای توسعهای پایدارتر و قابل اعتمادتری ایجاد کنند که در آن آماری مستقل و همیشه در دسترس نگهداری میشود و در عین حال، روند بهینهسازی عملکرد بانکهای اطلاعاتی همچنان به خوبی حفظ میشود.
#پستگرس #آمارداده #توسعه_پایدار #پایگاهداده
🟣لینک مقاله:
https://postgresweekly.com/link/183126/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_regresql: Truly Portable Postgres Statistics
🟢 خلاصه مقاله:
در جهان پایگاههای داده، اهمیت داشتن آماری دقیق و قابل اعتماد برای بهینهسازی کوئریها غیرقابل انکار است. برای این منظور، استانداردهای موجود در PostgreSQL به گونهای طراحی شدهاند که به مدیران و توسعهدهندگان امکان میدهد اطلاعات آماری مربوط به جداول و شاخصها را جمعآوری و بهروزرسانی کنند. اما در مواردی، مشکل اصلی فعالیتهای توسعه و آزمایش است؛ به طوری که نمونههای کوچک و محلی برای توسعه باید از دادههای واقعی و تولید بهرهمند شوند، در حالی که نیاز است این آماری که بانکهای توسعه و آزمایش را نگهداری میکنند، در طول زمان به طور مستقل و بدون وابستگی به تغییرات دادههای تولید، باقی بماند.
در چنین مواردی، افزونهای به نام pg_regresql معرفی شده است که عملیات جمعآوری و استفاده از آمار را متفاوت میکند. این افزونه با تکیه بر اطلاعات موجود در جدول pg_class به جای خواندن اندازه فایلهای واقعی، سیستم آماری پایگاهداده را مجاب میکند که از این آمارهای مجازی بهرهبرداری کند. به این صورت، آماری که در محیطهای توسعه و آزمایش به کار میرود، ثابت باقی میماند و در عین حال، کارایی و قابلیت پیشبینی کوئریها حفظ میشود. این رویکرد به توسعهدهندگان اجازه میدهد تا در محیطهای کوچکتر، بازخوردهای موثری درباره بهینهسازی کوئریها دریافت کرده و فرآیندهای توسعه را با اطمینان ادامه دهند، بدون آنکه نگران ناپایداری یا وابستگی به دادههای تولید باشند.
در نتیجه، افزونه pg_regresql ارزش زیادی در راستای بهبود توسعه و آزمایش در اکوسیستم PostgreSQL دارد. این ابزار نوآورانه، کمک میکند تا تیمهای فنی بتوانند محیطهای توسعهای پایدارتر و قابل اعتمادتری ایجاد کنند که در آن آماری مستقل و همیشه در دسترس نگهداری میشود و در عین حال، روند بهینهسازی عملکرد بانکهای اطلاعاتی همچنان به خوبی حفظ میشود.
#پستگرس #آمارداده #توسعه_پایدار #پایگاهداده
🟣لینک مقاله:
https://postgresweekly.com/link/183126/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
boringSQL | Supercharge your SQL & PostgreSQL powers
pg_regresql: truly portable PostgreSQL statistics
pg_regresql hooks into the PostgreSQL planner to trust injected catalog statistics instead of reading physical file sizes. Get accurate production-scale query plans in CI and test databases without the data.
🔵 عنوان مقاله
Architectural Governance at AI Speed (12 minute read)
🟢 خلاصه مقاله:
در عصر سرعت هوش مصنوعی، حکمرانی معماری با سرعت جن-ای آی اهمیت بیشتری پیدا میکند. در گذشته، هزینه کد نویسی کاهش یافته بود، اما همراستا نگهداشتن معماری سیستمها اکنون یکی از بزرگترین چالشها است. روالهای سنتی مدیریت و نظارت بر معماری دیگر نمیتوانند به سرعت و به اندازه کافی در مقیاسهای بزرگ عمل کنند، چرا که نیازمند فرآیندهای دستی و زمانبر هستند که در دنیای پرشتاب امروز کارآمد نیستند.
راهحل این مشکل، رویکرد معماری اعلامی یا اعلامیسازی تصمیمات است. در این رویکرد، تصمیمهای معماری به صورت تعاریف قابل خواندن توسط ماشین، محدودیتها و قوانین اجرایی د ر ابزارهای توسعه برنامهنویسی کدگذاری میشوند و در اختیار عوامل (agents) قرار میگیرند. نمونهای از این ابزارها میتواند همان «Architecture.md» باشد که تصمیمهای معماری را به صورت مستندات و قاعدههای enforceable در شیوههای توسعه کد قرار میدهد. این فرآیند، حکمرانی بر معماری را از حالت بررسیهای انسانی خارج و به صورت خودکار و بیوقفه در میآورد، در نتیجه تیمها و عوامل مستقل میتوانند به صورت خودمختار عمل کنند و همزمان، از انحراف در مسیر معماری جلوگیری شود.
این شیوه، مسیر درست را به عنوان حالت پیشفرض برقرار میکند و با استفاده از محدودیتهای قابل ترکیب و بخشهای محدود، اطمینان حاصل میکند که توسعهدهندگان همیشه در قالب اهداف و سیاستهای تعیینشده حرکت میکنند. این فرآیند به تیمها امکان میدهد تا در مواجهه با تغییرات سریع و نیازهای جدید، راهحلهای سازگارتری و مطمئنتری ارائه دهند و در عین حال، استقلال و خودکفایی آنان حفظ شود.
در نتیجه، تحول در نحوه حکمرانی معماری، امکان حرکت به سمت تیمهایی خودمختار و هماهنگ در فضای هوشمندانه و پرشتاب را فراهم میکند، که در آن کنترلهای خودکار و قوانین هوشمند، تمرکز تیمها را بر نوآوری و توسعه میگذارند، بدون اینکه از اصول و چارچوبهای معماری خود منحرف شوند.
#معماری_هوشمند #حکمرانی_الگوریتمیک #توسعه_مستقل #هوش_مصنوعی
🟣لینک مقاله:
https://www.infoq.com/articles/architectural-governance-ai-speed/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Architectural Governance at AI Speed (12 minute read)
🟢 خلاصه مقاله:
در عصر سرعت هوش مصنوعی، حکمرانی معماری با سرعت جن-ای آی اهمیت بیشتری پیدا میکند. در گذشته، هزینه کد نویسی کاهش یافته بود، اما همراستا نگهداشتن معماری سیستمها اکنون یکی از بزرگترین چالشها است. روالهای سنتی مدیریت و نظارت بر معماری دیگر نمیتوانند به سرعت و به اندازه کافی در مقیاسهای بزرگ عمل کنند، چرا که نیازمند فرآیندهای دستی و زمانبر هستند که در دنیای پرشتاب امروز کارآمد نیستند.
راهحل این مشکل، رویکرد معماری اعلامی یا اعلامیسازی تصمیمات است. در این رویکرد، تصمیمهای معماری به صورت تعاریف قابل خواندن توسط ماشین، محدودیتها و قوانین اجرایی د ر ابزارهای توسعه برنامهنویسی کدگذاری میشوند و در اختیار عوامل (agents) قرار میگیرند. نمونهای از این ابزارها میتواند همان «Architecture.md» باشد که تصمیمهای معماری را به صورت مستندات و قاعدههای enforceable در شیوههای توسعه کد قرار میدهد. این فرآیند، حکمرانی بر معماری را از حالت بررسیهای انسانی خارج و به صورت خودکار و بیوقفه در میآورد، در نتیجه تیمها و عوامل مستقل میتوانند به صورت خودمختار عمل کنند و همزمان، از انحراف در مسیر معماری جلوگیری شود.
این شیوه، مسیر درست را به عنوان حالت پیشفرض برقرار میکند و با استفاده از محدودیتهای قابل ترکیب و بخشهای محدود، اطمینان حاصل میکند که توسعهدهندگان همیشه در قالب اهداف و سیاستهای تعیینشده حرکت میکنند. این فرآیند به تیمها امکان میدهد تا در مواجهه با تغییرات سریع و نیازهای جدید، راهحلهای سازگارتری و مطمئنتری ارائه دهند و در عین حال، استقلال و خودکفایی آنان حفظ شود.
در نتیجه، تحول در نحوه حکمرانی معماری، امکان حرکت به سمت تیمهایی خودمختار و هماهنگ در فضای هوشمندانه و پرشتاب را فراهم میکند، که در آن کنترلهای خودکار و قوانین هوشمند، تمرکز تیمها را بر نوآوری و توسعه میگذارند، بدون اینکه از اصول و چارچوبهای معماری خود منحرف شوند.
#معماری_هوشمند #حکمرانی_الگوریتمیک #توسعه_مستقل #هوش_مصنوعی
🟣لینک مقاله:
https://www.infoq.com/articles/architectural-governance-ai-speed/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
InfoQ
Architectural Governance at AI Speed
In the GenAI era, code is a commodity, but alignment is not. Traditional review boards can't scale with AI-generated output. This article explores "Declarative Architecture" - transforming ADRs and Event Models into automated guardrails. Move beyond "dumping…
❤2
Keeping a Postgres queue healthy
https://planetscale.com/blog/keeping-a-postgres-queue-healthy
https://planetscale.com/blog/keeping-a-postgres-queue-healthy
Planetscale
Keeping a Postgres queue healthy — PlanetScale
Dead tuples from high-churn job queues can silently degrade your Postgres database when vacuum falls behind—especially alongside competing workloads. Traffic Control keeps cleanup on track.
❤1🕊1
🔵 عنوان مقاله
pg_clickhouse v0.1.10
🟢 خلاصه مقاله:
در نسخه جدید ابزار pg_clickhouse، امکان اجرای کوئریهای بانک اطلاعاتی ClickHouse مستقیماً از پایگاه داده پستگرس فراهم شده است. این نسخه با بهبودهای قابل توجه در سازگاری، امکانات جدیدی را در اختیار کاربران قرار میدهد که شامل پشتیبانی بهتر برای عملیاتهایی مانند کار با فرمتهای JSON، JSONB و TEXT است. علاوه بر این، تعداد زیادی از توابع پنجرهای، از جمله RANK، PERCENT_RANK و ROW_NUMBER، به مجموعه امکانات افزوده شدهاند تا تحلیل دادهها و مدیریت نتایج را سادهتر و کارآمدتر کنند. این بروزرسانی، تجربه کار با این ابزار را به طور قابل توجهی بهبود میبخشد و امکان بهرهگیری مؤثرتر از امکانات هر دو سیستم را فراهم میکند.
نسخه جدید pg_clickhouse، ارتباط موثر و بینقصی بین پایگاههای داده پستگرس و کلیکاهاوس برقرار میکند، که برای توسعهدهندگان و تحلیلگران دادهای بسیار ارزشمند است. حالا میتوانند با اطمینان بیشتری و با امکانات پیشرفتهتر، دادههای خود را مدیریت و آنالیز کنند، و فرآیندهای پیچیدهتر را به سادگی انجام دهند.
#پایگاه_داده #تحلیل_دیتا #نرم_افزار #توسعه
🟣لینک مقاله:
https://postgresweekly.com/link/183436/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_clickhouse v0.1.10
🟢 خلاصه مقاله:
در نسخه جدید ابزار pg_clickhouse، امکان اجرای کوئریهای بانک اطلاعاتی ClickHouse مستقیماً از پایگاه داده پستگرس فراهم شده است. این نسخه با بهبودهای قابل توجه در سازگاری، امکانات جدیدی را در اختیار کاربران قرار میدهد که شامل پشتیبانی بهتر برای عملیاتهایی مانند کار با فرمتهای JSON، JSONB و TEXT است. علاوه بر این، تعداد زیادی از توابع پنجرهای، از جمله RANK، PERCENT_RANK و ROW_NUMBER، به مجموعه امکانات افزوده شدهاند تا تحلیل دادهها و مدیریت نتایج را سادهتر و کارآمدتر کنند. این بروزرسانی، تجربه کار با این ابزار را به طور قابل توجهی بهبود میبخشد و امکان بهرهگیری مؤثرتر از امکانات هر دو سیستم را فراهم میکند.
نسخه جدید pg_clickhouse، ارتباط موثر و بینقصی بین پایگاههای داده پستگرس و کلیکاهاوس برقرار میکند، که برای توسعهدهندگان و تحلیلگران دادهای بسیار ارزشمند است. حالا میتوانند با اطمینان بیشتری و با امکانات پیشرفتهتر، دادههای خود را مدیریت و آنالیز کنند، و فرآیندهای پیچیدهتر را به سادگی انجام دهند.
#پایگاه_داده #تحلیل_دیتا #نرم_افزار #توسعه
🟣لینک مقاله:
https://postgresweekly.com/link/183436/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
❖ Just a Theory
pg_clickhouse 0.1.10
Hi, it’s me with another update to pg_clickhouse.
❤1
🔵 عنوان مقاله
How to Become a Data AND AI Engineer (5 minute read)
🟢 خلاصه مقاله:
برای تبدیل شدن به یک مهندس داده و هوش مصنوعی، نخست باید توجه داشت که این دو حوزه به شدت به هم پیوستهاند، هرچند هرکدام نیازمند مهارتها و دانش خاص خود هستند. هوش مصنوعی در حال حاضر به طور فزایندهای در فرآیندهای مهندسی داده جای میگیرد، اما همچنان بنیانهای قوی مهندسی داده نقش کلیدی دارند. بخش عمدهای از تأثیرگذاری AI به مدلسازی دادهها مربوط میشود که تقریباً ۸۰٪ از موفقیتهای آن را تشکیل میدهد. بنابراین، درک و پیروی از اصول مدلسازی، نحوه توصیف شفاف دادهها در ابزارهایی مانند dbt، ایجاد قراردادهای داده، خط سیر دادهها و طراحی سیستمهای اورکستراسیون، تمامی این موارد در واقع نقش «مهندسی زمینه» را برای هوش مصنوعی ایفا میکنند.
علاوه بر این، مهندسان باید خروجیهای هوش مصنوعی را با دیدی انتقادی بررسی کنند، چرا که AI میتواند پاسخهایی ارائه دهد که نیاز است با دقت به آنها نگاه کنیم. هوش مصنوعی فاقد احساس و درک انسانی است و ممکن است پاسخهایی بدهد که در شرایط خاص مناسب نیستند یا نیازمند مداخله انسانی باشند. بنابراین، یک مهندس داده و AI نه تنها باید تسلط بر ساختار و طراحی دادهها داشته باشد، بلکه باید توانایی ارزیابی و نقد نتایج AI را هم در خود تقویت کند.
در نهایت، مسیر تبدیل شدن به یک مهندس داده-هوش مصنوعی نیازمند یادگیری مداوم، تمرین و آشنایی با ابزارها و مفاهیم جدید است که به بهینهسازی فرآیندهای داده و افزایش کارایی سیستمهای هوشمند کمک میکند. این تخصص، پلی است برای آن دسته از افرادی که به دنبال آیندهای در حوزه فناوری و دادهها هستند؛ آیندهای پر فرصت و پر چالش.
#مهندسی_داده #هوش_مصنوعی #مدلسازی_داده #نوآوری
🟣لینک مقاله:
https://pipeline2insights.substack.com/p/how-to-become-a-data-and-ai-engineer?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
How to Become a Data AND AI Engineer (5 minute read)
🟢 خلاصه مقاله:
برای تبدیل شدن به یک مهندس داده و هوش مصنوعی، نخست باید توجه داشت که این دو حوزه به شدت به هم پیوستهاند، هرچند هرکدام نیازمند مهارتها و دانش خاص خود هستند. هوش مصنوعی در حال حاضر به طور فزایندهای در فرآیندهای مهندسی داده جای میگیرد، اما همچنان بنیانهای قوی مهندسی داده نقش کلیدی دارند. بخش عمدهای از تأثیرگذاری AI به مدلسازی دادهها مربوط میشود که تقریباً ۸۰٪ از موفقیتهای آن را تشکیل میدهد. بنابراین، درک و پیروی از اصول مدلسازی، نحوه توصیف شفاف دادهها در ابزارهایی مانند dbt، ایجاد قراردادهای داده، خط سیر دادهها و طراحی سیستمهای اورکستراسیون، تمامی این موارد در واقع نقش «مهندسی زمینه» را برای هوش مصنوعی ایفا میکنند.
علاوه بر این، مهندسان باید خروجیهای هوش مصنوعی را با دیدی انتقادی بررسی کنند، چرا که AI میتواند پاسخهایی ارائه دهد که نیاز است با دقت به آنها نگاه کنیم. هوش مصنوعی فاقد احساس و درک انسانی است و ممکن است پاسخهایی بدهد که در شرایط خاص مناسب نیستند یا نیازمند مداخله انسانی باشند. بنابراین، یک مهندس داده و AI نه تنها باید تسلط بر ساختار و طراحی دادهها داشته باشد، بلکه باید توانایی ارزیابی و نقد نتایج AI را هم در خود تقویت کند.
در نهایت، مسیر تبدیل شدن به یک مهندس داده-هوش مصنوعی نیازمند یادگیری مداوم، تمرین و آشنایی با ابزارها و مفاهیم جدید است که به بهینهسازی فرآیندهای داده و افزایش کارایی سیستمهای هوشمند کمک میکند. این تخصص، پلی است برای آن دسته از افرادی که به دنبال آیندهای در حوزه فناوری و دادهها هستند؛ آیندهای پر فرصت و پر چالش.
#مهندسی_داده #هوش_مصنوعی #مدلسازی_داده #نوآوری
🟣لینک مقاله:
https://pipeline2insights.substack.com/p/how-to-become-a-data-and-ai-engineer?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Substack
How to Become a Data AND AI Engineer
A conversation with Alejandro, senior data and AI engineer, on how the two disciplines are merging, and what to do about it.
🔵 عنوان مقاله
Your pipeline works great for 3 data sources. Will it work with 30? (Sponsor)
🟢 خلاصه مقاله:
بسیاری از شرکتها و تیمهای تحلیل داده به دنبال راهکاری هستند که بتوانند به راحتی و بدون هزینههای زیاد، حجم بالای دادههای خود را مدیریت و تحلیل کنند. در این زمینه، ابزار فایوترن با قابلیتهای منحصربهفرد خود، امکان مدیریت بیش از ۷۰۰ منبع دادهای مختلف را فراهم میکند، بدون نیاز به بازسازی مجموعههای داده یا ساخت مجدد پایپلاینها. این سرویس سریع، قابل اعتماد و بسیار کاربرپسند است و دادههای تحلیلی را در عرض چند ساعت در اختیار کاربران قرار میدهد، به طوری که میتواند تغییرات در ساختار دادهها، بهروزرسانیهای API و تلاشهای مربوط به استراتژیهای مختلف را به راحتی مدیریت کند.
در عین حال، کاربران فایوترن میتوانند تمرکز خود را بر روی استراتژیهای هوشمند، توسعه هوش مصنوعی، و بهروزرسانی زیرساختهای فناوریهای خود معطوف کنند، در حالی که این ابزار وظیفه مدیریت فنی و مداوم دادهها را بر عهده دارد. با سیاستهای قیمتگذاری انعطافپذیر و دوره آزمایشی رایگان ۱۴ روزه، این سرویس گزینهای عالی برای کسبوکارها و تیمهای نوآور است که قصد دارند حجم عظیمی از دادهها را بهصورت کارا و بدون دردسر مدیریت کنند.
همین امروز فایوترن را به صورت رایگان امتحان کنید و از امکانات بینظیر آن بهرهمند شوید، بدون نیاز به سرمایهگذاری اولیه و یا نگرانی درباره مقیاسپذیری دیتاهای خود.
#مدیریت_داده #تحلیل_داده #فناوری #هوشمندسازی
🟣لینک مقاله:
https://go.fivetran.com/signups/smb?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Your pipeline works great for 3 data sources. Will it work with 30? (Sponsor)
🟢 خلاصه مقاله:
بسیاری از شرکتها و تیمهای تحلیل داده به دنبال راهکاری هستند که بتوانند به راحتی و بدون هزینههای زیاد، حجم بالای دادههای خود را مدیریت و تحلیل کنند. در این زمینه، ابزار فایوترن با قابلیتهای منحصربهفرد خود، امکان مدیریت بیش از ۷۰۰ منبع دادهای مختلف را فراهم میکند، بدون نیاز به بازسازی مجموعههای داده یا ساخت مجدد پایپلاینها. این سرویس سریع، قابل اعتماد و بسیار کاربرپسند است و دادههای تحلیلی را در عرض چند ساعت در اختیار کاربران قرار میدهد، به طوری که میتواند تغییرات در ساختار دادهها، بهروزرسانیهای API و تلاشهای مربوط به استراتژیهای مختلف را به راحتی مدیریت کند.
در عین حال، کاربران فایوترن میتوانند تمرکز خود را بر روی استراتژیهای هوشمند، توسعه هوش مصنوعی، و بهروزرسانی زیرساختهای فناوریهای خود معطوف کنند، در حالی که این ابزار وظیفه مدیریت فنی و مداوم دادهها را بر عهده دارد. با سیاستهای قیمتگذاری انعطافپذیر و دوره آزمایشی رایگان ۱۴ روزه، این سرویس گزینهای عالی برای کسبوکارها و تیمهای نوآور است که قصد دارند حجم عظیمی از دادهها را بهصورت کارا و بدون دردسر مدیریت کنند.
همین امروز فایوترن را به صورت رایگان امتحان کنید و از امکانات بینظیر آن بهرهمند شوید، بدون نیاز به سرمایهگذاری اولیه و یا نگرانی درباره مقیاسپذیری دیتاهای خود.
#مدیریت_داده #تحلیل_داده #فناوری #هوشمندسازی
🟣لینک مقاله:
https://go.fivetran.com/signups/smb?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Forwarded from Persian Post
🚀 کد منبع آپولو ۱۱ اوپنسورس شد! همونی که آرمسترانگ و رفیقاش رو روی ماه نشوند 🌕👨🚀
کد اصلی کامپیوتر هدایت مأموریت آپولو ۱۱ (AGC) شامل:
🧑🚀 ماژول فرمان (Comanche055)
🌕 ماژول ماهنشین (Luminary099)
کل کدش رو انگار فضاییها نوشتن، صد درصد با اسمبلی نوشته شده! 🤖✨
توسط تیم Virtual AGC و موزه MIT دیجیتالی شده و حالا بهصورت متنباز در دسترس عموم قرار گرفته 👨💻📜
هدف این پروژه، نگهداری نسخهای دقیق از کدهای اصلی آپولو ۱۱ هست و اگر اختلافی بین نسخه تایپشده و اسکنهای اصلی پیدا بشه، مشارکت (PR) کاملاً پذیرفته میشه 🙌🔧
📥 دانلود از اینترنت ملی:
http://cdn.codehalic.ir/Apollo-11.zip
💻 ریپازیتوری گیتهاب:
https://github.com/chrislgarry/Apollo-11
🔥 یه فرصت خفن برای دیدن کدی که انسان رو به ماه رسوند! 🚀🌌
👇 join 👇
https://xn--r1a.website/+Bp8JeTpQoiUwMjVk
کد اصلی کامپیوتر هدایت مأموریت آپولو ۱۱ (AGC) شامل:
🧑🚀 ماژول فرمان (Comanche055)
🌕 ماژول ماهنشین (Luminary099)
کل کدش رو انگار فضاییها نوشتن، صد درصد با اسمبلی نوشته شده! 🤖✨
توسط تیم Virtual AGC و موزه MIT دیجیتالی شده و حالا بهصورت متنباز در دسترس عموم قرار گرفته 👨💻📜
هدف این پروژه، نگهداری نسخهای دقیق از کدهای اصلی آپولو ۱۱ هست و اگر اختلافی بین نسخه تایپشده و اسکنهای اصلی پیدا بشه، مشارکت (PR) کاملاً پذیرفته میشه 🙌🔧
📥 دانلود از اینترنت ملی:
http://cdn.codehalic.ir/Apollo-11.zip
💻 ریپازیتوری گیتهاب:
https://github.com/chrislgarry/Apollo-11
🔥 یه فرصت خفن برای دیدن کدی که انسان رو به ماه رسوند! 🚀🌌
👇 join 👇
https://xn--r1a.website/+Bp8JeTpQoiUwMjVk
GitHub
GitHub - chrislgarry/Apollo-11: Original Apollo 11 Guidance Computer (AGC) source code for the command and lunar modules.
Original Apollo 11 Guidance Computer (AGC) source code for the command and lunar modules. - chrislgarry/Apollo-11
🔵 عنوان مقاله
Engineering the Memory Layer For An AI Agent To Navigate Large-scale Event Data (12 minute read)
🟢 خلاصه مقاله:
در دنیای فناوری و هوش مصنوعی، یکی از چالشهای بزرگ مربوط به توانایی هوش مصنوعی در مدیریت و تعبیر حجم عظیم دادههای رویدادهای بزرگ است. برای غلبه بر این مشکل، تیم جامعه MLOps اقدام به طراحی و پیادهسازی لایه حافظهای پیشرفته برای عاملهای هوشمند کرد. این لایه حافظه با بهرهگیری از پایگاه داده ApertureDB، که یک بانک اطلاعاتی چندرسانهای و چندمدلی مبتنی بر گراف و وکتورها است، توانست قابلیتهای بینظیری را فراهم کند. ساختار منسجم و واضح این گراف، همراه با برشهای جداگانه در متنهای گفتگو و استفاده از نگاشتهای Gemma بر روی این بخشهای تفکیکشده، به هوش مصنوعی امکان میدهد تا درک عمیقتر و دقیقتری از اطلاعات داشته باشد. عناصری مانند جستجوی معنایی محدود شده و تراکنشهای ACID بهگونهای طراحی شدهاند که خطای در تفسیر و "توهمات" مرتبط با پردازش زبان طبیعی کاهش یابد، و در نتیجه، پاسخهای ارائه شده توسط هوش مصنوعی با دقت بالا و اطمینان بیشتری همراه باشد.
این توسعه، نقش مهمی در ارتقاء توانمندیهای عاملهای هوشمند در تحلیل و پاسخگویی به سوالات پیچیده طبیعی زبان ایفا میکند و نشان میدهد که چگونه فناوریهای نوین میتوانند راهحلهای عملی و مؤثری در مواجهه با چالشهای دادههای بزرگ ارائه دهند. در نتیجه، این پیشرفتها میتواند کاربردهای فراگیرتری در حوزههای مختلف از جمله تحلیل رویدادهای بزرگ، مدیریت اطلاعات و سیستمهای هوشمند داشته باشد.
#هوش_مصنوعی #مدیریت_داده #یادگیری_ماشین #تکنولوژی
🟣لینک مقاله:
https://mlops.community/engineering-the-memory-layer-for-an-ai-agent-to-navigate-large-scale-event-data/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Engineering the Memory Layer For An AI Agent To Navigate Large-scale Event Data (12 minute read)
🟢 خلاصه مقاله:
در دنیای فناوری و هوش مصنوعی، یکی از چالشهای بزرگ مربوط به توانایی هوش مصنوعی در مدیریت و تعبیر حجم عظیم دادههای رویدادهای بزرگ است. برای غلبه بر این مشکل، تیم جامعه MLOps اقدام به طراحی و پیادهسازی لایه حافظهای پیشرفته برای عاملهای هوشمند کرد. این لایه حافظه با بهرهگیری از پایگاه داده ApertureDB، که یک بانک اطلاعاتی چندرسانهای و چندمدلی مبتنی بر گراف و وکتورها است، توانست قابلیتهای بینظیری را فراهم کند. ساختار منسجم و واضح این گراف، همراه با برشهای جداگانه در متنهای گفتگو و استفاده از نگاشتهای Gemma بر روی این بخشهای تفکیکشده، به هوش مصنوعی امکان میدهد تا درک عمیقتر و دقیقتری از اطلاعات داشته باشد. عناصری مانند جستجوی معنایی محدود شده و تراکنشهای ACID بهگونهای طراحی شدهاند که خطای در تفسیر و "توهمات" مرتبط با پردازش زبان طبیعی کاهش یابد، و در نتیجه، پاسخهای ارائه شده توسط هوش مصنوعی با دقت بالا و اطمینان بیشتری همراه باشد.
این توسعه، نقش مهمی در ارتقاء توانمندیهای عاملهای هوشمند در تحلیل و پاسخگویی به سوالات پیچیده طبیعی زبان ایفا میکند و نشان میدهد که چگونه فناوریهای نوین میتوانند راهحلهای عملی و مؤثری در مواجهه با چالشهای دادههای بزرگ ارائه دهند. در نتیجه، این پیشرفتها میتواند کاربردهای فراگیرتری در حوزههای مختلف از جمله تحلیل رویدادهای بزرگ، مدیریت اطلاعات و سیستمهای هوشمند داشته باشد.
#هوش_مصنوعی #مدیریت_داده #یادگیری_ماشین #تکنولوژی
🟣لینک مقاله:
https://mlops.community/engineering-the-memory-layer-for-an-ai-agent-to-navigate-large-scale-event-data/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
mlops.community
Engineering the Memory Layer For An AI Agent To Navigate Large-scale Event Data
Part 1 – Data Schema, Embeddings, And Graph Design For An Agentic Query Engine On ApertureDB
Forwarded from Job
در این شرایط سخت و جنگی، اگر به کمکی نیاز دارید، به من اطلاع دهید.
🟢 اگر کارفرما هستید و به دنبال برنامهنویس میگردید، آگهی شغلی خود را برای ما ارسال کنید 📩
🟢 اگر کارجو هستید، رزومه خود را بفرستید تا در فرصتهای شغلی مرتبط معرفی شوید 🚀
ادمین:
@mrbardia72
.......
https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
🟢 اگر کارفرما هستید و به دنبال برنامهنویس میگردید، آگهی شغلی خود را برای ما ارسال کنید 📩
🟢 اگر کارجو هستید، رزومه خود را بفرستید تا در فرصتهای شغلی مرتبط معرفی شوید 🚀
ادمین:
@mrbardia72
.......
https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
🔵 عنوان مقاله
What is inference engineering? Deepdive (28 minute read)
🟢 خلاصه مقاله:
در حال حاضر، استنتاج مدلهای زبانی بزرگ (LLM) تبدیل به یکی از نگرانیهای اصلی در حوزه تولید شده است و این موضوع بهویژه با بلوغ مدلهای متنباز اهمیت بیشتری یافته است. در واقع، مهندسی استنتاج فراتر از آزمایشگاههای پیشرو رفته و در پروژههای عملی و در مقیاسهای بزرگ نیز کاربرد پیدا کرده است. لایهبندی این فرآیند شامل اجزای مختلفی است، از زمان اجرا و زیرساختهای فنی گرفته تا ابزارهای توسعه، که هر کدام نقش مهمی در بهینهسازی عملکرد نهایی دارند. رایجترین تکنیکهای مورد استفاده در این حوزه شامل دستهبندی، کشینگ، کمنظیرسازی، کدگذاری تئوریک، توازی پارامترها، و تفکیک فرآیند پیشپرداخت و دیکود است.
وقتی این تکنیکها در مقیاس بزرگ اجرا میشوند، میتوانند به طور قابل توجهی زمان پاسخگویی سیستم را کاهش دهند، بهرهوری و دوام سرویسها را تا ۹۹.۹۹ درصد یا بیشتر افزایش دهند و در عین حال هزینهها را نسبت به APIهای مدلهای بسته، تا بیش از ۸۰ درصد کاهش دهند. به همین دلیل، مهندسی استنتاج به عنوان یک حوزه حیاتی و راهبردی در توسعه مدلهای زبانی بزرگ شناخته شده است، که نه تنها در آزمایشگاهها بلکه در محیطهای عملیاتی و تولیدی اهمیت پیدا کرده است.
در نتیجه، تمرکز بر تکنیکها و زیرساختهای مناسب برای استنتاج مدلهای زبانی بزرگ، کلید بهرهوری، هزینهکارآمدی و رضایت کاربر در استفادههای صنعتی است. این حوزه در حال حاضر به عنوان جزیی جداییناپذیر از توسعه و کاربرد فناوریهای هوش مصنوعی در کسبوکارها و فناوریهای نوظهور شناخته میشود.
#هوش_مصنوعی #مدل_زبان_بزرگ #مهندسی_استنتاج #پایش_پرفورمنس
🟣لینک مقاله:
https://newsletter.pragmaticengineer.com/p/what-is-inference-engineering?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
What is inference engineering? Deepdive (28 minute read)
🟢 خلاصه مقاله:
در حال حاضر، استنتاج مدلهای زبانی بزرگ (LLM) تبدیل به یکی از نگرانیهای اصلی در حوزه تولید شده است و این موضوع بهویژه با بلوغ مدلهای متنباز اهمیت بیشتری یافته است. در واقع، مهندسی استنتاج فراتر از آزمایشگاههای پیشرو رفته و در پروژههای عملی و در مقیاسهای بزرگ نیز کاربرد پیدا کرده است. لایهبندی این فرآیند شامل اجزای مختلفی است، از زمان اجرا و زیرساختهای فنی گرفته تا ابزارهای توسعه، که هر کدام نقش مهمی در بهینهسازی عملکرد نهایی دارند. رایجترین تکنیکهای مورد استفاده در این حوزه شامل دستهبندی، کشینگ، کمنظیرسازی، کدگذاری تئوریک، توازی پارامترها، و تفکیک فرآیند پیشپرداخت و دیکود است.
وقتی این تکنیکها در مقیاس بزرگ اجرا میشوند، میتوانند به طور قابل توجهی زمان پاسخگویی سیستم را کاهش دهند، بهرهوری و دوام سرویسها را تا ۹۹.۹۹ درصد یا بیشتر افزایش دهند و در عین حال هزینهها را نسبت به APIهای مدلهای بسته، تا بیش از ۸۰ درصد کاهش دهند. به همین دلیل، مهندسی استنتاج به عنوان یک حوزه حیاتی و راهبردی در توسعه مدلهای زبانی بزرگ شناخته شده است، که نه تنها در آزمایشگاهها بلکه در محیطهای عملیاتی و تولیدی اهمیت پیدا کرده است.
در نتیجه، تمرکز بر تکنیکها و زیرساختهای مناسب برای استنتاج مدلهای زبانی بزرگ، کلید بهرهوری، هزینهکارآمدی و رضایت کاربر در استفادههای صنعتی است. این حوزه در حال حاضر به عنوان جزیی جداییناپذیر از توسعه و کاربرد فناوریهای هوش مصنوعی در کسبوکارها و فناوریهای نوظهور شناخته میشود.
#هوش_مصنوعی #مدل_زبان_بزرگ #مهندسی_استنتاج #پایش_پرفورمنس
🟣لینک مقاله:
https://newsletter.pragmaticengineer.com/p/what-is-inference-engineering?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Pragmaticengineer
What is inference engineering? Deepdive
Many engineers use inference daily, but inference engineering is a bit obscure – and an area rich with interesting challenges. Philip Kiely, author of the new book, “Inference Engineering,” explains
🔵 عنوان مقاله
AWS Engineer Reports PostgreSQL Performance Halved By Linux 7.0, But A Fix May Not Be Easy (3 minute read)
🟢 خلاصه مقاله:
نسخه ۷ لینوکس، اخیراً مشکلات قابل توجهی را برای کاربران پایگاه داده PostgreSQL ایجاد کرده است. این نسخه جدید با تغییراتی در مدیر برنامهریزیها (اسکجولرها) باعث کاهش شدید در عملکرد این سیستم میشود، به طوری که توان عملیاتی پایگاه داده تا حدود نیمی کاهش یافته است. این مشکل به واسطه افزایش زمان صرف شده برای قفلهای اسپینلاک (spinlock) است، که روند انجام عملیاتهای همزمان را کندتر میکند و منجر به کاهش کارایی کلی میشود.
توسعهدهندگان و مدیران سیستمها در حال بررسی راهحلهایی برای این مشکل هستند، اما یافتن یک راهحل آسان و سریع چندان محتمل به نظر نمیرسد. این مشکل نشان میدهد که بروزرسانیهای سیستمعامل باید با دقت و آزمایشهای کامل انجام شوند، زیرا تغییرات داخلی در ساختارهای مدیریتی میتواند تاثیرات چشمگیری بر عملکرد برنامههای حیاتی مانند پایگاه دادهها بگذارد. در نتیجه، نیاز به بررسی عمیقتر و اصلاحاتی در سطح کرنل و اسکجولرها برای بهبود این وضعیت در حال حاضر احساس میشود.
این موضوع برای کاربران و مدیران فنی که از PostgreSQL بر روی لینوکس ۷ استفاده میکنند، نگرانکننده است، زیرا کاهش عملکرد ممکن است تاثیر مستقیمی بر سرویسدهی و توسعه کسبوکارها داشته باشد. با وجود این، تیمهای توسعه و هسته لینوکس در تلاش هستند راهکارهای موقت و دائمی برای رفع این مشکل ارائه دهند؛ اما پیشبینی میشود که این فرآیند، زمانبر و نیازمند اصلاحات عمیق در سطح سیستم باشد.
#پایگاه_داده #لینوکس # PostgreSQL #عملکرد
🟣لینک مقاله:
https://www.phoronix.com/news/Linux-7.0-AWS-PostgreSQL-Drop?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
AWS Engineer Reports PostgreSQL Performance Halved By Linux 7.0, But A Fix May Not Be Easy (3 minute read)
🟢 خلاصه مقاله:
نسخه ۷ لینوکس، اخیراً مشکلات قابل توجهی را برای کاربران پایگاه داده PostgreSQL ایجاد کرده است. این نسخه جدید با تغییراتی در مدیر برنامهریزیها (اسکجولرها) باعث کاهش شدید در عملکرد این سیستم میشود، به طوری که توان عملیاتی پایگاه داده تا حدود نیمی کاهش یافته است. این مشکل به واسطه افزایش زمان صرف شده برای قفلهای اسپینلاک (spinlock) است، که روند انجام عملیاتهای همزمان را کندتر میکند و منجر به کاهش کارایی کلی میشود.
توسعهدهندگان و مدیران سیستمها در حال بررسی راهحلهایی برای این مشکل هستند، اما یافتن یک راهحل آسان و سریع چندان محتمل به نظر نمیرسد. این مشکل نشان میدهد که بروزرسانیهای سیستمعامل باید با دقت و آزمایشهای کامل انجام شوند، زیرا تغییرات داخلی در ساختارهای مدیریتی میتواند تاثیرات چشمگیری بر عملکرد برنامههای حیاتی مانند پایگاه دادهها بگذارد. در نتیجه، نیاز به بررسی عمیقتر و اصلاحاتی در سطح کرنل و اسکجولرها برای بهبود این وضعیت در حال حاضر احساس میشود.
این موضوع برای کاربران و مدیران فنی که از PostgreSQL بر روی لینوکس ۷ استفاده میکنند، نگرانکننده است، زیرا کاهش عملکرد ممکن است تاثیر مستقیمی بر سرویسدهی و توسعه کسبوکارها داشته باشد. با وجود این، تیمهای توسعه و هسته لینوکس در تلاش هستند راهکارهای موقت و دائمی برای رفع این مشکل ارائه دهند؛ اما پیشبینی میشود که این فرآیند، زمانبر و نیازمند اصلاحات عمیق در سطح سیستم باشد.
#پایگاه_داده #لینوکس # PostgreSQL #عملکرد
🟣لینک مقاله:
https://www.phoronix.com/news/Linux-7.0-AWS-PostgreSQL-Drop?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Phoronix
AWS Engineer Reports PostgreSQL Performance Halved By Linux 7.0, But A Fix May Not Be Easy
An Amazon/AWS engineer raised the alarms on Friday over the current Linux 7.0 development kernel leading to the throughput for the PostgreSQL database server being around half that of prior kernel versions
Forwarded from Gopher Academy
✈️اولین قدم تلگرام در مبارزه با فیلترینگ، به زودی به نسخه جدید تلگرام اضافه میشود 🚀
تلگرام با بهروزرسانیهای جدید نسخه ازمایشی (نسخه ۶.۷.۲ دسکتاپ و بتای ۱۲.۶.۴ اندروید) نخستین گام جدی خود را برای مقابله با فیلترینگ برداشت 🛡️.
این شرکت تولید پیام TLS ClientHello در اتصال پروکسی MTProto را تغییر داد تا فینگرپرینت ترافیک شبیهتر به مرورگرها شود 🌐؛ در نتیجه، سیستمهای تشخیص عمیق بستهها (DPI) در کشورهایی مانند روسیه دیگر نمیتوانند ترافیک پروکسی MTProto را بهراحتی شناسایی و مسدود کنند 🔒🚫.
تلگرام با بهروزرسانیهای جدید نسخه ازمایشی (نسخه ۶.۷.۲ دسکتاپ و بتای ۱۲.۶.۴ اندروید) نخستین گام جدی خود را برای مقابله با فیلترینگ برداشت 🛡️.
این شرکت تولید پیام TLS ClientHello در اتصال پروکسی MTProto را تغییر داد تا فینگرپرینت ترافیک شبیهتر به مرورگرها شود 🌐؛ در نتیجه، سیستمهای تشخیص عمیق بستهها (DPI) در کشورهایی مانند روسیه دیگر نمیتوانند ترافیک پروکسی MTProto را بهراحتی شناسایی و مسدود کنند 🔒🚫.