885 subscribers
44 photos
3 videos
1 file
1.41K links
🕸 Database Academy

حمایت مالی:
https://www.coffeete.ir/mrbardia72

ادمین:
@mrbardia72
Download Telegram
🔵 عنوان مقاله
Operating Trino at Scale With Trino Gateway (9 minute read)

🟢 خلاصه مقاله:
در دنیای امروز، مدیریت مجموعه‌ای از خوشه‌های تخصصی برای اجرای کوئری‌های متنوع و پیچیده، به چالشی بزرگ بدل شده است. با افزایش حجم درخواست‌ها و تنوع کارهای محاسباتی، شرکت‌های بزرگ مانند Expedia نیاز داشتند راهکاری کارآمد برای ساده‌سازی فرآیندهای عملیاتی خود بیابند. به همین دلیل، تیم توسعه Expedia تصمیم گرفت تا با توسعه یک دروازه‌مرزی به نام «Trino Gateway»، مشکل مدیریت چندین خوشه را برطرف کند. این دروازه، به جای اینکه کاربران برای هر نوع کوئری به نقاط مختلف متصل شوند، یک آدرس URL واحد و یکپارچه ارائه می‌دهد که همچنین به صورت هوشمند کوئری‌ها را به بهترین خوشه‌بندی بر اساس قواعد تعیین‌شده هدایت می‌کند. این روش نه تنها کاربری آسان‌تر، بلکه بهره‌وری و کارایی سیستم را نیز به طور قابل توجهی افزایش می‌دهد.

در نتیجه، استقرار این سیستم جدید باعث شد تا عملیات‌های مدیریت و دسترسی به منابع داده‌ها بسیار ساده‌تر و سریع‌تر صورت گیرد؛ چرا که کاربران فقط یک نقطه اتصال دارند و سیستم به صورت خودکار بهترین مسیر را برای اجرای کوئری‌ها تعیین می‌کند. این نوآوری، نمونه‌ای از پیشرفته‌ترین تکنولوژی‌های مدیریت داده و زیرساخت‌های ابری است که آینده کمپانی‌ها را در حوزه تجزیه و تحلیل داده تغییر داده است.

#مدیریت_داده #فناوری_ابری #Trino #هوشمندسازی

🟣لینک مقاله:
https://medium.com/expedia-group-tech/operating-trino-at-scale-with-trino-gateway-41824af788de?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
pgmicro: An In-Process Postgres Reimplementation

🟢 خلاصه مقاله:
در دنیای مدیریت پایگاه‌های داده، ابزارها و فناوری‌هایی که بتوانند فرآیندهای مختلف را ساده‌تر و کارآمدتر کنند، همیشه مورد توجه قرار گرفته‌اند. یکی از آخرین نوآوری‌ها، پروژه‌ای است به نام pgmicro که در حال توسعه و بهبود است. این پروژه به عنوان یک بازنویسی در حال انجام برای سیستم پایگاه داده پستگرس، تلاش می‌کند تا فرآیندهای مربوط به تحلیل و اجرا را به شکل جدیدی ارائه دهد.

pgmicro به عنوان یک پروژه در حال فرآیند، به‌وسیله یکتای برای تبدیل SQL عمل می‌کند؛ این ابزار با بهره‌گیری از کتابخانه‌ی libpg_query، قابلیت تحلیل دستورات SQL را دارد و در مرحله بعد، آن را مستقیماً به قالب بایت‌کود مخصوص SQLite ترجمه می‌کند. این ویژگی باعث می‌شود که عملیات اجرا بسیار سریع و بهینه‌تر صورت بگیرد، چرا که نیازی به تبدیل‌های مکرر و زمان‌بر نیست و روند اجرای کوئری‌ها به شکل مستقیم و بی‌وقفه انجام می‌شود.

این ابزار، به صورت یک بسته نود (npm) و خط فرمان (CLI) در اختیار توسعه‌دهندگان قرار می‌گیرد و همچنین امکان استفاده از پروتکل سیم (wire protocol) برای اتصال به سرورها و کلاینت‌های موجود را فراهم می‌کند. این قابلیت به توسعه‌دهندگان اجازه می‌دهد تا بدون نیاز به تغییر در ساختارهای قدیمی و موجود، بتوانند از pgmicro بهره‌مند شوند و تجربه کاربری مشابه با کار با پایگاه داده‌های PostgreSQL را داشته باشند. در واقع، این پروژه هدفش فراهم کردن راه‌حلی سریع، انعطاف‌پذیر و بی‌درجهت برای توسعه‌دهندگان است تا بتوانند در پروژه‌های متنوع، عملیات پایگاه داده را به شکل مؤثری بهبود بخشند.

در مجموع، pgmicro با ترکیب قابلیت‌های تحلیل SQL، ترجمه به بایت‌کود، و امکان استفاده آسان، می‌تواند نقطه عطفی در توسعه سیستم‌های پایگاه داده‌های سبک و قابل‌اعتماد باشد، و به توسعه‌دهندگان این امکان را می‌دهد تا در محیط‌های مختلف، راه‌حلی کارآمد و سبک برای مدیریت داده‌های خود داشته باشند.

#پایگاه_داده #پروژه_پروتکل #برنامه_نویسی #توسعه‌دهندگان

🟣لینک مقاله:
https://postgresweekly.com/link/183433/web


👑 @Database_Academy
🔵 عنوان مقاله
AWS's recent ending of support for Postgres 13 on RDS

🟢 خلاصه مقاله:
اخیراً، آمازون وب سرویسز (AWS) اعلام کرده است که پشتیبانی از نسخه ۱۳ بانک‌اطلاعات PostgreSQL را در سرویس RDS خود پایان می‌دهد. این تغییر ممکن است بر برنامه‌ها و سیستم‌هایی که هنوز از این نسخه قدیمی استفاده می‌کنند، تأثیرگذار باشد و نیازمند بروزرسانی و تغییرات در زیرساخت‌های آن‌ها است. بنابراین، مدیران و توسعه‌دهندگان باید با دقت برنامه‌ریزی کنند تا فرآیند ارتقاء به نسخه‌های جدیدتر را به شیوه‌ای امن و موفق انجام دهند، چرا که هرگونه اشتباه ممکن است باعث بروز مشکلات پیچیده‌ای شود.

در کنار این، لازم است توجه داشت که در صورت انجام نادرست ارتقاء، ممکن است سرویس‌هایی مانند AWS Glue دچار خطا شوند یا پشتیبانی آنها مختل گردد. AWS Glue یکی از سرویس‌های حیاتی برای اتصال و پردازش داده‌ها در ابر است و هر گونه تغییر در نسخه‌های پایگاه‌داده ممکن است بر کارایی آن تأثیر بگذارد. بنابراین، پیش از هرگونه اقدام، لازم است اقدامات آزمایشی و بررسی‌های دقیق برای جلوگیری از بروز مشکل صورت گیرد و مراقبت‌های لازم رعایت شود.

در کل، این خبر هشداردهنده‌ای برای کاربران است که باید مراقب بروزرسانی‌ها و تطابق نسخه‌های مورد استفاده خود باشند تا از بروز اختلال در سرویس‌های حیاتی جلوگیری کنند. انجام این فرایند با دقت و آگاهی، می‌تواند اطمینان حاصل کند که سیستم‌های شما به صورت پایدار و بدون اختلال به کار خود ادامه می‌دهند.

#AWS #PostgreSQL #ارتقاء_سیستم #امنیت_داده‌ها

🟣لینک مقاله:
https://postgresweekly.com/link/182719/web


👑 @Database_Academy
🔵 عنوان مقاله
pg_regresql: Truly Portable Postgres Statistics

🟢 خلاصه مقاله:
در جهان پایگاه‌های داده، اهمیت داشتن آماری دقیق و قابل اعتماد برای بهینه‌سازی کوئری‌ها غیرقابل انکار است. برای این منظور، استانداردهای موجود در PostgreSQL به گونه‌ای طراحی شده‌اند که به مدیران و توسعه‌دهندگان امکان می‌دهد اطلاعات آماری مربوط به جداول و شاخص‌ها را جمع‌آوری و به‌روزرسانی کنند. اما در مواردی، مشکل اصلی فعالیت‌های توسعه و آزمایش است؛ به طوری که نمونه‌های کوچک و محلی برای توسعه باید از داده‌های واقعی و تولید بهره‌مند شوند، در حالی که نیاز است این آماری که بانک‌های توسعه و آزمایش را نگهداری می‌کنند، در طول زمان به طور مستقل و بدون وابستگی به تغییرات داده‌های تولید، باقی بماند.

در چنین مواردی، افزونه‌ای به نام pg_regresql معرفی شده است که عملیات جمع‌آوری و استفاده از آمار را متفاوت می‌کند. این افزونه با تکیه بر اطلاعات موجود در جدول pg_class به جای خواندن اندازه فایل‌های واقعی، سیستم آماری پایگاه‌داده را مجاب می‌کند که از این آمارهای مجازی بهره‌برداری کند. به این صورت، آماری که در محیط‌های توسعه و آزمایش به کار می‌رود، ثابت باقی می‌ماند و در عین حال، کارایی و قابلیت پیش‌بینی کوئری‌ها حفظ می‌شود. این رویکرد به توسعه‌دهندگان اجازه می‌دهد تا در محیط‌های کوچک‌تر، بازخوردهای موثری درباره بهینه‌سازی کوئری‌ها دریافت کرده و فرآیندهای توسعه را با اطمینان ادامه دهند، بدون آنکه نگران ناپایداری یا وابستگی به داده‌های تولید باشند.

در نتیجه، افزونه pg_regresql ارزش زیادی در راستای بهبود توسعه و آزمایش در اکوسیستم PostgreSQL دارد. این ابزار نوآورانه، کمک می‌کند تا تیم‌های فنی بتوانند محیط‌های توسعه‌ای پایدارتر و قابل اعتمادتری ایجاد کنند که در آن آماری مستقل و همیشه در دسترس نگهداری می‌شود و در عین حال، روند بهینه‌سازی عملکرد بانک‌های اطلاعاتی همچنان به خوبی حفظ می‌شود.

#پستگرس #آمارداده #توسعه_پایدار #پایگاه‌داده

🟣لینک مقاله:
https://postgresweekly.com/link/183126/web


👑 @Database_Academy
🔵 عنوان مقاله
Architectural Governance at AI Speed (12 minute read)

🟢 خلاصه مقاله:
در عصر سرعت هوش مصنوعی، حکمرانی معماری با سرعت جن-ای‌ آی اهمیت بیشتری پیدا می‌کند. در گذشته، هزینه کد نویسی کاهش یافته بود، اما هم‌راستا نگه‌داشتن معماری سیستم‌ها اکنون یکی از بزرگ‌ترین چالش‌ها است. روال‌های سنتی مدیریت و نظارت بر معماری دیگر نمی‌توانند به سرعت و به اندازه کافی در مقیاس‌های بزرگ عمل کنند، چرا که نیازمند فرآیندهای دستی و زمان‌بر هستند که در دنیای پرشتاب امروز کارآمد نیستند.

راه‌حل این مشکل، رویکرد معماری اعلامی یا اعلامی‌سازی تصمیمات است. در این رویکرد، تصمیم‌های معماری به صورت تعاریف قابل خواندن توسط ماشین، محدودیت‌ها و قوانین اجرایی د ر ابزارهای توسعه برنامه‌نویسی کدگذاری می‌شوند و در اختیار عوامل (agents) قرار می‌گیرند. نمونه‌ای از این ابزارها می‌تواند همان «Architecture.md» باشد که تصمیم‌های معماری را به صورت مستندات و قاعده‌های enforceable در شیوه‌های توسعه کد قرار می‌دهد. این فرآیند، حکمرانی بر معماری را از حالت بررسی‌های انسانی خارج و به صورت خودکار و بی‌وقفه در می‌آورد، در نتیجه تیم‌ها و عوامل مستقل می‌توانند به صورت خودمختار عمل کنند و همزمان، از انحراف در مسیر معماری جلوگیری شود.

این شیوه، مسیر درست را به عنوان حالت پیش‌فرض برقرار می‌کند و با استفاده از محدودیت‌های قابل ترکیب و بخش‌های محدود، اطمینان حاصل می‌کند که توسعه‌دهندگان همیشه در قالب اهداف و سیاست‌های تعیین‌شده حرکت می‌کنند. این فرآیند به تیم‌ها امکان می‌دهد تا در مواجهه با تغییرات سریع و نیازهای جدید، راه‌حل‌های سازگارتری و مطمئن‌تری ارائه دهند و در عین حال، استقلال و خودکفایی آنان حفظ شود.

در نتیجه، تحول در نحوه حکمرانی معماری، امکان حرکت به سمت تیم‌هایی خودمختار و هماهنگ در فضای هوشمندانه و پرشتاب را فراهم می‌کند، که در آن کنترل‌های خودکار و قوانین هوشمند، تمرکز تیم‌ها را بر نوآوری و توسعه می‌گذارند، بدون اینکه از اصول و چارچوب‌های معماری خود منحرف شوند.

#معماری_هوشمند #حکمرانی_الگوریتمیک #توسعه_مستقل #هوش_مصنوعی

🟣لینک مقاله:
https://www.infoq.com/articles/architectural-governance-ai-speed/?utm_source=tldrdata


👑 @Database_Academy
2
🔵 عنوان مقاله
pg_clickhouse v0.1.10

🟢 خلاصه مقاله:
در نسخه جدید ابزار pg_clickhouse، امکان اجرای کوئری‌های بانک اطلاعاتی ClickHouse مستقیماً از پایگاه داده پستگرس فراهم شده است. این نسخه با بهبودهای قابل توجه در سازگاری، امکانات جدیدی را در اختیار کاربران قرار می‌دهد که شامل پشتیبانی بهتر برای عملیات‌هایی مانند کار با فرمت‌های JSON، JSONB و TEXT است. علاوه بر این، تعداد زیادی از توابع پنجره‌ای، از جمله RANK، PERCENT_RANK و ROW_NUMBER، به مجموعه امکانات افزوده شده‌اند تا تحلیل داده‌ها و مدیریت نتایج را ساده‌تر و کارآمدتر کنند. این بروزرسانی، تجربه کار با این ابزار را به طور قابل توجهی بهبود می‌بخشد و امکان بهره‌گیری مؤثرتر از امکانات هر دو سیستم را فراهم می‌کند.

نسخه جدید pg_clickhouse، ارتباط موثر و بی‌نقصی بین پایگاه‌های داده پستگرس و کلیکاهاوس برقرار می‌کند، که برای توسعه‌دهندگان و تحلیل‌گران داده‌ای بسیار ارزشمند است. حالا می‌توانند با اطمینان بیشتری و با امکانات پیشرفته‌تر، داده‌های خود را مدیریت و آنالیز کنند، و فرآیندهای پیچیده‌تر را به سادگی انجام دهند.

#پایگاه_داده #تحلیل_دیتا #نرم_افزار #توسعه

🟣لینک مقاله:
https://postgresweekly.com/link/183436/web


👑 @Database_Academy
1
🔵 عنوان مقاله
How to Become a Data AND AI Engineer (5 minute read)

🟢 خلاصه مقاله:
برای تبدیل شدن به یک مهندس داده و هوش مصنوعی، نخست باید توجه داشت که این دو حوزه به شدت به هم پیوسته‌اند، هرچند هرکدام نیازمند مهارت‌ها و دانش خاص خود هستند. هوش مصنوعی در حال حاضر به طور فزاینده‌ای در فرآیندهای مهندسی داده جای می‌گیرد، اما همچنان بنیان‌های قوی مهندسی داده نقش کلیدی دارند. بخش عمده‌ای از تأثیرگذاری AI به مدل‌سازی داده‌ها مربوط می‌شود که تقریباً ۸۰٪ از موفقیت‌های آن را تشکیل می‌دهد. بنابراین، درک و پیروی از اصول مدل‌سازی، نحوه توصیف شفاف داده‌ها در ابزارهایی مانند dbt، ایجاد قراردادهای داده، خط سیر داده‌ها و طراحی سیستم‌های اورکستراسیون، تمامی این موارد در واقع نقش «مهندسی زمینه» را برای هوش مصنوعی ایفا می‌کنند.

علاوه بر این، مهندسان باید خروجی‌های هوش مصنوعی را با دیدی انتقادی بررسی کنند، چرا که AI می‌تواند پاسخ‌هایی ارائه دهد که نیاز است با دقت به آن‌ها نگاه کنیم. هوش مصنوعی فاقد احساس و درک انسانی است و ممکن است پاسخ‌هایی بدهد که در شرایط خاص مناسب نیستند یا نیازمند مداخله انسانی باشند. بنابراین، یک مهندس داده و AI نه تنها باید تسلط بر ساختار و طراحی داده‌ها داشته باشد، بلکه باید توانایی ارزیابی و نقد نتایج AI را هم در خود تقویت کند.

در نهایت، مسیر تبدیل شدن به یک مهندس داده-هوش مصنوعی نیازمند یادگیری مداوم، تمرین و آشنایی با ابزارها و مفاهیم جدید است که به بهینه‌سازی فرآیندهای داده و افزایش کارایی سیستم‌های هوشمند کمک می‌کند. این تخصص، پلی است برای آن دسته از افرادی که به دنبال آینده‌ای در حوزه فناوری و داده‌ها هستند؛ آینده‌ای پر فرصت و پر چالش.

#مهندسی_داده #هوش_مصنوعی #مدل‌سازی_داده #نوآوری

🟣لینک مقاله:
https://pipeline2insights.substack.com/p/how-to-become-a-data-and-ai-engineer?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
Your pipeline works great for 3 data sources. Will it work with 30? (Sponsor)

🟢 خلاصه مقاله:
بسیاری از شرکت‌ها و تیم‌های تحلیل داده به دنبال راهکاری هستند که بتوانند به راحتی و بدون هزینه‌های زیاد، حجم بالای داده‌های خود را مدیریت و تحلیل کنند. در این زمینه، ابزار فایوترن با قابلیت‌های منحصر‌به‌فرد خود، امکان مدیریت بیش از ۷۰۰ منبع داده‌ای مختلف را فراهم می‌کند، بدون نیاز به بازسازی مجموعه‌های داده یا ساخت مجدد پایپلاین‌ها. این سرویس سریع، قابل اعتماد و بسیار کاربرپسند است و داده‌های تحلیلی را در عرض چند ساعت در اختیار کاربران قرار می‌دهد، به طوری که می‌تواند تغییرات در ساختار داده‌ها، به‌روزرسانی‌های API و تلاش‌های مربوط به استراتژی‌های مختلف را به راحتی مدیریت کند.

در عین حال، کاربران فایوترن می‌توانند تمرکز خود را بر روی استراتژی‌های هوشمند، توسعه هوش مصنوعی، و به‌روزرسانی زیرساخت‌های فناوری‌های خود معطوف کنند، در حالی که این ابزار وظیفه مدیریت فنی و مداوم داده‌ها را بر عهده دارد. با سیاست‌های قیمت‌گذاری انعطاف‌پذیر و دوره آزمایشی رایگان ۱۴ روزه، این سرویس گزینه‌ای عالی برای کسب‌وکارها و تیم‌های نوآور است که قصد دارند حجم عظیمی از داده‌ها را به‌صورت کارا و بدون دردسر مدیریت کنند.

همین امروز فایوترن را به صورت رایگان امتحان کنید و از امکانات بی‌نظیر آن بهره‌مند شوید، بدون نیاز به سرمایه‌گذاری اولیه و یا نگرانی درباره مقیاس‌پذیری دیتاهای خود.

#مدیریت_داده #تحلیل_داده #فناوری #هوشمندسازی

🟣لینک مقاله:
https://go.fivetran.com/signups/smb?utm_source=tldrdata


👑 @Database_Academy
Forwarded from Persian Post
🚀 کد منبع آپولو ۱۱ اوپن‌سورس شد! همونی که آرمسترانگ و رفیقاش رو روی ماه نشوند 🌕👨‍🚀

کد اصلی کامپیوتر هدایت مأموریت آپولو ۱۱ (AGC) شامل:
🧑‍🚀 ماژول فرمان (Comanche055)
🌕 ماژول ماه‌نشین (Luminary099)

کل کدش رو انگار فضایی‌ها نوشتن، صد درصد با اسمبلی نوشته شده! 🤖

توسط تیم Virtual AGC و موزه MIT دیجیتالی شده و حالا به‌صورت متن‌باز در دسترس عموم قرار گرفته 👨‍💻📜

هدف این پروژه، نگهداری نسخه‌ای دقیق از کدهای اصلی آپولو ۱۱ هست و اگر اختلافی بین نسخه تایپ‌شده و اسکن‌های اصلی پیدا بشه، مشارکت (PR) کاملاً پذیرفته میشه 🙌🔧

📥 دانلود از اینترنت ملی:
http://cdn.codehalic.ir/Apollo-11.zip

💻 ریپازیتوری گیت‌هاب:
https://github.com/chrislgarry/Apollo-11

🔥 یه فرصت خفن برای دیدن کدی که انسان رو به ماه رسوند! 🚀🌌

👇 join 👇
https://xn--r1a.website/+Bp8JeTpQoiUwMjVk
🔵 عنوان مقاله
Engineering the Memory Layer For An AI Agent To Navigate Large-scale Event Data (12 minute read)

🟢 خلاصه مقاله:
در دنیای فناوری و هوش مصنوعی، یکی از چالش‌های بزرگ مربوط به توانایی هوش مصنوعی در مدیریت و تعبیر حجم عظیم داده‌های رویدادهای بزرگ است. برای غلبه بر این مشکل، تیم جامعه MLOps اقدام به طراحی و پیاده‌سازی لایه حافظه‌ای پیشرفته برای عامل‌های هوشمند کرد. این لایه حافظه با بهره‌گیری از پایگاه داده ApertureDB، که یک بانک اطلاعاتی چندرسانه‌ای و چندمدلی مبتنی بر گراف و وکتورها است، توانست قابلیت‌های بی‌نظیری را فراهم کند. ساختار منسجم و واضح این گراف، همراه با برش‌های جداگانه در متن‌های گفتگو و استفاده از نگاشت‌های Gemma بر روی این بخش‌های تفکیک‌شده، به هوش مصنوعی امکان می‌دهد تا درک عمیق‌تر و دقیق‌تری از اطلاعات داشته باشد. عناصری مانند جستجوی معنایی محدود شده و تراکنش‌های ACID به‌گونه‌ای طراحی شده‌اند که خطای در تفسیر و "توهمات" مرتبط با پردازش زبان طبیعی کاهش یابد، و در نتیجه، پاسخ‌های ارائه شده توسط هوش مصنوعی با دقت بالا و اطمینان بیشتری همراه باشد.

این توسعه، نقش مهمی در ارتقاء توانمندی‌های عامل‌های هوشمند در تحلیل و پاسخگویی به سوالات پیچیده طبیعی زبان ایفا می‌کند و نشان می‌دهد که چگونه فناوری‌های نوین می‌توانند راه‌حل‌های عملی و مؤثری در مواجهه با چالش‌های داده‌های بزرگ ارائه دهند. در نتیجه، این پیشرفت‌ها می‌تواند کاربردهای فراگیرتری در حوزه‌های مختلف از جمله تحلیل رویدادهای بزرگ، مدیریت اطلاعات و سیستم‌های هوشمند داشته باشد.

#هوش_مصنوعی #مدیریت_داده #یادگیری_ماشین #تکنولوژی

🟣لینک مقاله:
https://mlops.community/engineering-the-memory-layer-for-an-ai-agent-to-navigate-large-scale-event-data/?utm_source=tldrdata


👑 @Database_Academy
Forwarded from Job
در این شرایط سخت و جنگی، اگر به کمکی نیاز دارید، به من اطلاع دهید.

🟢 اگر کارفرما هستید و به دنبال برنامه‌نویس می‌گردید، آگهی شغلی خود را برای ما ارسال کنید 📩

🟢 اگر کارجو هستید، رزومه خود را بفرستید تا در فرصت‌های شغلی مرتبط معرفی شوید 🚀

ادمین:
@mrbardia72

.......

https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
🔵 عنوان مقاله
What is inference engineering? Deepdive (28 minute read)

🟢 خلاصه مقاله:
در حال حاضر، استنتاج مدل‌های زبانی بزرگ (LLM) تبدیل به یکی از نگرانی‌های اصلی در حوزه تولید شده است و این موضوع به‌ویژه با بلوغ مدل‌های متن‌باز اهمیت بیشتری یافته است. در واقع، مهندسی استنتاج فراتر از آزمایشگاه‌های پیشرو رفته و در پروژه‌های عملی و در مقیاس‌های بزرگ نیز کاربرد پیدا کرده است. لایه‌بندی این فرآیند شامل اجزای مختلفی است، از زمان اجرا و زیرساخت‌های فنی گرفته تا ابزارهای توسعه، که هر کدام نقش مهمی در بهینه‌سازی عملکرد نهایی دارند. رایج‌ترین تکنیک‌های مورد استفاده در این حوزه شامل دسته‌بندی، کشینگ، کم‌نظیرسازی، کدگذاری تئوریک، توازی پارامترها، و تفکیک فرآیند پیش‌پرداخت و دیکود است.

وقتی این تکنیک‌ها در مقیاس بزرگ اجرا می‌شوند، می‌توانند به طور قابل توجهی زمان پاسخگویی سیستم را کاهش دهند، بهره‌وری و دوام سرویس‌ها را تا ۹۹.۹۹ درصد یا بیشتر افزایش دهند و در عین حال هزینه‌ها را نسبت به APIهای مدل‌های بسته، تا بیش از ۸۰ درصد کاهش دهند. به همین دلیل، مهندسی استنتاج به عنوان یک حوزه حیاتی و راهبردی در توسعه مدل‌های زبانی بزرگ شناخته شده است، که نه تنها در آزمایشگاه‌ها بلکه در محیط‌های عملیاتی و تولیدی اهمیت پیدا کرده است.

در نتیجه، تمرکز بر تکنیک‌ها و زیرساخت‌های مناسب برای استنتاج مدل‌های زبانی بزرگ، کلید بهره‌وری، هزینه‌کارآمدی و رضایت کاربر در استفاده‌های صنعتی است. این حوزه در حال حاضر به عنوان جزیی جدایی‌ناپذیر از توسعه و کاربرد فناوری‌های هوش مصنوعی در کسب‌وکارها و فناوری‌های نوظهور شناخته می‌شود.

#هوش_مصنوعی #مدل_زبان_بزرگ #مهندسی_استنتاج #پایش_پرفورمنس

🟣لینک مقاله:
https://newsletter.pragmaticengineer.com/p/what-is-inference-engineering?utm_source=tldrdata


👑 @Database_Academy
🔵 عنوان مقاله
AWS Engineer Reports PostgreSQL Performance Halved By Linux 7.0, But A Fix May Not Be Easy (3 minute read)

🟢 خلاصه مقاله:
نسخه ۷ لینوکس، اخیراً مشکلات قابل توجهی را برای کاربران پایگاه داده PostgreSQL ایجاد کرده است. این نسخه جدید با تغییراتی در مدیر برنامه‌ریزی‌ها (اسکجولرها) باعث کاهش شدید در عملکرد این سیستم می‌شود، به طوری که توان عملیاتی پایگاه داده تا حدود نیمی کاهش یافته است. این مشکل به واسطه افزایش زمان صرف شده برای قفل‌های اسپین‌لاک (spinlock) است، که روند انجام عملیات‌های همزمان را کندتر می‌کند و منجر به کاهش کارایی کلی می‌شود.

توسعه‌دهندگان و مدیران سیستم‌ها در حال بررسی راه‌حل‌هایی برای این مشکل هستند، اما یافتن یک راه‌حل آسان و سریع چندان محتمل به نظر نمی‌رسد. این مشکل نشان می‌دهد که بروزرسانی‌های سیستم‌عامل باید با دقت و آزمایش‌های کامل انجام شوند، زیرا تغییرات داخلی در ساختارهای مدیریتی می‌تواند تاثیرات چشمگیری بر عملکرد برنامه‌های حیاتی مانند پایگاه داده‌ها بگذارد. در نتیجه، نیاز به بررسی عمیق‌تر و اصلاحاتی در سطح کرنل و اسکجولرها برای بهبود این وضعیت در حال حاضر احساس می‌شود.

این موضوع برای کاربران و مدیران فنی که از PostgreSQL بر روی لینوکس ۷ استفاده می‌کنند، نگران‌کننده است، زیرا کاهش عملکرد ممکن است تاثیر مستقیمی بر سرویس‌دهی و توسعه کسب‌وکارها داشته باشد. با وجود این، تیم‌های توسعه و هسته لینوکس در تلاش هستند راه‌کارهای موقت و دائمی برای رفع این مشکل ارائه دهند؛ اما پیش‌بینی می‌شود که این فرآیند، زمان‌بر و نیازمند اصلاحات عمیق در سطح سیستم باشد.

#پایگاه_داده #لینوکس # PostgreSQL #عملکرد

🟣لینک مقاله:
https://www.phoronix.com/news/Linux-7.0-AWS-PostgreSQL-Drop?utm_source=tldrdata


👑 @Database_Academy
Forwarded from Gopher Academy
✈️اولین قدم تلگرام در مبارزه با فیلترینگ، به زودی به نسخه جدید تلگرام اضافه می‌شود 🚀

تلگرام با به‌روزرسانی‌های جدید نسخه ازمایشی (نسخه ۶.۷.۲ دسکتاپ و بتای ۱۲.۶.۴ اندروید) نخستین گام جدی خود را برای مقابله با فیلترینگ برداشت 🛡️.

این شرکت تولید پیام TLS ClientHello در اتصال پروکسی MTProto را تغییر داد تا فینگرپرینت ترافیک شبیه‌تر به مرورگرها شود 🌐؛ در نتیجه، سیستم‌های تشخیص عمیق بسته‌ها (DPI) در کشورهایی مانند روسیه دیگر نمی‌توانند ترافیک پروکسی MTProto را به‌راحتی شناسایی و مسدود کنند 🔒🚫.
🔵 عنوان مقاله
Schemas in Postgres and Oracle: What's the Difference?

🟢 خلاصه مقاله:
در دنیای پایگاه‌های داده، مفاهیم اسکیمای مربوط به سیستم‌های مختلفی مانند PostgreSQL و Oracle ممکن است در ظاهر شباهت‌هایی داشته باشند، اما در عمیق‌ترین سطح، تفاوت‌های زیادی بین آن‌ها وجود دارد. این تفاوت‌ها در جزئیات ساختاری و نحوه مدیریت داده‌ها تاثیر قابل ملاحظه‌ای بر نحوه طراحی و بهینه‌سازی سیستم‌های دیتابیس دارند.

اسکیمای پایگاه داده، اصولاً نقشه‌ی راهنما و ساختار کلی داده‌ها را مشخص می‌کند و نقش مهمی در سازماندهی، امنیت و کارایی داده‌ها ایفا می‌کند. در PostgreSQL، اسکیمای معمولاً به عنوان یک فضای منطقی برای دسته‌بندی جداول، نماها، دیگر اشیاء و روابط آن‌ها در نظر گرفته می‌شود. این نوع اسکیمای‌ها امکان جداسازی داده‌ها و امکانات مدیریتی خاص را فراهم می‌کنند که برای توسعه‌دهندگان بسیار کاربردی است.

در مقابل، در سیستم Oracle، اسکیمای‌ها نقش بسیار پررنگ‌تری دارند و معمولاً به عنوان یک بخش کلیدی در ساختار امنیتی و مدیریت داده‌ها عمل می‌کنند. آن‌ها معمولاً با کاربر یا اکانت دیتابیس مرتبط هستند و تعیین می‌کنند که چه کسانی به چه داده‌هایی دسترسی دارند. این رویکرد، کنترل دقیق‌تری بر مجوزهای دسترسی فراهم می‌کند و امکان تنظیمات امنیتی پیشرفته را میسر می‌سازد.

در نتیجه، اگرچه در ظاهر و در برخی موارد، ساختار اسکیمای هر دو سیستم مشابه به نظر می‌رسد، در جزئیات، دو مدل بسیار متفاوت طراحی شده‌اند که نشان‌دهنده فلسفه‌های متفاوت در مدیریت داده‌ها و امنیت است. درک این تفاوت‌ها برای توسعه‌دهندگان و مدیران دیتابیس حیاتی است تا بتوانند بهترین بهره را از قابلیت‌های هر سیستم ببرند و از مشکلات احتمالی جلوگیری کنند.

#پایگاه‌داده #PostgreSQL #Oracle #مدیریت‌دیتا

🟣لینک مقاله:
https://postgresweekly.com/link/183427/web


👑 @Database_Academy
Forwarded from VIP
از آخرین اخبار تکنولوژی جهان جا نمونیم 🌍:

1. ربات انسان‌نمای Unitree R1 در راه بازار جهانی با قیمت 4370 دلار 🤖💰.

2. ثبت اختراع توالت داخلی صندیل خودرو توسط یک خودروساز چینی 🚗🚽.

3. رنگ جدید «دارک چری» احتمالی برای آیفون 18 پرو 📱🎨.

4. پیشنهاد ایلان ماسک برای پرداخت‌های دولتی به افراد بیکار شده توسط هوش مصنوعی 🧠💸.

5. تیم کوک پس از 15 سال، از اول سپتامبر جای خود را به جان ترنوس در اپل خواهد داد 🍎👋.

6. واتس‌اپ در حال آزمایش اشتراک پولی 2.49 یورو در ماه برای کاربران اندروید 💬💳.

7. اداره رگولاتوری Ofcom بریتانیا تحقیقاتی را درباره تلگرام در خصوص محتوای غیرقانونی آغاز کرده است 🇬🇧🔍.

8. شرکت OpenAI مدل بصری Images 2.0 را با قابلیت‌های «تفکر» برای تولید تصویر معرفی کرد 🎨🧠.

9. واتس‌اپ در حال آزمایش خلاصه‌سازی پیام‌های نخوانده با پردازش خصوصی توسط هوش مصنوعی 📝🤖.

10. اپل نقص امنیتی را برطرف کرد که می‌توانست اعلان‌های حذف‌شده را روی دستگاه نگه دارد 🍏🔒.

11. اینتل با لپ‌تاپ مفهومی سبک‌وزن خود با تراشه Wildcat Lake، رقیبی برای مک‌بوک نشان داد 💻🚀.

https://xn--r1a.website/addlist/vMgZb0Y1CHliMWI0
Forwarded from Software Engineer
دوماهه که با دنیا ارتباط نداریم
💔
🔵 عنوان مقاله
PostgresBench: A Reproducible Benchmark for Postgres Services

🟢 خلاصه مقاله:
پروژه PostgresBench ابزاری است برای ارزیابی و مقایسه خدمات مدیریت‌شده پایگاه داده پستگرس. شرکت کلیک‌هاوس، که قصد داشت عملکرد سرویس مدیریت‌شده پستگرس خود را در مقایسه با رقبا آزمایش کند، این سیستم بنچمارک را توسعه داد. هدف اصلی از ساخت این ابزار، انجام آزمایش‌های استرس و ارزیابی قابلیت اطمینان و کارایی سرویس‌ها در شرایط بار سنگین بود. این سیستم، برخلاف بسیاری از بنچمارک‌های دیگر، متن‌باز است و به راحتی قابل تکرار و بررسی است، بنابراین کاربران می‌توانند متدولوژی آن را مشاهده کرده و صحت نتایج را تایید کنند.

در طی آزمایش‌ها، کلیک‌هاوس نشان داد که سرویس پستگرس آن‌ها نسبت به رقبا در برخی از شاخص‌ها برتری دارد، اما نتیجه نهایی همواره بر اساس روش‌های مشخص و قابل تکرار است. این شفافیت و قابلیت بازپرس‌پذیری، اهمیت ویژه‌ای در اطمینان از صحت و شیوه ارزیابی‌ها دارد. به طور کلی، PostgresBench ابزاری مفید برای توسعه‌دهندگان و مدیران سیستم است که می‌خواهند عملکرد سرویس‌های پستگرس مدیریت‌شده را به صورت عینی و قابل اعتماد ارزیابی کنند.

این پروژه نمونه‌ای است از تلاش‌های شرکت‌ها برای ایجاد فضای شفاف‌تر در حوزه ارزیابی و مقایسه خدمات ابری پایگاه داده، که نتیجه آن بهبود کیفیت و رقابت‌پذیری سرویس‌ها در بازار است. استفاده از این بنچمارک متن‌باز، امکان تبادل بهتر دانش و اصلاح متدهای ارزیابی در آینده را فراهم می‌کند، و به متخصصان کمک می‌کند تا تصمیم‌گیری‌های بهتری در انتخاب سرویس مناسب داشته باشند.

#پستگرس #بنچمارک #کلیک‌هاوس #پایگاه_داده

🟣لینک مقاله:
https://postgresweekly.com/link/183422/web


👑 @Database_Academy
🔵 عنوان مقاله
Waiting For Postgres 19: Allow Table Exclusions in Publications

🟢 خلاصه مقاله:
در انتظار نسخه ۱۹ پستگرس، ویژگی جدیدی قرار است معرفی شود که مدیریت و کنترل انتشارهای منطقی در پایگاه داده‌ها را به سطح بالاتری می‌برد. بر اساس این به‌روزرسانی، کاربران قادر خواهند بود با استفاده از دستور جدیدی به نام «EXCEPT TABLE»، برخی جداول خاص را از فرآیند انتشار در publicationهای مبتنی بر «FOR ALL TABLES» مستثنی کنند. این امکان به مدیران پایگاه داده کمک می‌کند تا در مواردی که نیاز است فقط بخش خاصی از جداول در انتشار قرار گیرند و مابقی در ظاهر حذف یا استثنا شوند، به راحتی این کار را انجام دهند. چنین قابلیتی به ویژه در محیط‌های پیچیده و بزرگ، زمانی که کنترل دقیق‌تر بر روی نسخه‌پذیرها (replications) ضرورت دارد، بسیار مفید و کارآمد است. به این ترتیب، نسخه ۱۹ پستگرس امکانات جدید و انعطاف‌پذیری بیشتری برای مدیریت داده‌ها و انتشارهای آن فراهم می‌کند و انتظار می‌رود در آینده‌ای نزدیک مورد استقبال قرار گیرد.

#پستگرس #نسخه۱۹ #پشتیبانی_از_انتشارات #مدیریت_پایگاه_داده

🟣لینک مقاله:
https://postgresweekly.com/link/182727/web


👑 @Database_Academy