🔵 عنوان مقاله
Jev as a judge: How counterfeit policy steers Jev (9 minute read)
🟢 خلاصه مقاله:
در مطالعه‌ای که اخیراً منتشر شده، محققان به بررسی نحوه تأثیرگذاری سیاست‌های تقلبی بر عملکرد سیستم‌های هوشمند مانند Jev پرداختند. این سیاست‌ها به عنوان «سیاست‌های جعلی» شناخته می‌شوند و در واقع نوعی فریب در محتواهای نامعتبر هستند که هدفشان این است که پاسخ‌های مورد نظر را به سیستم بدهند و تقسیم‌بندی‌های مختلف حمله را به گونه‌ای تغییر دهند که برای سیستم بی‌ضرر و بی‌خطر به نظر برسند.
در این مطالعه، محققان نشان دادند که افزودن یک «سیاست جعلی» قبل از ارائه محتوا، می‌تواند میزان تشخیص حملات مخرب را به طور قابل توجهی کاهش دهد. به عنوان مثال، بر روی مجموعه‌ای از ۴۶۴۳ حمله سمت آزمون، میزان توانایی سیستم در شناسایی دروغ و حملات مخرب، از ۸۲.۹۰٪ به تنها ۳.۸۸٪ کاهش یافته است. این نشان می‌دهد که سیاست‌های تقلبی چقدر می‌توانند به اعتماد سیستم آسیب برسانند و باعث شود حملات مخرب به راحتی عبور کنند.
علاوه بر این، تیم تحقیقاتی دیتادگ (Datadog) نمونه‌هایی از این سیاست‌ها را در فیلدهای قابل ویرایش توسط کاربران آزمایش کردند. نتیجه این آزمایش نشان داد که خطر مربوط به تغییرات غیرمجاز در این سیستم‌ها، از نمره متوسط ۰.۸۹۳ به ۰.۲۹۰ کاهش یافته است، که آن‌هم زیر حد برخورد مسائل امنیتی یعنی ۰.۵ است. این نتایج حاکی از آن است که استفاده از سیاست‌های جعلی می‌تواند در بهبود امنیت و کاهش خطر نواقص امنیتی موثر باشد.
در مجموع، این تحقیقات نشان می‌دهند که چگونه سیاست‌های تقلبی و جعلی در فرآیندهای هوشمند، می‌توانند خط قرمزهای امنیتی را تغییر دهند و سیستم‌های امنیتی و ارزیابی خودکار را فریب دهند. این یافته‌ها برای تیم‌هایی که از Jev در دروازه‌های امنیتی بهره می‌برند، هشداردهنده بوده و ضرورت توسعه روش‌های مقاوم‌تر در برابر این نوع تهدیدات را آشکار می‌کند.
#امنیت_هوشمند #حفاظت_داده‌ها #هوش_مصنوعی #تهدیدات_سایبری
🟣لینک مقاله:
https://securitylabs.datadoghq.com/articles/jev-as-a-judge-how-counterfeit-policy-steers-jev/?utm_source=tldrinfosec
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Jev as a judge: How counterfeit policy steers Jev (9 minute read)
🟢 خلاصه مقاله:
در مطالعه‌ای که اخیراً منتشر شده، محققان به بررسی نحوه تأثیرگذاری سیاست‌های تقلبی بر عملکرد سیستم‌های هوشمند مانند Jev پرداختند. این سیاست‌ها به عنوان «سیاست‌های جعلی» شناخته می‌شوند و در واقع نوعی فریب در محتواهای نامعتبر هستند که هدفشان این است که پاسخ‌های مورد نظر را به سیستم بدهند و تقسیم‌بندی‌های مختلف حمله را به گونه‌ای تغییر دهند که برای سیستم بی‌ضرر و بی‌خطر به نظر برسند.
در این مطالعه، محققان نشان دادند که افزودن یک «سیاست جعلی» قبل از ارائه محتوا، می‌تواند میزان تشخیص حملات مخرب را به طور قابل توجهی کاهش دهد. به عنوان مثال، بر روی مجموعه‌ای از ۴۶۴۳ حمله سمت آزمون، میزان توانایی سیستم در شناسایی دروغ و حملات مخرب، از ۸۲.۹۰٪ به تنها ۳.۸۸٪ کاهش یافته است. این نشان می‌دهد که سیاست‌های تقلبی چقدر می‌توانند به اعتماد سیستم آسیب برسانند و باعث شود حملات مخرب به راحتی عبور کنند.
علاوه بر این، تیم تحقیقاتی دیتادگ (Datadog) نمونه‌هایی از این سیاست‌ها را در فیلدهای قابل ویرایش توسط کاربران آزمایش کردند. نتیجه این آزمایش نشان داد که خطر مربوط به تغییرات غیرمجاز در این سیستم‌ها، از نمره متوسط ۰.۸۹۳ به ۰.۲۹۰ کاهش یافته است، که آن‌هم زیر حد برخورد مسائل امنیتی یعنی ۰.۵ است. این نتایج حاکی از آن است که استفاده از سیاست‌های جعلی می‌تواند در بهبود امنیت و کاهش خطر نواقص امنیتی موثر باشد.
در مجموع، این تحقیقات نشان می‌دهند که چگونه سیاست‌های تقلبی و جعلی در فرآیندهای هوشمند، می‌توانند خط قرمزهای امنیتی را تغییر دهند و سیستم‌های امنیتی و ارزیابی خودکار را فریب دهند. این یافته‌ها برای تیم‌هایی که از Jev در دروازه‌های امنیتی بهره می‌برند، هشداردهنده بوده و ضرورت توسعه روش‌های مقاوم‌تر در برابر این نوع تهدیدات را آشکار می‌کند.
#امنیت_هوشمند #حفاظت_داده‌ها #هوش_مصنوعی #تهدیدات_سایبری
🟣لینک مقاله:
https://securitylabs.datadoghq.com/articles/jev-as-a-judge-how-counterfeit-policy-steers-jev/?utm_source=tldrinfosec
➖➖➖➖➖➖➖➖
👑 @software_Labdon
Datadoghq
Jev as a judge: How counterfeit policy steers Jev
We evaluate Jev's prompt injection detection and show how counterfeit classification policies can steer its decisions and bypass LangChain's tool-risk gating.