همایش کاربرد هوش مصنوعی در بازنگری هوشمندانه و روش های نوین فرآیندهای اقتصادی

@BIMining

5 تکنیک برای بهینه‌سازی LLMها:
1) LoRA
- دو ماتریس کم‌رتبه، A و B، را به همراه ماتریس‌های وزن W که شامل پارامترهای قابل آموزش هستند، بروزرسانی کنید.
2) LoRA-FA
- در حالی که LoRA به طور قابل توجهی تعداد کل پارامترهای قابل آموزش را کاهش می‌دهد، هنوز هم نیاز به حافظه فعال بالا برای به‌روزرسانی وزن‌های کم‌رتبه دارد.
- LoRA-FA (FA مخفف Frozen-A) ماتریس A را قفل می‌کند و فقط ماتریس B را به‌روزرسانی می‌کند.

3) VeRA
- در LoRA، هر لایه یک جفت متفاوت از ماتریس‌های کم‌رتبه A و B دارد و هر دو ماتریس آموزش داده می‌شوند.
- اما در VeRA، ماتریس‌های A و B قفل شده، تصادفی و در تمام لایه‌های مدل مشترک هستند.
4) Delta-LoRA
- در اینجا، علاوه بر آموزش ماتریس‌های کم‌رتبه، ماتریس W نیز تنظیم می‌شود اما نه به روش سنتی.
- بلکه تفاوت (یا دلتا) بین حاصل‌ضرب ماتریس‌های کم‌رتبه A و B در دو مرحله آموزشی متوالی به W اضافه می‌شود.
5) LoRA+
- در LoRA، هر دو ماتریس A و B با همان نرخ یادگیری به‌روزرسانی می‌شوند.
- نویسندگان دریافتند که تنظیم نرخ یادگیری بالاتر برای ماتریس B منجر به همگرایی بهینه‌تر می‌شود.

عملیات اصلی – بهینه‌سازی ساخت و شکل‌دهی مؤثر در پایتون

-دستور append(item)— افزودن یک عنصر به انتهای لیست.
-د remove(item) — حذف اولین مورد از یک مقدار خاص.

-د insert(index, item) — قرار دادن یک عنصر در موقعیت خاصی در لیست. → زمانی که ترتیب عناصر حیاتی است، کاربرد دارد.

-دpop([index]) — حذف و بازگشت یک عنصر با استفاده از اندیس آن. → معمولاً با append() در الگوریتم‌های مبتنی بر پشته همراه است.

-د count(item) — تعداد دفعاتی که یک مقدار در لیست ظاهر می‌شود را برمی‌گرداند.

-دindex(item[, start[, end]]) — اولین موقعیت یک مقدار را پیدا می‌کند. → ضروری برای پیاده‌سازی جستجو یا منطق اعتبارسنجی.

-د sort(key=None, reverse=False)— مرتب‌سازی عناصر در محل، با قوانین سفارشی اختیاری.

-د reverse() — ترتیب لیست را معکوس می‌کند. → معمولاً در مکانیزم‌های لغو یا ویژگی‌های بازگشت استفاده می‌شود.

-د copy() — یک کپی سطحی از لیست ایجاد می‌کند. → از تغییرات ناخواسته هنگام انتقال لیست‌ها بین توابع جلوگیری می‌کند.

-د clear() — لیست را به‌طور کامل خالی می‌کند. → ایده‌آل برای بازنشانی ذخیره‌سازی موقت یا
ساختارهای کش.

سخنرانی در سمینار کاربرد و چالش های هوش مصنوعی در بازارهای مالی و بانکی
-ارائه آخرین اطلاعات از کاربردهای هوش مصنوعی و چالشهای آن در صنعت بانکی و مالی ایران و دنیا
- ارائه تجربه ۱۵ ساله در بیش از ۵۷ پروژه بزرگ در بانکهای ایران

@BIMining

ویژگی‌های ACID چیست؟
ویژگی‌های ACID اساس سیستم‌های پردازش تراکنش قابل اعتماد را تشکیل می‌دهند و از یکپارچگی و سازگاری داده‌ها اطمینان حاصل می‌کنند. در اینجا توضیحات واضحی ارائه شده است:
1- اتمیک بودن (Atomicity)
تراکنش به عنوان یک واحد غیرقابل تقسیم در نظر گرفته می‌شود: یا همه مراحل موفقیت‌آمیز هستند یا هیچ‌کدام اعمال نمی‌شوند. اگر خطایی رخ دهد، سیستم تمام تغییرات را به حالت اولیه برمی‌گرداند و پایگاه داده بدون تغییر باقی می‌ماند.
-2-سازگاری (Consistency)
تراکنش‌ها اطمینان حاصل می‌کنند که قوانین و محدودیت‌های یکپارچگی داده‌ها در تمام اوقات حفظ شوند. به عنوان مثال، یک سیستم بانکی از برداشت‌هایی که منجر به موجودی منفی می‌شوند، جلوگیری می‌کند.
-3- جداسازی (Isolation)
هر تراکنش به‌طور مستقل اجرا می‌شود، حتی زمانی که چندین تراکنش به‌طور همزمان رخ می‌دهند. این امر از بروز تضادها جلوگیری می‌کند، مانند دو عملیاتی که سعی دارند همزمان یک حساب را تغییر دهند.
-4- دوام (Durability)
پس از تأیید، تغییرات دائمی هستند و حتی در صورت بروز خطا در سیستم، باقی می‌مانند.

@BIMining

در این وبینار، دکتر محمد عالیشاهی، متخصص برجسته حوزه هوش مصنوعی و داده با سابقه ارزشمند در صنعت بانکی، به معرفی کلیک‌هاوس (ClickHouse) به عنوان یکی از قدرتمندترین موتورهای پایگاه داده برای پردازش داده‌های بزرگ و تحلیل‌های بلادرنگ می‌پردازد.

لینک ثبت نام


@BIMining
لینک ویدئو :
http://www.aparat.com/nemoudar
http://youtube.com/@nemoudarbi

انبار داده (1980-2010): یک مخزن بزرگ و سازمان‌یافته که برای تحلیل بهینه‌سازی شده است، نه برای تراکنش‌ها. این مرکز فرماندهی هوش تجاری شماست - به دقت سازماندهی شده و بهینه‌سازی شده برای کوئری‌های پیچیده، اما نیاز به داده‌های ساختار یافته و طراحی طرح اولیه قابل توجهی دارد و می‌تواند بسیار پرهزینه باشد.

دریاچه داده (2010-2020): جایگزین انعطاف‌پذیر برای انبارهای داده. یک مخزن ذخیره‌سازی عظیم که داده‌های خام و بدون پردازش را در قالب خود ذخیره می‌کند تا زمانی که نیاز باشد. مناسب برای سازمان‌هایی که با حجم زیادی از انواع مختلف داده‌ها سروکار دارند، اما بدون مدیریت مناسب می‌تواند به باتلاق داده تبدیل شود.

دیتالیک هاوس(2020 تا کنون): یک معماری ترکیبی که بهترین ویژگی‌های هر دو جهان را ارائه می‌دهد. این معماری انعطاف‌پذیری و کارایی اقتصادی دریاچه‌های داده را با قابلیت اطمینان و عملکرد انبارهای داده ترکیب می‌کند. این را می‌توانید به عنوان توانایی ذخیره‌سازی هر چیزی و ساختار آن برای تحلیل هر چیزی تصور کنید.
@BIMining

🔴#پرسشگر
🟡#شبکه_آموزش_سیما
🔹#یکشنبه ۱۴۰۳/۱۲/۲۶
🔸موضوع:هوش مصنوعی؛‌ بانکداری نوین
🔺مجری: #میترا_بهرامی
مهمانان
🔺دکتر محمد صبری
دکترای مهندسی کامپیوتر گرایش هوش مصنوعی، مدرس دانشگاه، مدیرعامل شرکت دانش بنیان
🔺دکترمحمد عالیشاهی
دکترای مهندسی کامپیوتر رئیس هیئت مدیره شرکت دانش بنیان
🔺سردبیر و مجری طرح: #مهدی_برومند
🔺تهیه کننده: #مریم_فیروزی

انجمن ملی هوش مصنوعی ایران حامی علمی و محتوی برنامه پرسشگر

@BIMining

لینک برنامه تلویزیونی پرسشگر با موضوع "هوش مصنوعی بانکداری نوین"

https://telewebion.com/episode/0x11f8082e

1️⃣4️⃣0️⃣4️⃣
سلام و عرض ارادت
☘❤🌷فرا رسیدن نوروز باستانی و بهار دلنشین بر شما مبارک باد. امیدوارم سالی سرشار از امید، آرامش درونی، آگاهی به داشته‌ها، تلاش، موفقیت، برکت، لبخند و تندرستی داشته باشید.
ارادتمند شما هستم
عالیشاهی

@BIMining

هوش مصنوعی سلسله‌مراتبی از روش‌هاست که هر لایه قابلیت‌های پیشرفته‌تری را ممکن می‌سازد. این تمایز برای درک وضعیت کنونی و مسیر آینده هوش مصنوعی حیاتی است.
1-هوش مصنوعی (AI): گسترده‌ترین دسته شامل اتوماسیون، استدلال و تصمیم‌گیری؛ امروز عمدتاً مبتنی بر داده‌هاست.
2-یادگیری ماشین (ML): هوش مصنوعی که الگوها را از داده‌ها بدون برنامه‌نویسی صریح یاد می‌گیرد.
3-شبکه‌های عصبی (NN): زیرمجموعه‌ای از ML که تحت تأثیر مغز انسان طراحی شده است.
4-یادگیری عمیق (DL): شبکه‌های عصبی چندلایه که پیشرفت‌هایی مانند شناسایی تصویر و پردازش گفتار را ممکن کرده‌اند.
5-ترانسفورمرها: معماری انقلابی گوگل در ۲۰۱۷ برای درک و تولید زبان.
6-هوش مصنوعی مولد (GenAI): هوش مصنوعی که علاوه بر تحلیل داده، تولید محتوا انجام می‌دهد.
7-دGPT: زیرمجموعه‌ای از GenAI برای تولید متن با ترانسفورمرها.
8-مدل‌های زبانی بزرگ (LLM): مدل‌های عظیم آموزش‌دیده بر داده‌های گسترده برای درک و تولید زبان انسانی.
9د-GPT-4: یکی از پیشرفته‌ترین LLMها برای تولید پاسخ‌های مشابه انسان.
🔟 ChatGPT: کاربرد خاص GPT-4 برای مکالمات تعاملی و هوش مصنوعی مکالمه‌ای.

دنیای داده بسیار گسترده است، اما دانستن تفاوت این نقش‌ها می‌تواند سردرگمی را دور کند :

۱. تحلیل‌گر داده (Data Analyst)
شما داده‌های خام را به بینش‌های واضح برای تصمیم‌گیری تبدیل می‌کنید.
مناسب برای: افراد کنجکاوی که به الگوها و داشبوردها علاقه دارند.

۲. دانشمند داده (Data Scientist)
شما مدل‌های پیش‌بینی می‌سازید و روندها را با استفاده از آمار و یادگیری ماشین کشف می‌کنید.
مناسب برای: حل‌کنندگان مسئله که به کدنویسی و ریاضیات علاقه دارند.

۳. تحلیل‌گر کسب‌وکار (Business Analyst)
شما پل ارتباطی بین داده و اهداف کسب‌وکار هستید.
مناسب برای: ارتباط‌گیرندگانی که از تحلیل و استراتژی لذت می‌برند.

۴. مهندس یادگیری ماشین (ML Engineer)
شما مدل‌های یادگیری ماشین را در مقیاس وسیع و به‌صورت قابل اطمینان پیاده‌سازی می‌کنید.
مناسب برای: برنامه‌نویسانی که عاشق اتوماسیون، سیستم‌ها و بهره‌وری هستند.

۵. مهندس GenAI
شما اپلیکیشن‌های مبتنی بر هوش مصنوعی را برای خلاقیت، اتوماسیون و شخصی‌سازی کاربر توسعه می‌دهید.
مناسب برای: جویندگان ماجراجو که مشتاق ساخت آینده با هوش مصنوعی هستند.
@BIMining

راهی ساده و سرگرم‌کننده برای یادآوری اجزای کلیدی یک استک داده مدرن:

1- انبار داده (Data Warehouse)
مانند یک اتاق ذخیره‌سازی منظم.
✅ داده‌های تمیز و ساختار یافته را ذخیره می‌کند
✅ مناسب برای گزارش‌ها، داشبوردها و تحلیل‌های کسب‌وکار
💡 مثال: Azure Synapse Analytics
2- دریاچه داده (Data Lake)
مانند یک دریاچه بزرگ که همه چیز در آن ریخته می‌شود.
✅ داده‌های خام، نیمه‌ساختاریافته و غیرساختاریافته را نگه می‌دارد
✅ عالی برای علم داده و اکتشاف یادگیری ماشین
💡 مثال: Azure Data Lake Storage
3- کارخانه داده (Data Factory)
مانند یک کارخانه که مواد خام را جابجا و پردازش می‌کند.
✅ داده‌ها را جابجا، تمیز و تبدیل می‌کند
✅ مدیریت جریان‌های ETL/ELT
💡 مثال Azure Data Factory:
4- دیتا بریکس( ATABRICKS)
مانند یک کارگاه قدرتمند آجر.
✅ از Apache Spark برای پردازش داده‌های کلان استفاده می‌کند
✅ برای یادگیری ماشین و تحلیل‌های پیشرفته طراحی شده است
💡 مثال: Azure Databricks
@BIMining

در نسخه 25.0.4 DBeaver ، پشتیبانی از پایگاه داده ClickHouse با دو تغییر مهم بهبود یافته است:
1. به‌روزرسانی درایور ClickHouse به نسخه 0.8.5
ابزار DBeaver برای اتصال به ClickHouse از درایور JDBC استفاده می‌کند. در نسخه25.0.4 این درایور به نسخه 0.8.5 ارتقا یافته است.
مزایای این به‌روزرسانی:
•افزایش سازگاری با نسخه‌های جدیدتر ClickHouse.
•رفع باگ‌ها و بهبود عملکرد ارتباط با سرور.
•پشتیبانی بهتر از ویژگی‌ها و قابلیت‌های جدید ClickHouse.
•امنیت و پایداری بیشتر در ارتباطات پایگاه داده.
درایور جدید را می‌توانید از طریق تنظیمات اتصال (Connection Settings) در DBeaver انتخاب یا به‌روزرسانی کنید. همچنین امکان ویرایش تنظیمات پیشرفته درایور (مانند پارامترهای JDBC) وجود دارد.
2. رفع مشکل نمایش نوع داده‌ها (Data Type Display)
در نسخه‌های قبلی DBeaver، برخی کاربران با مشکل نمایش نادرست یا ناقص نوع داده‌ها (Data Types) در جدول‌ها و ستون‌های ClickHouse مواجه بودند. این مشکل در نسخه 25.0.4 برطرف شده است.
@BIMining

✅تحلیل‌گر داده (Data Analyst)
شرح وظایف: تحلیل داده‌های موجود برای استخراج اطلاعات و پشتیبانی از تصمیم‌گیری مبتنی بر داده.

✅دانشمند داده (Data Scientist)
شرح وظایف: توسعه و پیاده‌سازی مدل‌های آماری و الگوریتم‌های یادگیری ماشین برای استخراج بینش و انجام پیش‌بینی‌های مبتنی بر داده.

✅تحلیل‌گر کسب‌وکار (Business Analyst)
شرح وظایف:تحلیل و مستندسازی فرآیندهای کسب‌وکار برای شناسایی فرصت‌ها، نیازمندی‌ها و ارائه پیشنهادات برای بهبود.

✅مهندس یادگیری ماشین (ML Engineer)
شرح وظایف: طراحی، توسعه و پیاده‌سازی سیستم‌های یادگیری ماشین برای تضمین مقیاس‌پذیری، عملکرد و قابلیت اطمینان در محیط تولید.
مهارت‌ها: یادگیری ماشین- مهندسی داده (ETL، پایپ‌لاین‌ها)-پایتون / جاوا-SQL-ابزارهای داده حجیم-مهندسی نرم‌افزار

✅مهندس هوش مصنوعی مولد (GenAI Engineer)
شرح وظایف: توسعه و پیاده‌سازی مدل‌ها و برنامه‌های هوش مصنوعی مولد برای تولید محتوا، خودکارسازی و ارائه تجربه‌های شخصی‌سازی‌شده.
مهارت ها: پایتون (Transformers، PyTorch، TensorFlow)-HuggingFace-LangChain-LangAPIها-مدل‌های LLMs

@BIMining

در سال ۲۰۳۰ واقعاً چه چیزی اهمیت خواهد داشت؟
این نمودار یک تغییر چشمگیر را نشان می‌دهد:
راهبرد، سازگاری و تسلط بر فناوری به سرعت در حال رشد هستند ، در حالی که مهارت‌های سنتی مانند کنترل کیفیت، آموزش و حتی برنامه‌نویسی در اولویت پایین‌تری قرار می‌گیرند.
چرا؟ چون هوش مصنوعی در حال بازنویسی قواعد بازی است.
کارفرمایان دیگر فقط به دنبال «مهارت» به معنای سنتی آن نیستند آن‌ها به دنبال افرادی هستند که در این موارد برجسته باشند:
→ تفکر تحلیلی
→ تاب‌آوری، انعطاف‌پذیری و چابکی
→ رهبری و تأثیرگذاری اجتماعی
→ انگیزه و خودآگاهی
→ تفکر خلاق
→ تفکر سیستمی
→ کنجکاوی و یادگیری مادام‌العمر
این دقیقاً همان جایی است که چارچوب شایستگی جدید ما با عنوان «پنج‌گانه بزرگ راهبردی» وارد می‌شود. این فقط یک چارچوب یا مجموعه‌ای از مهارت‌های نرم و سخت نیست—بلکه مجموعه‌ای متمرکز از مهارت‌های قدرت‌مند است که برای دنیای پر از عدم قطعیت و تغییر طراحی شده‌اند.

@BIMining

چگونه RAG کار می‌کند:
تولید تقویت‌شده با بازیابی یا RAG به مدل زبان اجازه می‌دهد تا پاسخ‌ها را بر اساس دانش خارجی ارائه دهد، نه فقط آنچه که روی آن آموزش دیده است:
1️⃣ کاربر یک سؤال می‌پرسد.
ممکن است ورودی فاقد زمینه کافی باشد، مثلاً: «آیا امکان خروجی PDF دارد؟»
2️⃣ مدل زبان بزرگ (LLM) سؤال را بازنویسی می‌کند.
با استفاده از تاریخچه گفتگو، سؤال را به یک پرسش مستقل تبدیل می‌کند:
«ویژگی‌های پلن Pro چیست؟ آیا می‌تواند PDF صادر کند؟»
3️⃣ جستجوی معنایی فعال می‌شود.
پرسش مستقل به صورت برداری تبدیل شده و با بخش‌های موجود در اسناد از طریق شباهت برداری مقایسه می‌شود.

4️⃣ پرامپت (ورودی مدل) ساخته می‌شود.
سیستم مرتبط‌ترین بخش‌ها را جمع‌آوری و آنها را در قالب پرامپتی ساختارمند قرار می‌دهد. این مرحله توسط یک زنجیره پرسش و پاسخ (QA Chain) انجام می‌شود که ترکیب می‌کند:
▪️ پرسش مستقل
▪️ زمینه بازیابی شده
▪️ قالب پاسخ
5️⃣ مدل زبان بزرگ پرامپت کامل را با دانش خارجی استدلال کند، حتی اگر روی آن آموزش ندیده باشد.
6️⃣ پاسخ نهایی تولید می‌شود.
پاسخ بر اساس اسناد بازیابی شده است، نه فقط حافظه داخلی مدل.

مقایسه پلتفرم های بیگ دیتا LICKHOUSE ، Apache Druid , Apache Doris بر اساس سایت معتبر DBEngines

ClickHouse :
به وضوح بر کارایی فوق‌العاده بالا و پردازش کوئری‌های OLAP با حداقل زمان ممکن تمرکز دارد. استفاده از C++ و معماری ستونی (Column-oriented) این امکان را فراهم می‌کند.

نقطه قوت: بهترین عملکرد را برای تجمیع‌های پیچیده و کوئری‌های تحلیلی بر روی داده‌های عظیم ارائه می‌دهد. پشتیبانی گسترده از زبان‌های برنامه‌نویسی و انواع API، آن را بسیار انعطاف‌پذیر می‌کند.

نقاط متمایز: تنها پلتفرمی است که در این مقایسه قابلیت‌های In-memory و DBaaS (سرویس ابری مدیریت شده) را ارائه می‌دهد و از replication فیزیکی همزمان و غیرهمزمان با پشتیبانی از ذخیره‌سازهای ابجکت بهره می‌برد.

Apache Druid:
به صورت خاص برای کوئری‌های OLAP زیر ثانیه بر روی داده‌های با ابعاد بالا و کاردینالیتی بالا (High Dimensionality & High Cardinality) طراحی شده است.

نقطه قوت: بسیار مناسب برای داده‌های سری زمانی (Time Series Data) و داشبوردهای لحظه‌ای (Real-time Dashboards) که نیاز به پاسخگویی بسیار سریع دارند. موتور اصلی آن جاوا است.
@BIMining