کانفیگ لوکال بنده :

services:
  ollama:
    volumes:
      - ~/.ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    ports:
      - 11434:11434
    restart: unless-stopped
    image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}
    deploy:
      resources:
        reservations:
          devices:
            - driver: ${OLLAMA_GPU_DRIVER-nvidia}
              count: ${OLLAMA_GPU_COUNT-2}
              capabilities:
                - gpu

  open-webui:
    build:
      context: .
      args:
        OLLAMA_BASE_URL: "/ollama"
      dockerfile: Dockerfile
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    ports:
      - ${OPEN_WEBUI_PORT-3000}:8080
    environment:
      - "OLLAMA_BASE_URL=http://ollama:11434"
      - "WEBUI_SECRET_KEY="
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

  qdrant:
    volumes:
      - qdrant_db:/qdrant/storage:z
    image: qdrant/qdrant
    container_name: qdrant
    ports:
      - 6333:6333
      - 6334:6334

volumes:
  open-webui: {}
  qdrant_db: {}

فقط این دیفالت رو از ۲ به تعداد کارت گرافیک تغییر بدید :

${OLLAMA_GPU_COUNT-2}

و از داکیومنت ollama موارد لازم برای راه‌اندازی docker-nvidia رو نصب کنید.

بعد از این مرحله مدل‌های مورد نظرتون رو دانلود کنید:

for model in devstral gemma3:27b deepseek-r1:32b qwen3:32b nomic-embed-text; do                                                                                              
    docker exec -it ollama ollama pull "$model"
done

وقتی این موارد تموم شد roocode رو روی vscode نصب کنید (پیشنهاد می‌کنم از بخش تنظیمات experimental قابلیت codebase indexing رو فعال کنید)

embedding provider: Ollama
Model: nomic-embed-text
ollama url: http://localhost:11434
Qdrant url: http://localhost:6333

علاوه بر این از طریق http://localhost:3000 می‌تونید openweb-ui رو هم داشته باشید.

برای اینکه
Deepseek coder v3 671B
رو اجرا کنید احتمالا راهکاری به ذهنتون نمیرسه که بیشتر از ۱.۳ توکن خروجی بده تازه به شرط اینکه بیش از ۰.۵ ترابایت رم هم داشته باشید.

بعد از اینکه کانفیگ لوکال خودم رو گذاشتم و روی سورس کدهام تست گرفتم دیدم چندتا چیز برای بهبود نتایج لازم دارم :

۱- استفاده از embedding بهتر مثل Qwen3-8b
۲- استفاده همزمان از حداقل ۳ مدل
۳- مدل نهایی به جهت بررسی کدهای تولید شده توسط ۳ مدل دیگه

اگر این ترکیب رو استفاده کنم؛ فکرم این بود که ۳ مدل زیری رو بدون think اجرا کنم ولی مدل‌های تخصصی coder باشند و مدلی که قابلیت think داره رو بذارم که نهایتا با یک context خوب + embedding خوب بتونه کار رو در بیاره.

اول اومدم ایده رو تست کردم؛ یک مقدار هزینه و سرعت و ... رو گذاشتم کنار هر ۳ تا مدل رو تک تک اجرا کردم (هرکدوم روی یکی از GPU ها) نتابجشون رو ذخیره کردم
و درنهایت بصورت دستی نتابج رو دادم به مدل think که خیلی دقت کدهای تولید شده بالارفت
استایل رو رعایت میکرد
جاهایی از کد که رعایت نکرده بودم رو هم بهم گزارش میداد و ...
اینجوری بودم که خب اگر این روی لوکال کار بکنه من که دیگه cloud لازم نخواهم داشت.

از نظر زمانی هم بصرفه بود؛ اگر و تنها اگر می‌تونستم هر ۳ مدل لایه پایین‌تر رو همزمان اجرا کنم؛‌خلاصه که گشتم دنبال راهکارهای منطقی همزمان اجرا کردن؛ یادمون باشه که اینجا مدل‌ها معماری‌های متفاوتی دارند و مثل حالتی نیست که معماری زیرین مدل‌ها یکی باشه و ... (اگر اون تکنیک رو بلدید برای بهینه پروداکشن کردن)

بگذریم توی تحقیقات رسیدم به Ktransformer (مرسی توییتر) :

Local 671B DeepSeek-Coder-V3/R1: Running its Q4_K_M version using only 14GB VRAM and 382GB DRAM

ایده جذاب این تیم اینه که بخش‌هایی که هزینه سنگین برای اجرا داره رو روی GPU میبره و باقی رو میده خود CPU اجرا کنه منم که ۲ تا GPU دارم اگر بشه بجای هر مدل ۲۲ گیگ به هر مدل ۱۱ گیگ گرافیک بدم مشکلم حل میشه. مخصوصا اینکه از نظر RAM سیستم من ۱۲۸ گیگ رم داره که این روزا توی استفاده‌های سنگین هم نهایتا به ۵۰ گیگ نیاز هست.

آیا این فریمورک مشکل من رو حل می‌کنه ؟ کوتاه : خیر
اما ایده خوبی رو بهم داد.

من دارم تلاش می‌کنم از راهکاری که گیمرها چندسال قبل برای تقسیم GPU بین بازی‌ها استفاده میکردند استفاده کنم (تا این لحظه موفق نبودم ولی کل چیز جدید یادگرفتم)
ترکیب این راهکار با دستاورد این کد احتمالا من رو بتونه به جاهای خوبی برسونه اگر هم نشد اشکالی نداره یادگیری مفیدی بوده (حتی تا همینجا) و البته به کمک KTransformers می‌تونم مدل 70B رو روی سیستم خودم اجرا کنم بدون دردسر.

احتمالا شما هم بتونی مدل 14B رو بجای 7B روی سیستم خودت بیاری (شاید لازم باشه کمی دست به کد بشی اگر مدل پشتیبانی نمیشه هنوز)

Ktransformers Github

تعجب کردید چطوری جنگنده‌های اسرائیلی به آسمان مشهد رسیدند ؟

من نکردم؛ چون آسمان بی‌صاحاب شد وقتی سپهبد #نادر_جهانبانی رو برای حفظ حریم هوایی به ناحق کشتید.

حتی موقعی که کشتیدش هم لباس خدمت به وطن رو از تنش در نیاورد ♥️💔

#ایران

وقتی این روزها رو پشت سر گذاشتیم جون مادرتون چندتا کار رو انجام بدید :

۱- از روسیه فاصله بگیرید؛ به جرم جاسوسی بگیرید هرکی که اسم روسیه رو آورد.
نه سوخو داریم
نه s300-s400
نه حمایت
فقط پول رو خرجش کردیم؛ کشوری که پاره شدیم گفتیم تو تاریخ همیشه نامرد بوده برای ما.

۲- مهاجرین غیرقانونی رو اخراج کنید؛ جرم انگاری سنگین بذارید برای ورود‌های غیرقانونی.
با خانواده اخراجشون کنید؛ اینکه فقط مرداشون رو اخراج کنید دوای درد نیست.

۳- تریبون رو از رائفی‌پورها بگیرید؛ بوالله که اگر این‌ها جاسوس نباشند دوست نیستند.
خریت این‌ها مملکت رو به این روز انداخت؛ نذاشتند با دنیا تعامل کنیم.
نذاشتند بخش نظامی تقویت بشه؛ انقدر که با جفنگیات خواستند جلوی بمب و موشک و ... رو بگیرند.
من هنوز هم باور ندارم که این‌ها انقدر احمق باشند؛ تنها موردی که به ذهنم میرسه جاسوس بودن هست.

نمی‌دونم چی بگم دیگه ...
به امید روزای روشن برای ایران عزیزم ♥️

#book

برای ریاضیات AI نمیشه یک کتاب معرفی کرد و بعدش ادعا کرد دیگه هیچی نیاز نیست.

اما این کتاب برای حال حاضر و دستاوردهای فعلی هوش مصنوعی کتاب کاملی هست و ریاضیاتی که لازم دارید رو آموزش میده بنظرم ارزش خوندن توی این روزها رو داره.

پ.ن :

خودم کتاب رو خوندم؛ مثل همیشه کتابی که نخونده باشم رو معرفی نمی‌کنم.

یک شرکتی هم؛ معروف
نظرسنجی گذاشته که ببینه آیا کاربرهاش دسترسی به اینترنت دارند یا خیر.

بنظرتون این نظرسنجی رو کجاها گذاشته ؟

اینستاگرام؛ تلگرام؛ توییتر

بعد می‌گه من تیم مارکتینگ و دیتای بزرگی دارم؛ کمپ آموزشی هم میذاره تازه 😂

یعنی بایاس دیتا ازین بزرگتر و تابلوتر ؟
فقط عشق است اونایی که زدند؛ نه نداریم.

به خدا الان میرن همینایی که زدن نداریم رو هم بعنوان یک دسته میگیرند برای تصمیم گیری.

بقول دوستان :
ازینجا تا خود silicon valley خنده

IBM TechXchange 2025 Pre-conference watsonx Hackathon.

August 1 - 17

هکاتون IBM راجب GenAI رفته برای برگزاری ثبت نام برای تمام سطوح آزاد هست؛ این هکاتون آموزش و منابع و ... هم داره

جوایز خوبی هم داره؛ اگر علاقه داشتید گوگل کنید.

و تمام!!!!

اعلام آتش‌بس توسط هر دو طرف.

آپدیت :

عجب خر تو خری شد؛

عراقچی؛ از ۴ صبح آتش بس می‌تونه صورت بگیره.
اسرائیل میزنه تا آخرین ثانیه‌ها

سپاه؛ خب ماهم با چندتا موشک جواب میدیم چون ثانیه‌های آخر سنگین زده

اسرائیل؛ اینارو رهگیری می‌کنیم، میگیم به اهداف جنگ رسیدیم و تمام.

خبرگزاری‌های آمریکا؛ ونس، ویتکاف، روبیو با مقامات ایران مذاکره مستقیم و غیرمستقیم داشتند.
ترامپ؛ چندتا پست درمورد صلح:
بخصوص، صلح با زور

همه چیز بنظر صلح میاد؛

سپاه، دوباره شلیک ۱ موشک به سمت حیفا.
مثل اینکه آتش بس پذیرفته نشده.


بنظر میاد؛ ترامپ هم پست‌هاش راجب صلح رو پاک کرده (کندی اینترنت اجازه بررسی به بنده نداد)

واقعاً خاورمیانه از فیلم ترکی و فیلم هندی هم غیرقابل پیش‌بینی تر هست

این مقاله خیلی خیلی توی مباحث مربوط به Quantization مهم هست (حتما بخونید)

قبلتر BitNet توی مقالات دیگه نشون داده بود که نسخه Quantize شده حتی 1bit مدلی با 400B پارامتر می‌تونه حتی بهتر از مدل 70B پارامتری FP16 باشه درحالی که هر دو میزان مشابه‌ای سخت‌افزار مصرف می‌کنند.

اما توی مقالات بعدی BitNet1.58 که قبلتر معرفی کردم؛ نشون دادند با اضافه کردن 0 به Quantization چطور کمک کردند که هم مدل نتایج بهتری رو نشون بده هم سرعت inference بالا بره (به زبان ساده جایی که صفر میشه عملکردی مثل Dropout اتفاق میوفته برای Inference)

اما یک مشکل دیگه هم بود K,V cache رو کسی سراغش نرفته بود؛ توی این مقاله اینکار رو کردند و حالا همون مدل قبلی با Activation که کوانتایز شده با مصرف مموری کمتر می‌تونه context بیشتری رو نگهداره.

خلاصه که بخونید.

BitNet a4.8: 4-bit Activations for 1-bit LLMs

آپدیت:
این رو هم همکارم فرستاد (شخصا هنوز نخوندم) ولی مثل اینکه هدف کم کردن هزینه برای آموزش هست.

BitNet b1.58 2B4T Technical Report
microsoft/bitnet-b1.58-2B-4T on 🤗

چندتا پروژه مهم که توی نبود اینترنت ممکنه از دست داده باشید خبراش رو :


Nano-vLLM: A lightweight vLLM implementation built from scratch.

nanoVLM: simplest repository for training/finetuning a small sized Vision-Language Model with a lightweight implementation in pure PyTorch.

Magenta RT: open-weights live music model that allows you to interactively create, control and perform music in the moment.

مدل‌های جدید :

Gemma 3n full
Qwen VLo
Baidu (a series of open source models)
Tencent Hunyuan A13B

این ۴ تا لیست مدل‌های جدید هفته هست که Tencent Hunyuan توشون خیلی خودنمایی کرده‌ و می‌کنه.

IBM
سال 2023 نزدیک به ۸۰۰۰ نفر رو اخراج کرد.
چرا چون هوش مصنوعی جاشون رو گرفته بود؛

حالا تقریباً همون تعداد رو استخدام کرده اما نه برای همون مشاغل؛
افرادی که اخراج شدند تو زمینه HR بودند و افرادی که استخدام شدن متخصص در زمینه‌های دیگه

مارکتینگ، فروش و از همه مهمتر مهندسی نرم‌افزار
دقیقاً خبر قبلی رو یادم هست که می‌گفتند AI شغل برنامه‌نویس‌ها رو گرفت و ...

اون زمان گوگل و مایکروسافت و IBM و ... همه اخراج داشتند.
اما توی مدت کوتاهی همشون همون تعداد آدم رو توی زمینه‌های تخصصی‌تر استخدام کردند

این مدت بسیار گفتم، چیزی به اسم جونیور (مدلی که امروز داریم دیگه وجود نخواهد داشت)

واقعا نمیشه توی استفاده عادی Gemini CLI رو به limit نسخه رایگان رسوند.
مگر اینکه به عمد بهش درخواست زیاد بزنید
یا چت‌های مسخره باهاش بکنید.

باید به گوگل گفت؛ لعنتی مگه چقدر دیتا لازم داری (یا هزینه کرال و گرفتن دیتا چقدر هست که) به همه داری این دسترسی رو رایگان میدی ؟

مدل ۷ میلیاردی apple بر اساس Diffusion هارو تست می‌کردم

واقعاً سرعت خوبی داره.
همچنان Diffusion ها توی LLM مشکلات زیادی دارند ولی برای تسک‌های کوچک بسیار سرعت و دقت خوبی داره.

بیزینس البته علاقه‌ای به این تکنیک هنوز نداره؛ ولی برای استفاده شخصی مورد خوبی هست، مقاله اپل رو هم بخونید کار بیشتر تحقیقاتی بنظر می‌رسه (به دلیل همون محدودیت‌هایی که صحبتش شده قبلاً)

این گراک ۴ واقعا عالیه

Grok4

توی تسک‌های جدیدم یکیش ساخت یک تست برای Multimodal LLM هاست؛ شرکت ۵۰ تا حدودی تسک خاص داره که یکی از قدم‌هامون برای رسیدن به بهترین راهکار ساخت دیتاست تست چند مرحله‌ای هست.

توی مرحله اول؛ به تیمم گفتم با چندتا دوربین از سازه‌های شبیه به هم تصویر بگیرند یا مثل این بازی‌هایی که تغییرات دوتا تصویر رو باید پیدا کنید و ...

تست مرحله‌ اول رو هیچکدوم بیشتر از ۴۰٪ نگرفتند ولی Grok4 رو با اینکه ایلان ماسک و ... گفتند multi modal نقظه ضعف مدل هست بردم و تست کردم

این مدل فوق‌العاده‌اس؛ آره نمی‌تونه عکس تولید کنه یا ازین کارهایی که بدرد هیچکس نمیخوره ولی منطق داخل تصویر و متن رو خیلی راحت متوجه میشه

روی بخشی از دیتا که دست خودم هست بالای ۷۰٪ دقت داده که با اختلاف تا اینجا بهترین خروجی هست (البته هنوز پرامپت مناسب و ... نوشته نشده وگرنه احتمالا همه مدل‌ها بهتر هم خواهند شد)


نکته دوم کد نویسی هست که Grok3 عالی بود و این عالی‌تر واقعا ازین مدل راضی‌ام تا الان به معنای واقعی توی تسک‌هایی که به کار ما بخوره پیشرفت چشمگیر داشته.

نکته: من سوال جوابای کلی - چت‌های خاله زنکی و ... رو تست نمی‌کنم کارهایی رو تست می‌کنم که واقعا بدردم میخوره.
نرید با مدل‌های دیگه درد و دل کنید بیاید بگید این مدلا بهترند.
مدل شعور نداره؛ ما باید داشته باشیم.(اینو یادتون نره)

برای تست دوم؛ چند روز پیش درگیر این موضوع بودم و بطور کلی هم یه مینی پروژه واسه خودم زدم به اسم reading companion ( خیلی جای بهتر شدن داره ولی کارمو راه میندازه؛ اصن الان که فکر میکنم شاید محصولش کردم.) توی این لینک هم توضیح دادم چی شد:

https://xn--r1a.website/per3onal/449

اومدم همون پرامپت‌ها رو ازون چت‌ها دادم به این مدل؛ خروجی‌هاش خیلی بهتره بخصوص اینکه حافظه‌اش طولانی تر هست.
و اینکه چت‌ها رو باهم قاطی کردم (گفتم اگر فقط نوشتم fa یا lang:fa همون موضوع رو فارسی بهم توضیح بده و کلمات تخصصی رو ترجمه نکن بلکه توضیحش رو به فارسی بگو و سعی کن این توضیح رو قبل از ترجمه بصورت راهنما بنویسی و بعد ترجمه کنی)

واقعا لذت بردم (chatgpt این کار رو نتونست انجام بده و مجبور شدم چندتا چت مختلف باز کنم)

moonshot.ai

مدل جدید خودش رو معرفی کرده به اسم kimiK2 (بهترین مدل open source هست)

این مدل non thinking ولی MOE هست :

https://github.com/MoonshotAI/Kimi-K2

تعداد پارامترها : ۱ تریلیون، با تعداد پارامتر فعال ۳۲ میلیاردی.

لایسنس خوبی هم داره (MIT بیس هست البته)
اگر خواستید توی سایتش و بخش پلتفرم می‌تونید api هم ازش بگیرید یا اینکه kimi.com رو وارد بشید و تست کنید.

نتایجش خیلی جالب بود توی تست‌های من و چون thinking هم نیست خیلی سریع جواب رو میده که تعداد پارامترهای زیادش باعث میشه جوابا خیلی هم خوب باشه.

درود و عرض ادب خدمت ایرانیهای عزیز

#payitforward4iran
اپ پاسچر آنالیز ما توی اپ استور آپدیت شد و هوش مصنوعی اپ می تونه پاسچر شما رو آنالیز کنه و در صورت مشاهده نا فرم بودن پاسچر به کاربر ها پلان حرکت اصلاحی بدهد.

برای عزیزان ساکن ایران امکان استفاده رایگان از اپ به مدت ۶ ماه رو فراهم کرده ایم. عزیزان می توانند برای دریافت کد به آیدی اینستای ما پیام بدهند و امکانات پرمیم اپ رو اکتیو کنند. این امکان تا آخر تیرماه اعتبار دارد و بعد منقضی می شود.


لطفا شیر کنید.

اگر کسی به مشکلی برخورد لطفا به آیدی اینستای تیم ما پیام بدهد:
FlexiTrace Developers
IG: Flexitrace

#PostureAnalysis
#AI
#MachineLearning

این اپ رو یک تیم از بچه‌های ایرانی توسعه دادند (دوستان نزدیک بنده)

که خب حالا دسترسی رایگان هم برای ایرانی‌ها فراهم شده روش. (فقط نسخه iOS, iPadOS داره)

چون خودم برای آنالیز حرکتی ازش استفاده می‌کردم؛ گفتم اینجا هم معرفی کنم.
هم چون برای آنالیز حرکتی بسیار عالی هست
هم اینکه می‌تونید ازش ایده بگیرید برای پروژه انجام دادند.

درنهایت اینکه روی اینستاگرام بهشون پیام بدید اکانت ۶ ماهه رو رایگان دریافت می‌کنید


نکته مهم:

اپ کاملاً on-device پردازش‌ها رو انجام میده و هیچ دیتایی از دستگاه شما جایی ارسال نخواهد شد (می‌تونید موقع آنالیز، اینترنت رو کامل قطع کنید)

شخصاً افتخار همکاری با این تیم رو (توی نسخه‌های اولیه) داشتم.

میسترال اولین مدل voice خودش رو open-source معرفی کرد

https://mistral.ai/news/voxtral