بیشترین سوالی که بعد از هکاتون توی لینکدین و تلگرام ازم شد؛ می‌شه اینکه :

اگر قرار بود، تمام اشتباهاتی که راجب تیم‌ها دیدی رو تهش بهشون بگی، چیا بود ؟

من یک ذره تغییرش میدم و درک خودم رو هم توش می‌ذارم :

۱- اگر تو حوزه کاری خودت ایده بدی احتمال اینکه ایده بهتری باشه و کمتر تکراری زیاده

۲- اگر مورد ۱ نباشه؛ احتمال بالای ۹۰٪ حداقل ۱ نفر دیگه ایده تورو داره، پس زودتر پیاده‌سازی رو شروع کن و توی مسیر به بهتر کردنش فکر کن

۳- ایده خوب، ایده‌ای هست که قابل پیاده‌سازی باشه

۴- برای ایده؛ بعد از تحقیق کمی وقت بذار اگر قابل پیاده‌سازی نبود یا ...
فقط یادداشتش کن؛ خودت رو به ایده وابسته نکن، غرق میشی باهاش.

مثلاً ایده تبدیل مس به طلا عالیه؛ بسیار آدم هم قبلاً تلاششون رو کردند.
ولی قابل انجام ؟ خیلی‌ها عمرشون رو پاش دادند.

۵- بعضی‌ها، ایده فوق‌العاده داشتند (میلیارد دلاری) ولی انقدر شروع کردند چکش کاری (مثلاً بهبود ایده) که مارکتش کلا عوض شد و شد یک ایده چندصد دلاری.

۶- بعضی‌ها با شنیدن اولین نه، جا زدند.
شاید اون کسی که داره بهت راهنمایی میده؛ توضیحات تورو درست درک نکرده.

۷- بعضی‌ها به اولین مشکل که خوردند دست کشیدند.

۸- خیلی‌ها از سوال پرسیدن و مشورت کشیدن ترسیدند و وقتشون رو صرف چیزی کردند که بدردشون نمی‌خورد

و .....

بدترینش اونایی بودن که با اولین جر و بحث توی تیم انصراف دادند، پیک‌نیک هم بری جر و بحث داره.

اگر خواستید LLM رو لوکال روی گوشی داشته باشید :

Github Doc

الان باید به این فقط tool اضافه کرد؛ موسیقی هم داشت اجرا می‌شد.

اینو دیدم؛ یاد صحبتم توی هکاتون شریف با یکی از منتورها به اسم آرش افتادم (آرش جان سلام 😂)

بحثی داشتیم راجب Diffusion model ها برای دیتاهای متنی و فرار از Transformer ها؛ خداروشکر شرکت کننده‌ها باهوش بودند ما فرصت کردیم knowledge share داشته باشیم.

شخصاً همون ابتدا، نظرم این بود که بیزینس سراغ این موضوع نخواهد رفت درحال حاضر و اگر هم بخواد تغییری ایجاد بشه احتمالاً اول توسعه SDK برای تبدیل مدل‌های ترین شده روی Nvidia به سخت‌افزار‌های تخصصی مثل Groq خواهد بود.
آرش عزیز هم؛ با بنده هم نظر بود و البته ایشون بسیاری از مقالات این حوزه رو به خوبی خونده بود و آشنا بود.

یک تایم خیلی خیلی مفید و دوستانه‌ای رو کنار ایشون و چندتا دیگه از منتورها داشتیم و بحث جذابی که چرا راهکارهای ارائه شده یا قابل پیاده‌سازی نیست یا اینکه مسئله رو سخت‌تر می‌کنه.

خلاصه که؛ منم ترند‌ها رو دنبال می‌کنم اما تمرکزم باید روی بیزینس باشه، هرچند ترجیح میدم جلسات هفتگی و ماهانه برای این موضوعات داشته باشم.

اینم بمونه به یادگار
از اولین دوره برگزاری LLM Agents Hackathon دانشگاه شریف.

چه رفقای خوبی پیدا کردم.

#SHARIF_LLM_AGENTS 2025

توی این عکس؛ فقط افراد و تیم‌هایی هستند که تا ۱۰ شب روز دوم وایسادند.

اوضاع مدل‌های local اینطوری هست.
Gemma3, Qwen3
برای همه تسک‌ها استفاده می‌شه.

روی Qwen3 نتایج خوبی برای RAG میگیرم؛ روی Gemma3 برای Tool خیلی نتابج خوبی دارم.

سراغ devstral برای بررسی کد یا ساخت کدهای اولیه میرم (بخصوص اینکه روی ابزارهای مربوط به تسک‌های برنامه‌نویسی خروجی خوبی داره)

deepseek-r1 

نسخه جدید هست و روی سیستم شرکت نداشتم برای همین روی سیستم شخصی دانلود کردم تا ببینم نتایج چطوری هست.

نکته مهم شخصا بعضی وقتا ۲ مدل رو همزمان بالا میارم

docker ollama

هرکدوم روی یک GPU و از مدل ساده‌تر میخوام سریع کد اولیه رو بزنه و مدل پیچیده‌تر اون رو بررسی کنه و رفع اشکال انجام بده؛ یا استراکچر و استایل پروژه رو رعایت کنه.

ولی خلاصه وضعیت لوکال این هست؛ چون سوال شده بود.

Qwen3

خیلی نرم و ریز مدل embedding خودش رو هم منتشر کرد

HuggingFace

نتایج جالبی هم روی بنچمارک‌ها گرفته و پیشرفت‌های خوبی رو نشون داده.


پ.ن: توی لیدربورد multi lingual رتبه اول هست (البته مدل 8b)
قراره کلی آموزش و خبر بشنویم ازش

Mistral Code

هم معرفی شد؛ بعد از devstral, codestral embedding تیم mistral هم وارد این موضوع شده.

بخش مهم این متن اینجاس :

At its core, Mistral Code is powered by four models that are state of the art in coding:

Codestral: for fill-in-the-middle / code autocomplete

Codestral Embed: for code search and retrieval

Devstral: for agentic coding

And Mistral Medium for chat assistance

یعنی خودتون هم می‌تونید راه بندازید.

Gemini 2.5 Pro

بازهم قویتر از قبل روی مباحث مربوط به code نویسی.

با اعلام دیپ‌مایند، مدل Gemini2.5 Pro آپدیت جدیدی رو دریافت کرده که یکی از ویژگی‌های مهم اون بهبود عملکردش روی تسک‌های مربوط به کد نویسی هست.

Deepseek R1

هم توی یک آپدیت خفن و دوس داشتنی؛ حالا برای کدهای بیشتری علاوه‌بر ارائه کد، دیاگرام و جریان اتفاقات رو رسم می‌کنه.

این هفته به مراتب عجیب و غریب هست.
(تصویر مربوط به یک پروژه Django هست ولی قبل از این روی Rust هم تست کردم و دقیق بود)

آپدیت جدید
Gemini2.5 Pro

این ابزار رو برای من غیر قابل استفاده کرده؛ فقط کافیه کمی تاریخچه چت بزرگ بشه (نه اینکه به محدودیت برسه؛ شاید نهایتاً به ۱۶ هزار توکن برسه)

اتفاقی که میوفته اینه که؛ چت‌های آخر رو بطور کامل فراموش می‌کنه و چت‌های قدیمی رو نگه می‌داره (یکی یادش رفته ایندکس منفی بذاره؟)

با چندتا از دوستان هم چک کردم برای اونها هم همین بود (تسک موردنظر برنامه‌نویسی هست.)

یکی لطفاً کامیت‌های آخر رو revert کنه!!!!


فعلاً:
بهترین راهکار اینه که یک سیستم پرامپت آماده کنید؛ و بعد هربار که تغییرات لازم داشتید یک چت جدید ایجاد کنید.
یا اینکه برید روی ابزارهای دیگه.

دقیقاً همین چندروز قبل؛ صحبتی داشتیم با چندتا از بچه‌های سنیور.

بحث AI جدی شد؛ به این نتیجه رسیدیم چندتا نیروی هندی بگیریم (مثل کارهای آمازون، تسلا و ...) بگیم هوش مصنوعی کد هست بدون خطا.


اتفاقاً یک تلاش کوچکی هم روی ساخت ویدئو کردیم؛ ولی تسک زیاد بود و veo3 پولی خلاصه بیخیال شدیم.

اما حالا از صبح خبر builderai رو دارم می‌بینم فقط و میزان سرمایه‌گذاری و درآمدش.


بازم می‌گم؛ AI فقط جایگزین coder‌ها می‌شه و باعث تغییر تعریف نیروی Junior خواهد شد (جونیور مدل فعلی حذف می‌شه)
برای دووم آوردن فقط کافیه :
Software Engineer
بشید؛ همین و بس.

How to survive the rise of AI
by Me

Meta, Deepmind, Cornel, Nvidia

توی یک همکاری؛ جواب این سوال رو دادند که:

How much do LLM memorize

تو مسیر داشتم نگاهی می‌نداختم، ولی باید دقیق بخونم. ولی 3.6bit خیلی خوب نیست

این مدل رو هم داشته باشید به منظور راحتی در طراحی سایت و ساخت کامپوننت‌های React خیلی برای ساخت کل پروژه روش حساب نکنید (برای حالت react میگم)
ولی کامپوننت‌های خوبی میسازه

UIGEN-T3

حتماً این کتاب رو بخونید؛ من Draft اولیه این کتاب از یکی از دوستان بهم رسید (خیلی وقت قبل)

وقتی خوندم همون چندتا فصل اول، لذت بردم واقعاً و شدیداً منتظرش بودم.

حالا که اومده سرفصل‌های کاملش رو دیدم و بنظرم خیلی بهتر از چیزی هست که فکر می‌کردم (البته امیدوارم همش به خوبی draft نوشته شده باشه)

شخصاً توی اولین فرصت خوندن کاملش رو شروع می‌کنم (الان روی ۳ تا کتاب دیگه هستم) و اگر یادم نره بعد از خوندنش نظر دقیق رو روی نسخه منتشر شده خواهم گفت.

Packt Pub LLM Design patterns

تست‌های مختلف روی o3-pro برای تسک‌های برنامه نویسی زمانی ببیشتر از 15 دقیقه برای thinking رو نشون میده؛ نتایج خوب هست ولی واقعا انقدر صبر کردن مناسب هست ؟

ترجیح میدم فکر کردن وظیفه من باشه و تابپ کردن وظیفه LLM یا نهایتا پیشنهاد دادن ولی زیر ۱ دقیقه جواب بگیرم.
قراره به یک دیوار بخوریم ؟ یا اینکه تکنیک‌های دیگه مشکل سرعت رو حل خواهند کرد؟

راستی groq هم Qwen3-32B رو اضافه کرده و سرعت فوق‌العاده‌ای داره

این پست
https://xn--r1a.website/pyHints/801
و پست بعدیش رو بخونید.


معمولاً پست‌های من توی کانال‌های مختلف (خودم) پراکنده هست.

برای همین ۸۰٪ سوالات تکراری رو جواب نمیدم.

لیست کانال‌ها :

@pytens
@pyhints
@pyrust
@per3onal
@pytensMusic

کانفیگ لوکال بنده :

services:
  ollama:
    volumes:
      - ~/.ollama:/root/.ollama
    container_name: ollama
    pull_policy: always
    tty: true
    ports:
      - 11434:11434
    restart: unless-stopped
    image: ollama/ollama:${OLLAMA_DOCKER_TAG-latest}
    deploy:
      resources:
        reservations:
          devices:
            - driver: ${OLLAMA_GPU_DRIVER-nvidia}
              count: ${OLLAMA_GPU_COUNT-2}
              capabilities:
                - gpu

  open-webui:
    build:
      context: .
      args:
        OLLAMA_BASE_URL: "/ollama"
      dockerfile: Dockerfile
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    ports:
      - ${OPEN_WEBUI_PORT-3000}:8080
    environment:
      - "OLLAMA_BASE_URL=http://ollama:11434"
      - "WEBUI_SECRET_KEY="
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

  qdrant:
    volumes:
      - qdrant_db:/qdrant/storage:z
    image: qdrant/qdrant
    container_name: qdrant
    ports:
      - 6333:6333
      - 6334:6334

volumes:
  open-webui: {}
  qdrant_db: {}

فقط این دیفالت رو از ۲ به تعداد کارت گرافیک تغییر بدید :

${OLLAMA_GPU_COUNT-2}

و از داکیومنت ollama موارد لازم برای راه‌اندازی docker-nvidia رو نصب کنید.

بعد از این مرحله مدل‌های مورد نظرتون رو دانلود کنید:

for model in devstral gemma3:27b deepseek-r1:32b qwen3:32b nomic-embed-text; do                                                                                              
    docker exec -it ollama ollama pull "$model"
done

وقتی این موارد تموم شد roocode رو روی vscode نصب کنید (پیشنهاد می‌کنم از بخش تنظیمات experimental قابلیت codebase indexing رو فعال کنید)

embedding provider: Ollama
Model: nomic-embed-text
ollama url: http://localhost:11434
Qdrant url: http://localhost:6333

علاوه بر این از طریق http://localhost:3000 می‌تونید openweb-ui رو هم داشته باشید.

برای اینکه
Deepseek coder v3 671B
رو اجرا کنید احتمالا راهکاری به ذهنتون نمیرسه که بیشتر از ۱.۳ توکن خروجی بده تازه به شرط اینکه بیش از ۰.۵ ترابایت رم هم داشته باشید.

بعد از اینکه کانفیگ لوکال خودم رو گذاشتم و روی سورس کدهام تست گرفتم دیدم چندتا چیز برای بهبود نتایج لازم دارم :

۱- استفاده از embedding بهتر مثل Qwen3-8b
۲- استفاده همزمان از حداقل ۳ مدل
۳- مدل نهایی به جهت بررسی کدهای تولید شده توسط ۳ مدل دیگه

اگر این ترکیب رو استفاده کنم؛ فکرم این بود که ۳ مدل زیری رو بدون think اجرا کنم ولی مدل‌های تخصصی coder باشند و مدلی که قابلیت think داره رو بذارم که نهایتا با یک context خوب + embedding خوب بتونه کار رو در بیاره.

اول اومدم ایده رو تست کردم؛ یک مقدار هزینه و سرعت و ... رو گذاشتم کنار هر ۳ تا مدل رو تک تک اجرا کردم (هرکدوم روی یکی از GPU ها) نتابجشون رو ذخیره کردم
و درنهایت بصورت دستی نتابج رو دادم به مدل think که خیلی دقت کدهای تولید شده بالارفت
استایل رو رعایت میکرد
جاهایی از کد که رعایت نکرده بودم رو هم بهم گزارش میداد و ...
اینجوری بودم که خب اگر این روی لوکال کار بکنه من که دیگه cloud لازم نخواهم داشت.

از نظر زمانی هم بصرفه بود؛ اگر و تنها اگر می‌تونستم هر ۳ مدل لایه پایین‌تر رو همزمان اجرا کنم؛‌خلاصه که گشتم دنبال راهکارهای منطقی همزمان اجرا کردن؛ یادمون باشه که اینجا مدل‌ها معماری‌های متفاوتی دارند و مثل حالتی نیست که معماری زیرین مدل‌ها یکی باشه و ... (اگر اون تکنیک رو بلدید برای بهینه پروداکشن کردن)

بگذریم توی تحقیقات رسیدم به Ktransformer (مرسی توییتر) :

Local 671B DeepSeek-Coder-V3/R1: Running its Q4_K_M version using only 14GB VRAM and 382GB DRAM

ایده جذاب این تیم اینه که بخش‌هایی که هزینه سنگین برای اجرا داره رو روی GPU میبره و باقی رو میده خود CPU اجرا کنه منم که ۲ تا GPU دارم اگر بشه بجای هر مدل ۲۲ گیگ به هر مدل ۱۱ گیگ گرافیک بدم مشکلم حل میشه. مخصوصا اینکه از نظر RAM سیستم من ۱۲۸ گیگ رم داره که این روزا توی استفاده‌های سنگین هم نهایتا به ۵۰ گیگ نیاز هست.

آیا این فریمورک مشکل من رو حل می‌کنه ؟ کوتاه : خیر
اما ایده خوبی رو بهم داد.

من دارم تلاش می‌کنم از راهکاری که گیمرها چندسال قبل برای تقسیم GPU بین بازی‌ها استفاده میکردند استفاده کنم (تا این لحظه موفق نبودم ولی کل چیز جدید یادگرفتم)
ترکیب این راهکار با دستاورد این کد احتمالا من رو بتونه به جاهای خوبی برسونه اگر هم نشد اشکالی نداره یادگیری مفیدی بوده (حتی تا همینجا) و البته به کمک KTransformers می‌تونم مدل 70B رو روی سیستم خودم اجرا کنم بدون دردسر.

احتمالا شما هم بتونی مدل 14B رو بجای 7B روی سیستم خودت بیاری (شاید لازم باشه کمی دست به کد بشی اگر مدل پشتیبانی نمیشه هنوز)

Ktransformers Github

تعجب کردید چطوری جنگنده‌های اسرائیلی به آسمان مشهد رسیدند ؟

من نکردم؛ چون آسمان بی‌صاحاب شد وقتی سپهبد #نادر_جهانبانی رو برای حفظ حریم هوایی به ناحق کشتید.

حتی موقعی که کشتیدش هم لباس خدمت به وطن رو از تنش در نیاورد ♥️💔

#ایران

وقتی این روزها رو پشت سر گذاشتیم جون مادرتون چندتا کار رو انجام بدید :

۱- از روسیه فاصله بگیرید؛ به جرم جاسوسی بگیرید هرکی که اسم روسیه رو آورد.
نه سوخو داریم
نه s300-s400
نه حمایت
فقط پول رو خرجش کردیم؛ کشوری که پاره شدیم گفتیم تو تاریخ همیشه نامرد بوده برای ما.

۲- مهاجرین غیرقانونی رو اخراج کنید؛ جرم انگاری سنگین بذارید برای ورود‌های غیرقانونی.
با خانواده اخراجشون کنید؛ اینکه فقط مرداشون رو اخراج کنید دوای درد نیست.

۳- تریبون رو از رائفی‌پورها بگیرید؛ بوالله که اگر این‌ها جاسوس نباشند دوست نیستند.
خریت این‌ها مملکت رو به این روز انداخت؛ نذاشتند با دنیا تعامل کنیم.
نذاشتند بخش نظامی تقویت بشه؛ انقدر که با جفنگیات خواستند جلوی بمب و موشک و ... رو بگیرند.
من هنوز هم باور ندارم که این‌ها انقدر احمق باشند؛ تنها موردی که به ذهنم میرسه جاسوس بودن هست.

نمی‌دونم چی بگم دیگه ...
به امید روزای روشن برای ایران عزیزم ♥️