چیزی که درد واقعه رو بیشتر می‌کنه

#معدن_طبس

با خبر خوب اومدم؛ توی آخرین آپدیت کرنل Rocky Linux و ترکیبش با آخرین نسخه nvidia-driver که منتشر شده مشکل sleep حل شده طبق بحث‌های فروم راکی (البته ۹۹٪ این مشکل رو نداشتند؛ روی تنظیمات و سخت‌افزار‌های خاصی این مشکل دیده می‌شده)
اما من و چندتا از دوستان همچنان این مشکل رو داشتیم و یک مورد تعجب بر‌انگیز پیدا کردیم :
۱- اولین کاری که کردم؛ همه پارامترهایی که به etc/default/grub اضافه کردم رو پاک کردم و فقط ۲ مورد مربوط به غیر فعال کردن nouveau رو نگه داشتم:

nouveau.modeset=0 rd.driver.blacklist=nouveau

همین مورد مشکلاتمون رو حل کردم؛ سیستم به راحتی sleep می‌شد و همه چیز عالی بود.

اما وقتی مدت طولانی با سیستم‌هامون کار می‌کردیم؛ باز به مشکل میخورد و sleep نمی‌شد؛ هیچ لاگ بدردبخوری هم نمیوفتاد.

شک کردم شاید مشکل از برنامه‌هایی هست که استفاده می‌کنم (بیشتر مرورگر و GPU Acceleration) پس اومدم برنامه‌های اصلی رو تک تک باز کردم باهاشون یک مقدار کار کردم و sleep زدم و همه چیز درست بود.

اما بعد از چندساعت کار بازم sleep درست کار نکرد؛ واقعا هیچ دیدی ندارم که چرا ولی بعد اومدم سراغ Telegram Desktop و رفتم:

Setting > Advance > Performance

هر ۲ تا گزینه Hardware Acceleration, OpenGL فعال بود که اصلا نمی‌دونم برای چی ؟ من با این فقط ۴ تا پست متنی می‌نویسم برای کانال‌ها و هیچ چیز دیگری هم روش ندارم؛ خلاصه که بعد از غیرفعال کردن این ۲ مورد مشکلات حل شد.

روی سیستم دوستان هم تست کردیم؛ مشکل اون‌ها هم همین بود.

گفتم اینجا بذارم؛ شاید مشکل شما هم باشه. بازم تاکید می‌کنم قبل از انجام هر روشی اول لاگ‌هارو بخونید.

توی عشق‌ و حال با Qwen2.5 بودیم که llama3.2 معرفی شد.

1B, 3B, 11B, 90B

نمی‌دونم چرا Meta مدل ۲۲-۳۲ میلیاردی نمیده

As the first Llama models to support vision tasks, the 11B and 90B models required an entirely new model architecture that supports image reasoning.

همینجوری که دارم می‌خونم گزارش رو؛ این پست آپدیت میشه

مدل‌های 1B, 3B هم دارای 128k کانتکس رو پشتیبانی می‌کنند و مهمترین بخش؛ برای سخت افزارهای Qualcomm and MediaTek اپتیمایز شدند و این گوشی‌های آندروید افتادن تو عشق و حال 😁

تکنیک آماده سازی برای Ollama رو هم که آموزش دادم؛ تبدیل کنید و با ollama ببرید روی گوشی تا شرکت‌های تولید گوشی خودشون بیارن این قابلیت رو روی آندروید.

از نظر بنچمارک تسک‌های ویژن مدل ۱۱-۹۰ میلیاردی هر دو امتیازات بسیار بالایی رو دارند؛ توی تمام دیتاست‌های معروف و تسک‌های مختلف؛ که خب ما می‌دونیم بنچمارک‌ها به تنهایی دیگه مفید نیستند خیلی.

اگر مدل ۱۱-۹۰ میلیاردی رو می‌خواید با vpn اروپا درخواست نفرستید درجا رد می‌شه :

Meta-llama has disallowed access to this model in the EU

این تنظیمات vpn برای من جواب داد :

vless://89b3cbba-e6ac-485a-9481-976a0415eab9@199.232.5.85:443?security=tls&sni=en.mfa.gov.ir&alpn=h2,http/1.1&allowInsecure=1&fp=randomized&type=ws&path=/H?ed%3D2560&host=en.mfa.gov.ir&encryption=none#%F0%9F%94%92%20VL-WS-TLS%20%F0%9F%87%BA%F0%9F%87%B8%20US-199.232.5.85:443

اگر متا بهتون دسترسی نداد :

check this link

مدل رو از اینجا دانلود کنید؛ شخصا فردا تست خواهم کرد.

Q4 version from unsloth

یک سری چارت داشتم که ۲-۳ ماه پیش با chatgpt روشون گزارش گرفتم؛ ۵-۶ مورد توسط متخصص تایید شد و باقی هم اشتباهاتش در اومد.
متاسفانه llama3.2 90B روی این تسک خیلی خوب نبود؛ وقتی بهش میگم جوابت رو توضیح بده شروع می‌کنه اشتباه کردن و یا حتی جواب اول رو تغییر دادن.

پس فعلا روی این مدل تسک‌ها کاپ رو برگردونیم بدیم به allenai/Molmo
متاسفم meta ولی هنوز روی تصاویر مربوط به چارت و گراف و آنالیز تخصصی hallucination بالایی داری شاید ورژن‌های بعدی.

در عوض مدل‌های 1B, 3B متنی توی تست‌ها بیش از حد انتظار بهتر بود (البته من 1B رو تست کردم). روی تسکی که توی ماه قبل برای تمیز کردن داده داشتم تست گرفتم و نتایجش از هر سه مورد Phi3, Gemma, Qwen2 بهتر بود. (یادم نبود این تسک رو روی Qwen2.5 هم تست کنم)

با این حساب لیست مدل‌های من :

Flux-Dev --> Image generation.
Molmo --> general vision tasks.
Llama3.2 1B and 3B --> Data cleaning (small model).
Qwen2.5 32B --> General use cases.
Qwen2.5-coder & yi-coder & deepseek-coder-v2 --> coding 

البته بعد از انتشار Qwen2.5-coder 32B قطعا با deepseek خدافظی می‌کنم ولی تا اون موقع باشه شاید لازم شد.

توی این هفته freecodecamp دوتا دوره عالی گذاشته؛ این دو مورد ربطی به پایتون نداره اما بدرد خیلیا میخوره بخصوص :
@pytens, @pyrust

اینکه دارم پست رو اینجا میذارم چون متوجه شدم خیلی از بچه ها این کانال فوق العاده رو نمی شناسند و باهاش آشنا نیستند؛ بهونه کردم برای معرفی کانال.

دوره ها کدوم موارد هستند ؟


1- Cuda Programming Course (in C)

2- Linux Device Driver Development (in C)


حقیقتش اینکه این هفته جلسه نداریم؛ برای این هست که از شروع لایوها اولین جمعه ای هست که تسک ندارم و چون ۲ هفته گذشته بسیار بسیار درگیر بودم؛ ترجیح دادم این جمعه رو استراحت کنم و برای این استراحت این ۲ ویدئو رو انتخاب کردم برای دیدن.

امیدوارم شما هم لذت ببرید؛ کانسپت مهم هست.

یوتیوب خودمون که لایوهای؛ advance python اونجا قرار میگیره :


https://www.youtube.com/@PyHints

تبلیغ یک بوت کمپ پاییزی رو ۷-۸ نفر برای من فرستادید (اسم نمی‌برم چون بعضی از مدرس‌هاش رو باهاشون کار کردم)

فقط به این دوستان گفتم بروند، بررسی کنند اسم این افراد و شرکت‌هایی که زدند آیا اون شرکت محصول هوش مصنوعی درستی داره یا نه

اینکه دارند از یک سرویس دیگه api می‌گیرند (مثلاً گوگل، آمازون و ...) و بعد روی api خودشون به شما سرویس میدهند نه ...

خودشون به جواب رسیدند، چون بازم بعضی از شما عزیزان دارید برام ارسال می‌کنید توی کانال گذاشتم که خودتون بررسی کنید.

موفق باشید 🌹

#موقت

اولین تبلیغ مربوط به سرویسی هست که گروهی از دوستان توسعه دادند.
سرویس تا امروز خصوصی بوده

سر میزان تخفیف به اعضای کانال چونه بزنم
تست‌ها رو هم انجام بدم

باهاتون به اشتراک میذارم (درصورت رضایت)؛ هرچند وقتی سرویس خصوصی بود بسیار باهاش کار کردم.

سخنرانی جالبی بود :
مهمترین عنصر پیاده سازی هست

Pydata Youtube

اون پست رو یادتون هست ؟

حالا ماکروسافت امروز اومد کلی ابزار رو open-source کرد که مهم‌ترین مورد مربوط به این کانال

BitNet.cpp

هست که با efficiency بالا مدل‌ها رو می‌بره روی 1bit برای inference داستان اونجایی قشنگ میشه که خیلی‌ها دارن مدل‌های 70B رو باهاش می‌برن روی لوکال و CPU اجرا می‌کنند.

https://github.com/microsoft/BitNet

متأسفانه فرصت تست نداشتم و امشب هم فکر نکنم بتونم
ولی حتماً برای فردا روی مدل‌های سایز مختلف سعی می‌کنم تست کنم و نتایج رو منتقل کنم.

سال 2020 درمورد نحوه استفاده از Rapids توی شرکتی که اون زمان کار میکردم گفتم.
بعدتر درمورد cuGraph هم صحبت کردم.


دیروز دیدم یک تیم ایرانی شدیدا درگیر پردازش یک حجم بزرگ از گراف هستند که خب networkX سالها طول میکشه

قبل خرید و تصمیمات … گرفتن یک مشاوره از من گرفتند؛ کد رو بردم روی cuGraph و پردازش تا 300x سریعتر شد؛ قطعا بیشتر هم میشد ولی نیاز به اپتیمایز کردن نبود.


خواستم یادآوری کنم که؛ حواستون به پستهای قدیمی کانال هم باشه؛ بعضیاش طلاس
زمان لازم داره تا ارزشش مشخص بشه.

این ویدئو ۷۰٪ سوالاتی که توی چندماه اخیر (بعد از راه‌اندازی @PyRust ) پرسیدید رو جواب میده و خیلی هم عالی :

Youtube Link

بطور کلی PyData اخیر سخنرانی خوب کم نداشت واقعا

#ایده #تمرین

اگر لینکدین رو بذارم مرجع بیش از ۸۰٪ کسانی که در زمینه AI کار می‌کنند و سطح Senior (با توجه به لینکدین)

فقط مدرس هوش مصنوعی هستند.
یا بنیانگذار شرکتی که از API هوش مصنوعی شرکت‌های خارجی استفاده می‌کند.
و هیچ پروژه موفق دپلوی شده‌ای ندارند.


فروش رویا به نسل جدید توی شرایط سخت این روزها منبع درآمد این گروه شده.


اگر خواستید حرف‌های من رو validate کنید این مسیری هست که ما رفتیم :

1) LinkedIn crawler (playwright mostly)
2) Json parser for most of the information
3) LLM & LLM Scrappers
4) Search company, role and ... using google/duckduckgo api
5) Human check (for edge cases)

این پروژه‌ای بود که من به دوتا از بچه‌ها دادم (هدف یادگیری llm finetune و ... بود با یک پروژه چالشی)

الان خود کد و تحلیل‌هاشون رو می‌فروشند، شما هم می‌تونید تمرین کنید.


شاید تا چندوقت دیگه اینم سرویس شد (برای تمرین بیشتر و تعداد یوزر در اسکیل بزرگ)


پ.ن : فقط منتورشیپ بچه‌ها ٫ کد ریوو با من بود و بنده هیچ کدی رو نزدم روی این پروژه (همش کار خودشون بود)

بگذارید هرکس به آیین خودش باشد.
زنان را گرامی بدارید.
فرودستان را دریابید.
اجازه دهید هرکسی به تکلم قبیله‌ی خویش سخن بگوید.

آدمی تنها در مقام خویش به منزلت خواهد رسید.

۷ آبان روز بزرگداشت کوروش کبیر، همایون باد.

ی بنده خدا هم هست توی لینکدین
۲ سال و نیم هست (حداقل از وقتی من میشناسم) داره مصاحبه می‌کنه که موقعیت خارج از ایران بگیره

هنوز موفق نشده، بعد تجربیاتی که می‌ذاره زیر ۱۰۰۰ تا لایک نداره.

امشب دیدم زده می‌خواد بصورت خصوصی افراد رو راهنمایی کنه موقعیت بگیرن (با هزینه)

بعد ۳۰۰ تا اسکل هم کامنت کردن با این مضمون که :
تورو خدا منو بذار تو اولویت

لینکدین از اینستاگرام هم اسکل بیشتر داره 🤣😂

تکنیک مورد علاقه جدیدم :

https://docs.instructlab.ai

اینجا کاخ سفید و اینم ایلان ماسک.

دونالد ترامپ رئیس جمهور جدید آمریکا (ایلان طرفدار ایشون)

ایلان این حرکت رو بعد از خرید توییتر زده بود.



الان ی مشت حسود پلاستیکی میان میگن عکس فتوشاپ هست‌

اون شخصی بود که لینکدین گذاشته بود که
Pull Request
زده روی پروژه models خود تنسرفلو بعد ۱۸۰۰ تا لایک و ... گرفته.

تا اینجاش به ما ربطی نداشت، ولی اونم پکیج فروشی رو شروع کرده. (که دیگه به ما ربط داره)

تازه اسم بچه‌های AI رو هم داره خراب می‌کنه

تمام کاری که کرده این بوده، A0 رو به A2 تغییر داده.

آموزش همکاری روی پروژه‌های open source هم گذاشته.
پشمام

ولی اگر خواستید کار قشنگی بکنید
نرید توی نوت‌بوک‌های آموزشی که توسط community نگهداری می‌شه اشتباه تایپ تغییر بدید.

خیلی پروژه‌های بزرگ هستند که:
۱- داکیومنت آپدیت شده ندارند (برای خیلی از فیچرهای جدید)
۲- داکیومنت فارسی ندارند
۳- داکیومنت مثال نداره
۴- تست نویسی مناسبی نداره
۵- داک‌استرینگ و تایپینگ ندارند.

همه‌ی اینها کارهای بسیار با ارزش و بزرگی هست که می‌تونید انجام بدید؛ حتی وقتی دارید یک کتابخونه رو یاد میگیرید، خیلی هم اسم بهتری داره
ولی
هیچوقت از هیچ کاری تو دنیای open source سعی نکنید سو استفاده کنید.