⚠️ FREE TRAINING
🚀 Navigating the Landscape of MLOps & LLMOps on AWS, Azure, GCP and open-source
🔥 Limited spots! Enroll now:
https://bit.ly/mlops-webinar
🚀 Share with ML enthusiasts! #MLOps #AI #TechTraining
🚀 Navigating the Landscape of MLOps & LLMOps on AWS, Azure, GCP and open-source
🔥 Limited spots! Enroll now:
https://bit.ly/mlops-webinar
🚀 Share with ML enthusiasts! #MLOps #AI #TechTraining
Psitron Technologies
Psitron Technologies | MLOps and Data Science Training
Explore the world of MLOps, data science, and machine learning with our comprehensive training. Learn about feature stores, model registries, automated ML pipelines, and more. Get certified in AWS machine learning, Azure Data Scientist Associate, and Google…
🔥4
گوگل یکی دیگر از اپلیکیشنهایش را تعطیل میکند؛ این بار نوبت Stack است.
گوگل پس از تعطیل کردن تعدادی از اپلیکیشنهایش از جمله گوگل پادکست، حالا اپلیکیشن دیگری با نام کامل Stack: PDF Scanner by Google Area 120 را تعطیل میکند. این اپلیکیشن برای سازماندهی، مدیریت و اسکن فایلهای PDF کاربرد داشت.
اپلیکیشن Stack بخشی از پروژهی Area 120 گوگل بود که شامل چند اپلیکیشن موفق از جمله جیمیل و نیوز میشد. پروژههای توسعهیافته توسط Area 120 در صورتی که نتوانند انتظارات عملکرد یا معیارهای پذیرش از سوی کاربر را برآورده کنند، تعطیل میشوند.
گوگل در بیانیهاش میگوید پشتیبانی از اپلیکیشن Stack را از ۲۳ سپتامبر (۲ مهر) پایان میدهد و اعلام کرد تمام قابلیتهای Stack به گوگل درایو منتقل شده است.
حالت عکسبرداری خودکار در گوگل درایو میتواند عکاسی از اسناد را راحتتر کند و پس از آن پیشنمایشی از تصاویر بههمراه ابزارهایی برای برش، چرخش و فیلتر عکسها، با قابلیت افزودن صفحات بیشتر به فایل PDF ارائه میدهد. گوگل درایو از یادگیری ماشینی برای پیشنهاد عناوین مرتبط استفاده میکند.
گوگل میگوید کاربران Stack میتوانند بهکمک گزینهی Export all document to Drive در بخش تنظیمات اپلیکیشن، همهی اسناد ذخیرهشده را به یک پوشه سبز رنگ با عنوان Stack در گوگل درایو منتقل کنند.
گوگل پس از تعطیل کردن تعدادی از اپلیکیشنهایش از جمله گوگل پادکست، حالا اپلیکیشن دیگری با نام کامل Stack: PDF Scanner by Google Area 120 را تعطیل میکند. این اپلیکیشن برای سازماندهی، مدیریت و اسکن فایلهای PDF کاربرد داشت.
اپلیکیشن Stack بخشی از پروژهی Area 120 گوگل بود که شامل چند اپلیکیشن موفق از جمله جیمیل و نیوز میشد. پروژههای توسعهیافته توسط Area 120 در صورتی که نتوانند انتظارات عملکرد یا معیارهای پذیرش از سوی کاربر را برآورده کنند، تعطیل میشوند.
گوگل در بیانیهاش میگوید پشتیبانی از اپلیکیشن Stack را از ۲۳ سپتامبر (۲ مهر) پایان میدهد و اعلام کرد تمام قابلیتهای Stack به گوگل درایو منتقل شده است.
حالت عکسبرداری خودکار در گوگل درایو میتواند عکاسی از اسناد را راحتتر کند و پس از آن پیشنمایشی از تصاویر بههمراه ابزارهایی برای برش، چرخش و فیلتر عکسها، با قابلیت افزودن صفحات بیشتر به فایل PDF ارائه میدهد. گوگل درایو از یادگیری ماشینی برای پیشنهاد عناوین مرتبط استفاده میکند.
گوگل میگوید کاربران Stack میتوانند بهکمک گزینهی Export all document to Drive در بخش تنظیمات اپلیکیشن، همهی اسناد ذخیرهشده را به یک پوشه سبز رنگ با عنوان Stack در گوگل درایو منتقل کنند.
🔥3👌1
🔶در #یادگیری_ماشین ، هایپرپارامترها تنظیماتی هستند که شما قبل از آموزش مدل خود پیکربندی می کنید.
برخلاف پارامترهایی که مدل شما در طول آموزش یاد می گیرد، هایپرپارامترها باید از قبل تنظیم شوند. یافتن هایپرپارامترهای مناسب می تواند عملکرد مدل شما را تا حد زیادی افزایش دهد و بهینه سازی هایپرپارامتر را ضروری می کند.
✔️فراپارامترهای بهینه سازی مناسب
می توانند دقت و قابلیت اطمینان مدل را به طور قابل توجهی افزایش دهند.
آنها به مدل شما کمک می کنند تا به خوبی تعمیم یابد و از overfitting (در مواردی که مدل بیش از حد با داده های آموزشی متناسب است) و underfitting (که در آن مدل به اندازه کافی پیچیده نیست تا الگوهای اساسی را به تصویر بکشد) اجتناب می کنند.
🔶پروژه متن باز optana توسط Preferred Networks, Inc. ایجاد شد و در سال 2018 به یک پروژه متن باز تبدیل شد. این پروژه برای مقابله با چالش های بهینه سازی هایپرپارامتر طراحی شده است و رویکردی کارآمدتر و سازگارتر از روش های قبلی ارائه می دهد. از زمان انتشار، Optuna طرفداران زیادی پیدا کرده است.
این روش Optuna چندین ویژگی برجسته را ارائه می دهد که آن را به ابزاری قدرتمند برای بهینه سازی هایپرپارامتر تبدیل می کند. جستجو برای بهترین هایپرپارامترها را خودکار می کند، حدس و گمان را از تنظیم خارج می کند و به شما امکان می دهد روی توسعه مدل خود تمرکز کنید.
در این مقاله می توانید آموزش نصب، و استفاده از متد برای بهینه سازی هایپرپارامترهای مدلهای Xgboost و شبکه عصبی با #pytorch را ببینید.
https://towardsdatascience.com/machine-learning-optimization-with-optuna-57593d700e52
برخلاف پارامترهایی که مدل شما در طول آموزش یاد می گیرد، هایپرپارامترها باید از قبل تنظیم شوند. یافتن هایپرپارامترهای مناسب می تواند عملکرد مدل شما را تا حد زیادی افزایش دهد و بهینه سازی هایپرپارامتر را ضروری می کند.
✔️فراپارامترهای بهینه سازی مناسب
می توانند دقت و قابلیت اطمینان مدل را به طور قابل توجهی افزایش دهند.
آنها به مدل شما کمک می کنند تا به خوبی تعمیم یابد و از overfitting (در مواردی که مدل بیش از حد با داده های آموزشی متناسب است) و underfitting (که در آن مدل به اندازه کافی پیچیده نیست تا الگوهای اساسی را به تصویر بکشد) اجتناب می کنند.
🔶پروژه متن باز optana توسط Preferred Networks, Inc. ایجاد شد و در سال 2018 به یک پروژه متن باز تبدیل شد. این پروژه برای مقابله با چالش های بهینه سازی هایپرپارامتر طراحی شده است و رویکردی کارآمدتر و سازگارتر از روش های قبلی ارائه می دهد. از زمان انتشار، Optuna طرفداران زیادی پیدا کرده است.
این روش Optuna چندین ویژگی برجسته را ارائه می دهد که آن را به ابزاری قدرتمند برای بهینه سازی هایپرپارامتر تبدیل می کند. جستجو برای بهترین هایپرپارامترها را خودکار می کند، حدس و گمان را از تنظیم خارج می کند و به شما امکان می دهد روی توسعه مدل خود تمرکز کنید.
در این مقاله می توانید آموزش نصب، و استفاده از متد برای بهینه سازی هایپرپارامترهای مدلهای Xgboost و شبکه عصبی با #pytorch را ببینید.
https://towardsdatascience.com/machine-learning-optimization-with-optuna-57593d700e52
👏8👍2🙏2❤1
استرس در مصاحبه کاری یه امر طبیعیه. قراره قضاوت شین و نتیجهش رو هم نمیدونین! واضحه که به عنوان یک انسان باید مضطرب بشین، اما این استرس میتونه تا حدی مهار بشه که تأثیر منفیش کنترل شه.
۳×۳ نکتهی مختصر دربارهی «مدیریت استرس در مصاحبه کاری»:
1️⃣ قبل مصاحبه:
۱. راجع به شرکت، پوزیشن، و مصاحبهکننده خوب تحقیق کنین.
خوبه که بدونین چی کار دارن میکنن، احتمالاً به چی علاقه دارن و دنبال چیان، و خودتون رو توی مصاحبه باید علاقهمند و آگاه نشون بدین. توجه و اهمیت، احترام و علاقه میاره.
۲. حتماً یک محیط آروم، هم از نظر فیزیکی و هم از نظر روحی فراهم کنین.
آرامش فیزیکی محیط (از نظر صوتی و بصری) احترام به مخاطبه. آرامش خودتون هم کمک کنه بهترین عملکردتون رو داشته باشین، هم میتونه نشان از تسلط شما بر موضوع بحث داشته باشه.
۳. شب قبلش خوب بخوابین، قبل مصاحبه (و حینش) آب بنوشین، و به روزمهتون هم افتخار کنین!
قطعاً دستاوردهای شما اونقدری بوده که حاضرن براتون وقت باارزششون رو بذارن تا بیشتر بشناسنتون. پس اعتمادبهنفس (در حد کافی) داشته باشین و حالتون با خودتون خوب باشه.
حین مصاحبه:
۱. جواب مختصر مفید (efficient) بدین. و با دست خودتون مصاحبه رو به کوچه پسکوچههای پرخطر و استرسزا نبرین!
حتماً هر ۳۰ الی ۴۵ ثانیه چک کنین که مخاطب همچنان توضیح میخواد و جلوش آپشن بذارین. چون ممکنه طرف از سر احترام نپره وسط حرفتون اما بعداً نمره منفی بده!
۲. تلاش برای بیشاثرگذاری (overimpress کردن) نکنین! صرفاً بهترینِ خودتون باشین.
مصاحبهگر حرفهای خیلی راحتتر از اونی که فکر کنین میفهمه کجاها دارین تقلا میکنین که بیش از حد خودتون رو خفن نشون بدین. و هم ممکنه با خودبزرگبینی شما حال نکنه، هم مچتون رو بگیره و کلهپا شین!
۳. مغز خودتون رو گول بزنین که انگار مصاحبه رو قبول شدین و شغل رو گرفتین و این جلسه فقط یه مرور اینه که چرا شما لایق بودهاین!
درست مثل تمرین تئاتر که میتونین فرض کنین تماشاچیای نیست و این یه تمرینه. این شکلی دیگه لازم نیست استرسِ درحدلحظه قضاوت شدن رو دائم به دوش بکشین.
3️⃣ بعد مصاحبه:
۱. حتماً یه «دمت گرم» به خودتون بگین که از کنج دنج راحت خودتون (کامفورت زون) بیرون اومدین و این مرحله رو پشت سر گذاشتین!
و اون والدی نباشین که فقط اگه بچه ۲۰ بگیره دوستش داره. بلکه به تلاش خودتون ارزش بدین و احترام بذارین. انشالله نتیجه هم خوب میشه.
۲. بیشفکری (overthink) نکنین! کنترل تمام دنیا دست شما نیست. با شفقت و صبوری سعی کنین یاد بگیرین و جاهای بهبودپذیر رو کمکم بهبود بدین.
صد تا فاکتور توی مصاحبه همیشه هست که ممکنه باعث نشدن بشه. و ۹۰ تاشم نمیتونین ببینین. پس بیش از حد تحلیل و خودقضاوتگری مضاعف و ناسالم نکنین.
۳. نهایتاً، یادتون باشه که شما یک شیر هستین که نیاز داره «یه آهو» شکار کنه. اگه این آهو رو از دست دادین، بازم آهو تو گله ممکنه باشه. و تهش کسی نه میپرسه و نه براش مهمه که چند تا آهو رو از دست دادین، وقتی که با یه آهو لای دندوناتون با افتخار برگردین و حالشو ببرین!
از صفحه توییتر •لوکوموتیو•
۳×۳ نکتهی مختصر دربارهی «مدیریت استرس در مصاحبه کاری»:
1️⃣ قبل مصاحبه:
۱. راجع به شرکت، پوزیشن، و مصاحبهکننده خوب تحقیق کنین.
خوبه که بدونین چی کار دارن میکنن، احتمالاً به چی علاقه دارن و دنبال چیان، و خودتون رو توی مصاحبه باید علاقهمند و آگاه نشون بدین. توجه و اهمیت، احترام و علاقه میاره.
۲. حتماً یک محیط آروم، هم از نظر فیزیکی و هم از نظر روحی فراهم کنین.
آرامش فیزیکی محیط (از نظر صوتی و بصری) احترام به مخاطبه. آرامش خودتون هم کمک کنه بهترین عملکردتون رو داشته باشین، هم میتونه نشان از تسلط شما بر موضوع بحث داشته باشه.
۳. شب قبلش خوب بخوابین، قبل مصاحبه (و حینش) آب بنوشین، و به روزمهتون هم افتخار کنین!
قطعاً دستاوردهای شما اونقدری بوده که حاضرن براتون وقت باارزششون رو بذارن تا بیشتر بشناسنتون. پس اعتمادبهنفس (در حد کافی) داشته باشین و حالتون با خودتون خوب باشه.
حین مصاحبه:
۱. جواب مختصر مفید (efficient) بدین. و با دست خودتون مصاحبه رو به کوچه پسکوچههای پرخطر و استرسزا نبرین!
حتماً هر ۳۰ الی ۴۵ ثانیه چک کنین که مخاطب همچنان توضیح میخواد و جلوش آپشن بذارین. چون ممکنه طرف از سر احترام نپره وسط حرفتون اما بعداً نمره منفی بده!
۲. تلاش برای بیشاثرگذاری (overimpress کردن) نکنین! صرفاً بهترینِ خودتون باشین.
مصاحبهگر حرفهای خیلی راحتتر از اونی که فکر کنین میفهمه کجاها دارین تقلا میکنین که بیش از حد خودتون رو خفن نشون بدین. و هم ممکنه با خودبزرگبینی شما حال نکنه، هم مچتون رو بگیره و کلهپا شین!
۳. مغز خودتون رو گول بزنین که انگار مصاحبه رو قبول شدین و شغل رو گرفتین و این جلسه فقط یه مرور اینه که چرا شما لایق بودهاین!
درست مثل تمرین تئاتر که میتونین فرض کنین تماشاچیای نیست و این یه تمرینه. این شکلی دیگه لازم نیست استرسِ درحدلحظه قضاوت شدن رو دائم به دوش بکشین.
3️⃣ بعد مصاحبه:
۱. حتماً یه «دمت گرم» به خودتون بگین که از کنج دنج راحت خودتون (کامفورت زون) بیرون اومدین و این مرحله رو پشت سر گذاشتین!
و اون والدی نباشین که فقط اگه بچه ۲۰ بگیره دوستش داره. بلکه به تلاش خودتون ارزش بدین و احترام بذارین. انشالله نتیجه هم خوب میشه.
۲. بیشفکری (overthink) نکنین! کنترل تمام دنیا دست شما نیست. با شفقت و صبوری سعی کنین یاد بگیرین و جاهای بهبودپذیر رو کمکم بهبود بدین.
صد تا فاکتور توی مصاحبه همیشه هست که ممکنه باعث نشدن بشه. و ۹۰ تاشم نمیتونین ببینین. پس بیش از حد تحلیل و خودقضاوتگری مضاعف و ناسالم نکنین.
۳. نهایتاً، یادتون باشه که شما یک شیر هستین که نیاز داره «یه آهو» شکار کنه. اگه این آهو رو از دست دادین، بازم آهو تو گله ممکنه باشه. و تهش کسی نه میپرسه و نه براش مهمه که چند تا آهو رو از دست دادین، وقتی که با یه آهو لای دندوناتون با افتخار برگردین و حالشو ببرین!
از صفحه توییتر •لوکوموتیو•
👍9👌4❤3
استخراج متن از فایل pdf چالش های زیادی دارد. پایتون کتابخانه هایی برای استخراج متن از pdf دارد.
اما ماژول های langChain در این خصوص تقریبا بی نقص به نظر می آیند. دو ماژول مورد نظر PyPDFium2Loader و PyMuPDFLoader است.
که شما با استفاده از خطوط کد زیر می توانید از این دو برای استخراج متن از pdf استفاده کنید.
اما ماژول های langChain در این خصوص تقریبا بی نقص به نظر می آیند. دو ماژول مورد نظر PyPDFium2Loader و PyMuPDFLoader است.
که شما با استفاده از خطوط کد زیر می توانید از این دو برای استخراج متن از pdf استفاده کنید.
from langchain_community.document_loaders import PyMuPDFLoader
loader = PyMuPDFLoader("articlel.pdf")
data = loader.load()
print(data)
from langchain_community.document_loaders import PyPDFium2Loader
loader = PyPDFium2Loader("article.pdf")
data = loader.load()
🔥12👍6🙏3👏1
اگر قصد دارید پروژه LLM خود را بسازید و در حال تحقیق در این حوزه هستید. در این صفحه گیت هاب، لیست LLM های دارای مجوز را گزارش داده که می توانید از API آنها به صورت قانونی استفاده کنید. تعداد پارامترها و مقاله هر مدل زبانی نیز ارایه شده است.
https://github.com/eugeneyan/open-llms
https://github.com/eugeneyan/open-llms
❤6🙏1
فرهنگ لغت LLM-بخش اول
✅هنگامی که یک LLM از قبل آموزش دیده را سفارشی می کنید، LLM را با وظایف خاصی تطبیق می دهید، مانند تولید متن پیرامون یک موضوع خاص یا در یک سبک خاص.
🟨 برای سفارشی کردن یک LLM از قبل آموزش دیده با نیازهای خاص خود،
می توانید مرحله بعدی سفارشی سازی را با یادگیری درون متنی in_contect learning، یادگیری تقویتی (RLHF) یا تنظیم دقیق fine_tuning را امتحان کنید.
🔶یادگیری درون متنی(in-context learning)، که گاهی توسط کاربران نهایی به عنوان Prompt engineeringز آن یاد میشود، زمانی است که شما دستورالعملها یا مثالهای خاصی را در زمان استنتاج - یا زمانی که مدل را پرس و جو میکنید - به مدل ارائه میدهید و از آن میخواهید تا آنچه را که نیاز دارید استنتاج کند. و یک خروجی مرتبط با زمینه تولید کند. یادگیری درون زمینه ای را می توان به روش های مختلفی انجام داد، مانند ارائه مثال ها، بازنویسی پرسش های خود و افزودن جمله ای که هدف شما را در سطح بالا بیان می کند.
✅مدل تقویتی RHLF
@datalook_ir
✅هنگامی که یک LLM از قبل آموزش دیده را سفارشی می کنید، LLM را با وظایف خاصی تطبیق می دهید، مانند تولید متن پیرامون یک موضوع خاص یا در یک سبک خاص.
🟨 برای سفارشی کردن یک LLM از قبل آموزش دیده با نیازهای خاص خود،
می توانید مرحله بعدی سفارشی سازی را با یادگیری درون متنی in_contect learning، یادگیری تقویتی (RLHF) یا تنظیم دقیق fine_tuning را امتحان کنید.
🔶یادگیری درون متنی(in-context learning)، که گاهی توسط کاربران نهایی به عنوان Prompt engineeringز آن یاد میشود، زمانی است که شما دستورالعملها یا مثالهای خاصی را در زمان استنتاج - یا زمانی که مدل را پرس و جو میکنید - به مدل ارائه میدهید و از آن میخواهید تا آنچه را که نیاز دارید استنتاج کند. و یک خروجی مرتبط با زمینه تولید کند. یادگیری درون زمینه ای را می توان به روش های مختلفی انجام داد، مانند ارائه مثال ها، بازنویسی پرسش های خود و افزودن جمله ای که هدف شما را در سطح بالا بیان می کند.
✅مدل تقویتی RHLF
: شامل یک مدل پاداش برای LLM از قبل آموزش دیده است. مدل پاداش برای پیش بینی اینکه آیا کاربر خروجی LLM از قبل آموزش دیده را می پذیرد یا رد می کند. آموزش داده شده است. آموخته های مدل پاداش به LLM از پیش آموزش دیده منتقل می شود، که خروجی های خود را بر اساس میزان پذیرش کاربر تنظیم می کند. مزیت RLHF این است که به یادگیری نظارت شده نیاز ندارد و در نتیجه معیارهای خروجی قابل قبول را گسترش
می دهد. با بازخورد کافی انسانی، LLM میتواند یاد بگیرد که اگر ۸۰ درصد احتمال دارد که کاربر یک خروجی را بپذیرد، تولید آن خوب است.@datalook_ir
🔥5👍2🤩1
Nara
Sofiane Pamart
او را از یاد نمیبُرد،
اما دیگر مجال آن را نداشت که به فکر او باشد.
آنچه گذشت، گذشت.
برای عصر جمعه😍😍
اما دیگر مجال آن را نداشت که به فکر او باشد.
آنچه گذشت، گذشت.
برای عصر جمعه😍😍
❤9🔥1
Forwarded from پیشنهادهایی برای #اپلای #applyabroad
کمپانی HuggingFace یه cook book درست کرده که شامل مجموعه ای از notebook ها و مثال های عملی راجع به درست کردن اپلیکیشن های مبتنی بر AI و همچنین حل مسائل مختلف ماشین لرنینگ با استفاده از مدلهای اپن سورس میشه. یک کورس عملی
https://huggingface.co/learn/cookbook/en/index
منبع : https://x.com/MehdiAllahyari/status/1771902478298046582?s=20
لینک کانال #اپلای
T.me/safarname7
https://huggingface.co/learn/cookbook/en/index
منبع : https://x.com/MehdiAllahyari/status/1771902478298046582?s=20
لینک کانال #اپلای
T.me/safarname7
🔥3👏1
Forwarded from Data world with Mina (Mina Ra)
«🤖ترانسفورمر» یک مدل یادگیری عمیق است که مکانیسم توجه به خود، بهطور متفاوتی اهمیت هر بخش از دادههای ورودی را وزن میکند. عمدتاً در زمینههای پردازش زبان طبیعی (NLP) و بینایی رایانه ای (CV) استفاده میشود.
✅مانند شبکه عصبی بازگشتی (RNN)، ترانسفورمرها برای مدیریت دادههای ورودی متوالی، مانند زبان طبیعی، برای کارهایی مانند ترجمه و خلاصه متن طراحی شدهاند. با این حال، برخلاف شبکه عصبی بازگشتیها، ترانسفورمرها لزوماً دادهها را به ترتیب پردازش نمیکنند. در عوض، مکانیسم توجه زمینه را برای هر موقعیتی در دنباله ورودی فراهم میکند. به عنوان مثال، اگر داده ورودی یک جمله زبان طبیعی باشد، ترانسفورمر نیازی به پردازش ابتدای جمله قبل از پایان ندارد.
📚این ویژگی اجازه میدهد تا موازی سازی بیشتر از شبکه عصبی بازگشتیها باشد و بنابراین زمان آموزش را کاهش میدهد.
دادههای بزرگتر از زمانی که ممکن بود را میدهد. این منجر به توسعه سیستمهای از پیش آموزش دیده مانند مدل Bert و
GPT( Generative Pre-trained Transformer)
شده است.
آموزش ترانسفورمرها
در کانال یوتیوب
mina rabti
https://m.youtube.com/channel/UCvxKAC5IdZp6U_75sre0CEw
✅مانند شبکه عصبی بازگشتی (RNN)، ترانسفورمرها برای مدیریت دادههای ورودی متوالی، مانند زبان طبیعی، برای کارهایی مانند ترجمه و خلاصه متن طراحی شدهاند. با این حال، برخلاف شبکه عصبی بازگشتیها، ترانسفورمرها لزوماً دادهها را به ترتیب پردازش نمیکنند. در عوض، مکانیسم توجه زمینه را برای هر موقعیتی در دنباله ورودی فراهم میکند. به عنوان مثال، اگر داده ورودی یک جمله زبان طبیعی باشد، ترانسفورمر نیازی به پردازش ابتدای جمله قبل از پایان ندارد.
📚این ویژگی اجازه میدهد تا موازی سازی بیشتر از شبکه عصبی بازگشتیها باشد و بنابراین زمان آموزش را کاهش میدهد.
دادههای بزرگتر از زمانی که ممکن بود را میدهد. این منجر به توسعه سیستمهای از پیش آموزش دیده مانند مدل Bert و
GPT( Generative Pre-trained Transformer)
شده است.
آموزش ترانسفورمرها
در کانال یوتیوب
mina rabti
https://m.youtube.com/channel/UCvxKAC5IdZp6U_75sre0CEw
👍9❤3👌3
🔶 استفاده از #یادگیری_ماشین برای حل مشکلات دنیای واقعی هیجان انگیز است. اما بیشتر مبتدیان مستقیماً به سراغ ساخت مدل میروند -
با نادیده گرفتن اصول اساسی - که منجر به مدلهایی میشود که چندان مفید نیستند. از درک دادهها گرفته تا انتخاب بهترین مدل یادگیری ماشین برای مشکل، برخی از اشتباهات رایج وجود دارد که مبتدیان اغلب مرتکب میشوند.
✅اولین مرحله جهت حل این مشکل : از خود سؤالات کافی بپرسید تا در مورد مشکل و دامنه بیشتر بدانید. همچنین در نظر بگیرید که آیا یادگیری ماشین اصلاً ضروری است یا خیر: در صورت نیاز قبل از ترسیم چگونگی حل مشکل با استفاده از یادگیری ماشین، بدون یادگیری ماشین شروع کنید. شما باید به عنوان یک دیتا ساینتیست یک solution maker باشید.
سایر اشتباهات رایج
1. عدم درک داده ها
2. پیش پردازش ناکافی داده ها
۳_نشت داده ها(Data Leakage) وقتی رخ میده که مدل از اطلاعات خارج از مجموعه داده در فرآیند آموزش استفاده کند. حل مشکل: استفاده از pipeline در هنگام آموزش مدل
۴-عدم انجام مهندسی ویژگی
۵-بیش برازش و کم برازش
در این مقاله کامل به این موضوع پرداخته و مراحلش رو با جزییات کدنویسی توضیح داده:
لینک مقاله
با نادیده گرفتن اصول اساسی - که منجر به مدلهایی میشود که چندان مفید نیستند. از درک دادهها گرفته تا انتخاب بهترین مدل یادگیری ماشین برای مشکل، برخی از اشتباهات رایج وجود دارد که مبتدیان اغلب مرتکب میشوند.
✅اولین مرحله جهت حل این مشکل : از خود سؤالات کافی بپرسید تا در مورد مشکل و دامنه بیشتر بدانید. همچنین در نظر بگیرید که آیا یادگیری ماشین اصلاً ضروری است یا خیر: در صورت نیاز قبل از ترسیم چگونگی حل مشکل با استفاده از یادگیری ماشین، بدون یادگیری ماشین شروع کنید. شما باید به عنوان یک دیتا ساینتیست یک solution maker باشید.
سایر اشتباهات رایج
1. عدم درک داده ها
2. پیش پردازش ناکافی داده ها
۳_نشت داده ها(Data Leakage) وقتی رخ میده که مدل از اطلاعات خارج از مجموعه داده در فرآیند آموزش استفاده کند. حل مشکل: استفاده از pipeline در هنگام آموزش مدل
۴-عدم انجام مهندسی ویژگی
۵-بیش برازش و کم برازش
در این مقاله کامل به این موضوع پرداخته و مراحلش رو با جزییات کدنویسی توضیح داده:
لینک مقاله
👍13👌3🙏2
Data world with Mina
🔶 از امروز می خوام یه تاپیک جدید به کانال اضافه کنم. معرفی الگوریتم های نسبتا جدید #یادگیری_ماشین و #یادگیری_عمیق در دو سه سال اخیر برای راهنمایی انتخاب در مقالات و تحقیقات ✔️ در پارت اول الگوریتم های بر پایه کانولوشن (از خانواده CNN) ها رو انتخاب کردم.…
معرفی دوم: EfficientNetV2L
تاپیک معرفی الگوریتم های جدید #یادگیری_عمیق
✅الگوریتم EfficientNetV2L یکی از اعضای خانواده مدلهای EfficientNetV2 است که بهینهسازیهایی روی مدلهای اولیه EfficientNet انجام داده است.
این مدلها مجموعهای از مدلهای شبکههای عصبی عمیق هستند که توسط پژوهشگران گوگل برای بهبود کارایی و دقت در وظایف بینایی ماشین توسعه داده شدهاند.
این مدلها بر پایه معماری اصلی EfficientNet ساخته شدهاند که از روش مقیاسپذیری ترکیبی " استفاده میکند. EfficientNetV2 بهبودهای بیشتری در ساختار شبکه و روشهای آموزشی معرفی کرده است.
🔶این الگوریتم از یک ترکیب پیچیده از لایههای کانولوشنال، لایههای نرمالسازی و لایههای فعالسازی استفاده میکند. این شبکه از یک معماری سلسلهمراتبی استفاده میکند که در آن بلوکهای مختلف با مقیاسهای متفاوت برای استخراج بهتر ویژگیهای تصویر استفاده میشوند.
مقیاسپذیری ترکیبی شامل مقیاسپذیری همزمان عمق، عرض و وضوح شبکه است. با استفاده از این روش، مدل میتواند به طور کارآمد از منابع محاسباتی استفاده کند و عملکرد بهتری داشته باشد. EfficientNetV2L شامل تغییرات مختلف در میکرو-معماری بلوکهای ساختاری شبکه است، مانند استفاده از لایههای کانولوشنال 3x3 و 5x5، و ادغام تکنیکهای کاهش نویز و بهبود پایداری. EfficientNetV2L عملکرد بسیار خوبی را بر روی مجموعه دادههای مختلف مانند ImageNet از خود نشان داده است، با دقت بالا با منابع محاسباتی حداقل. این مدل به خصوص برای برنامههایی که نیاز به دقت بالا و کارایی محاسباتی دارند، مناسب است.
مقاله جهت اطلاعات بیشتر
https://arxiv.org/abs/2104.00298
تاپیک معرفی الگوریتم های جدید #یادگیری_عمیق
✅الگوریتم EfficientNetV2L یکی از اعضای خانواده مدلهای EfficientNetV2 است که بهینهسازیهایی روی مدلهای اولیه EfficientNet انجام داده است.
این مدلها مجموعهای از مدلهای شبکههای عصبی عمیق هستند که توسط پژوهشگران گوگل برای بهبود کارایی و دقت در وظایف بینایی ماشین توسعه داده شدهاند.
این مدلها بر پایه معماری اصلی EfficientNet ساخته شدهاند که از روش مقیاسپذیری ترکیبی " استفاده میکند. EfficientNetV2 بهبودهای بیشتری در ساختار شبکه و روشهای آموزشی معرفی کرده است.
🔶این الگوریتم از یک ترکیب پیچیده از لایههای کانولوشنال، لایههای نرمالسازی و لایههای فعالسازی استفاده میکند. این شبکه از یک معماری سلسلهمراتبی استفاده میکند که در آن بلوکهای مختلف با مقیاسهای متفاوت برای استخراج بهتر ویژگیهای تصویر استفاده میشوند.
مقیاسپذیری ترکیبی شامل مقیاسپذیری همزمان عمق، عرض و وضوح شبکه است. با استفاده از این روش، مدل میتواند به طور کارآمد از منابع محاسباتی استفاده کند و عملکرد بهتری داشته باشد. EfficientNetV2L شامل تغییرات مختلف در میکرو-معماری بلوکهای ساختاری شبکه است، مانند استفاده از لایههای کانولوشنال 3x3 و 5x5، و ادغام تکنیکهای کاهش نویز و بهبود پایداری. EfficientNetV2L عملکرد بسیار خوبی را بر روی مجموعه دادههای مختلف مانند ImageNet از خود نشان داده است، با دقت بالا با منابع محاسباتی حداقل. این مدل به خصوص برای برنامههایی که نیاز به دقت بالا و کارایی محاسباتی دارند، مناسب است.
مقاله جهت اطلاعات بیشتر
https://arxiv.org/abs/2104.00298
👍6❤4👏3👎1
معرفی Dify
چند هفته پیش با این ابزار آشنا شدم که برای توسعه اپلیکیشن حول LLMها بوجود اومده.
ویژگیهایی که باعث میشه ازش خوشم بیاد:
- میشه کاملاً بصورت Self-hosted استفاده کرد. نسخه داخل سایتش محدودیت داره ولی Self-hostedاش رایگان هست.
- از اینترفیس وب استفاده میکنه و میشه پرامپتها رو به سادگی تغییر داد.
- تمام ورودی خروجیها رو لاگ میکنه و میشه برای دیباگ کردن ازش استفاده کرد.
- ابزار Low-code هست و نه No-code. یعنی اگر جایی نیاز بود کد خاص بزنید، میشه به عنوان بخشی از ورکفلو بهش کد اضافه کرد.
- تقریباً همه ارائه دهندگان LLM رو ساپورت میکنه و به سادگی میشه به همشون وصل شد و جابهجا شدن بین اینها هم بسیار ساده است.
- از استریمینگ بصورت اتوماتیک ساپورت میکنه
نظر نامحبوب من اینه که ابزاری مثل Langchain بیش از حد بهش پرداخته شده و انتزاعات بیش از حد و غیرضروری تعریف کرده. به شخصه ترجیح میدم، تا حد امکان ازش استفاده نکنم (کما این که کدش هم بسیار کثیف نوشته شده و خدا نکنه آدم جایی مجبور بشه کدش رو بفهمه یا تغییر بده). تو شبکههای اجتماعی هم اگر نگاه کنید، خیلیها گفتند که واقعاً استفاده از Langchain نمیارزید. در واقع تنها فیچر خیلی خوبش Langsmith بود (برای لاگ کردن) که اونم از ماه بعد پولی میشه.
اما این ابزار به معنای واقعی کلمه ارزش ایجاد کرده و تو این چند وقت که ازش استفاده کردم، هر روز بیشتر متعجب شدم. بخشی از تعجبم هم اینه که چرا انقدر کم بهش پرداخته شده.
روالش هم اینطوری هست که میتونید بصورت داکری روی سرور خودتون بالا بیارید. LLMهای مختلفتون رو روش تعریف کنید و بعد از اون Workflow تعریف میکنید و ورودی و خروجی و پرامپتهاتون رو داخلش مینویسید. نهایتاً هم وقتی Publish میکنید بصورت API قابل استفاده خواهد بود.
اگر به توسعه اپلکیشین حول مدلهای زبانی بزرگ علاقمند هستید، پیشنهاد میکنم حداقل نسخه داخل سایتش رو یه تست بگیرید (به احتمال زیاد پشیمون نمیشید).
صفحه گیتهاب رو در اینجا میارم و لینک تست داخل وبسایت خودش رو هم در کامنت میگذارم.
متن از صفحه لیندکین آقای Amir pourmard
پیشنهاد میکنم حتما صفحه ایشون رو فالو کنید.
چند هفته پیش با این ابزار آشنا شدم که برای توسعه اپلیکیشن حول LLMها بوجود اومده.
ویژگیهایی که باعث میشه ازش خوشم بیاد:
- میشه کاملاً بصورت Self-hosted استفاده کرد. نسخه داخل سایتش محدودیت داره ولی Self-hostedاش رایگان هست.
- از اینترفیس وب استفاده میکنه و میشه پرامپتها رو به سادگی تغییر داد.
- تمام ورودی خروجیها رو لاگ میکنه و میشه برای دیباگ کردن ازش استفاده کرد.
- ابزار Low-code هست و نه No-code. یعنی اگر جایی نیاز بود کد خاص بزنید، میشه به عنوان بخشی از ورکفلو بهش کد اضافه کرد.
- تقریباً همه ارائه دهندگان LLM رو ساپورت میکنه و به سادگی میشه به همشون وصل شد و جابهجا شدن بین اینها هم بسیار ساده است.
- از استریمینگ بصورت اتوماتیک ساپورت میکنه
نظر نامحبوب من اینه که ابزاری مثل Langchain بیش از حد بهش پرداخته شده و انتزاعات بیش از حد و غیرضروری تعریف کرده. به شخصه ترجیح میدم، تا حد امکان ازش استفاده نکنم (کما این که کدش هم بسیار کثیف نوشته شده و خدا نکنه آدم جایی مجبور بشه کدش رو بفهمه یا تغییر بده). تو شبکههای اجتماعی هم اگر نگاه کنید، خیلیها گفتند که واقعاً استفاده از Langchain نمیارزید. در واقع تنها فیچر خیلی خوبش Langsmith بود (برای لاگ کردن) که اونم از ماه بعد پولی میشه.
اما این ابزار به معنای واقعی کلمه ارزش ایجاد کرده و تو این چند وقت که ازش استفاده کردم، هر روز بیشتر متعجب شدم. بخشی از تعجبم هم اینه که چرا انقدر کم بهش پرداخته شده.
روالش هم اینطوری هست که میتونید بصورت داکری روی سرور خودتون بالا بیارید. LLMهای مختلفتون رو روش تعریف کنید و بعد از اون Workflow تعریف میکنید و ورودی و خروجی و پرامپتهاتون رو داخلش مینویسید. نهایتاً هم وقتی Publish میکنید بصورت API قابل استفاده خواهد بود.
اگر به توسعه اپلکیشین حول مدلهای زبانی بزرگ علاقمند هستید، پیشنهاد میکنم حداقل نسخه داخل سایتش رو یه تست بگیرید (به احتمال زیاد پشیمون نمیشید).
صفحه گیتهاب رو در اینجا میارم و لینک تست داخل وبسایت خودش رو هم در کامنت میگذارم.
متن از صفحه لیندکین آقای Amir pourmard
پیشنهاد میکنم حتما صفحه ایشون رو فالو کنید.
🙏5🤩3👍2
مردی مبتلا به سرطان، نسخه هوش مصنوعی خودش را ساخت!
مایکل بومر ۶۱ ساله، مردی مبتلا به سرطان درمانناپذیر قصد دارد خودش را به هوش مصنوعی تبدیل کند تا پس از مرگش همچنان کنار همسرش بماند.
🔹مردی مبتلا به سرطان درمانناپذیر از تصمیم غیرعادیاش میگوید که قصد دارد خودش را به هوش مصنوعی تبدیل کند تا پس از مرگش همچنان کنار همسرش بماند.
🔹مایکل بومر ۶۱ ساله چند هفته بیشتر از عمرش باقی نمانده اما فرایند خلق نسخهای دیجیتال از خودش تسلیبخش بوده است.
🔹او مدعی است که این موضوع او را به پسرانش، که ۲۴ و ۳۰ سال سن دارند، نزدیکتر کرده است، زیرا داستانهایی درباره خودش به سیستم هوش مصنوعی میگوید که آنها قبلا هرگز نشنیده بودند.
مایکل بومر ۶۱ ساله، مردی مبتلا به سرطان درمانناپذیر قصد دارد خودش را به هوش مصنوعی تبدیل کند تا پس از مرگش همچنان کنار همسرش بماند.
🔹مردی مبتلا به سرطان درمانناپذیر از تصمیم غیرعادیاش میگوید که قصد دارد خودش را به هوش مصنوعی تبدیل کند تا پس از مرگش همچنان کنار همسرش بماند.
🔹مایکل بومر ۶۱ ساله چند هفته بیشتر از عمرش باقی نمانده اما فرایند خلق نسخهای دیجیتال از خودش تسلیبخش بوده است.
🔹او مدعی است که این موضوع او را به پسرانش، که ۲۴ و ۳۰ سال سن دارند، نزدیکتر کرده است، زیرا داستانهایی درباره خودش به سیستم هوش مصنوعی میگوید که آنها قبلا هرگز نشنیده بودند.
👍14🤔6👏5
استارتاپ جدید سم آلتمن، Thrive AI، هوش مصنوعی را به مربی سلامت شما تبدیل میکند.
سم آلتمن قصد دارد مدل هوش مصنوعی اختصاصی برای ارائهی مشاورهی سلامتی بسازد.
آلتمن و هافینگتون در مقالهای مجلهی تایم اعلام کردند که Thrive AI براساس بهترین و اثباتشدهترین بخشهای علوم پزشکی و خردهعادتهای روزانهای که از کاربر دریافت میکند، آموزش داده خواهد شد.
مشاورهی سلامت مبتنیبر هوش مصنوعی به موضوع پرطرفداری تبدیل شده است؛ استارتاپ فیتبیت در حال کار روی چتبات مربی هوش مصنوعی است و Whoop، مشاورهی قدرتگرفته از ChatGPT را اضافه کرده تا کاربران را به تحلیلهای بیشتری از شاخصهای سلامتشان برساند.
Thrive AI Health
هنوز در مراحل ابتدایی است و هدف آن ایجاد تغییرات کوچک در پنج زمینه از عادتهای سبک زندگی شامل خواب، تغذیه، تناسب اندام، مدیریت استرس و روابط اجتماعی است.
این اپلیکیشن ادعای تجویز نسخه مانند پزشکان را ندارد؛ بلکه پیشنهادهای شخصیشدهای را برای داشتن زندگی سالم ارائه میدهد.
سم آلتمن قصد دارد مدل هوش مصنوعی اختصاصی برای ارائهی مشاورهی سلامتی بسازد.
آلتمن و هافینگتون در مقالهای مجلهی تایم اعلام کردند که Thrive AI براساس بهترین و اثباتشدهترین بخشهای علوم پزشکی و خردهعادتهای روزانهای که از کاربر دریافت میکند، آموزش داده خواهد شد.
مشاورهی سلامت مبتنیبر هوش مصنوعی به موضوع پرطرفداری تبدیل شده است؛ استارتاپ فیتبیت در حال کار روی چتبات مربی هوش مصنوعی است و Whoop، مشاورهی قدرتگرفته از ChatGPT را اضافه کرده تا کاربران را به تحلیلهای بیشتری از شاخصهای سلامتشان برساند.
Thrive AI Health
هنوز در مراحل ابتدایی است و هدف آن ایجاد تغییرات کوچک در پنج زمینه از عادتهای سبک زندگی شامل خواب، تغذیه، تناسب اندام، مدیریت استرس و روابط اجتماعی است.
این اپلیکیشن ادعای تجویز نسخه مانند پزشکان را ندارد؛ بلکه پیشنهادهای شخصیشدهای را برای داشتن زندگی سالم ارائه میدهد.
TIME
AI-Driven Behavior Change Could Transform Health Care
Making healthier choices is hard. But it’s also something that AI is uniquely positioned to solve, write Sam Altman and Arianna Huffington.
🤩7👏5🥴3😡2
Forwarded from Data Science | علم داده
👨🏻💻 اگه تازه کارین و دنبال یه فرصت کارآموزی در زمینه علم داده و تحلیلگری هستین، سایتهای زیادی وجود دارن که میتونن بهتون کمک کنن. من چندتا از این سایتها رو براتون اینجا لیست کردم:
➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖
Please open Telegram to view this post
VIEW IN TELEGRAM
❤14🙏5👍3
▫️امروز روز جهانی ایموجی است؛ همین شکلکهایی که هر روز ازشان استفاده میکنیم و گاهی وقتها از دهها کلمه هم گویاترند!
▫️بعضیها معتقدند که هر کسی با یک شکلک خاص ارتباط ویژهای دارد و اصلا آن ایموجی را به نام خودش میداند. به همین بهانه بیایید زیر این پست، شکلک یا ایموجی مخصوصتان را بگذارید.
ا
▫️بعضیها معتقدند که هر کسی با یک شکلک خاص ارتباط ویژهای دارد و اصلا آن ایموجی را به نام خودش میداند. به همین بهانه بیایید زیر این پست، شکلک یا ایموجی مخصوصتان را بگذارید.
ا
😁6🥰5🥴4👏2👍1🔥1🤔1🤩1😐1😡1
لیست دوره های رایگان مسیر مهندسی داده
Data engineer role
https://www.kdnuggets.com/landing-a-data-engineer-role-free-courses-and-certifications
Data engineer role
https://www.kdnuggets.com/landing-a-data-engineer-role-free-courses-and-certifications
❤12👏1
10 GitHub Repositories to Master Data Science
۱۰ ریپوی خوب گیت هاب برای دیتا ساینس
#datascience
#machineLearning
#dataEnginnering
https://www.kdnuggets.com/10-github-repositories-to-master-data-science
۱۰ ریپوی خوب گیت هاب برای دیتا ساینس
#datascience
#machineLearning
#dataEnginnering
https://www.kdnuggets.com/10-github-repositories-to-master-data-science
❤9🔥2
Forwarded from Data world with Mina (Mina Ra)
✔️اسکیوال SQL از ابزارهایی است که در چندین شغل حوزه داده از جمله مهندسی داده، دانشمند داده و آنالیزگر داده باید حتما یاد بگیرید.
🔶پس لیست دوره های رایگان برای یادگیری اصول SQL را جمع آوری کردم.
🔺دوره اول
مقدمه ای بر پرس و جو با داده ها در khan academy
https://www.khanacademy.org/computing/computer-programming/sql
🔺دوره دوم
دوره ویدیویی ۴ ساعته جهت یادگیری مقدمات پایگاه داده به زبان ساده در یوتیوب
https://youtu.be/HXV3zeQKqGY?si=WR-cahMxbhBl4EiK
🔺دوره سوم :دوره با مدرک در kaggle
در این دوره مقدماتی یاد خواهید گرفت که چگونه مجموعه داده ها را با SQL با استفاده از bigQuery python client پرس و جو کنید.
https://www.kaggle.com/learn/intro-to-sql
🔺دوره چهارم: دوره آموزشی در سایت w3school
یکی دیگر از منابع عالی برای مبتدیان با مثالهای متنوع
بدون نیاز به نصب ابزار و استفاده از ویرایشگر آنلاین
https://www.w3schools.com/sql/
🔺دوره پنجم: sqlzoo
یکی دیگر از پلتفرم های یادگیری و تمرین SQL
https://www.sqlzoo.net/wiki/SQL_Tutorial
🔶پس لیست دوره های رایگان برای یادگیری اصول SQL را جمع آوری کردم.
🔺دوره اول
مقدمه ای بر پرس و جو با داده ها در khan academy
https://www.khanacademy.org/computing/computer-programming/sql
🔺دوره دوم
دوره ویدیویی ۴ ساعته جهت یادگیری مقدمات پایگاه داده به زبان ساده در یوتیوب
https://youtu.be/HXV3zeQKqGY?si=WR-cahMxbhBl4EiK
🔺دوره سوم :دوره با مدرک در kaggle
در این دوره مقدماتی یاد خواهید گرفت که چگونه مجموعه داده ها را با SQL با استفاده از bigQuery python client پرس و جو کنید.
https://www.kaggle.com/learn/intro-to-sql
🔺دوره چهارم: دوره آموزشی در سایت w3school
یکی دیگر از منابع عالی برای مبتدیان با مثالهای متنوع
بدون نیاز به نصب ابزار و استفاده از ویرایشگر آنلاین
https://www.w3schools.com/sql/
🔺دوره پنجم: sqlzoo
یکی دیگر از پلتفرم های یادگیری و تمرین SQL
https://www.sqlzoo.net/wiki/SQL_Tutorial
👍17🙏5👏2❤1