پلتفرم لیندکین . موقعیت شغلی مهندس داده

معرفی یک ریپوی خوب ماشین لرنینگ

https://github.com/whatsinfinitum?tab=repositories

در این ریپو علیرضا گودرزی سینور دیتا ساینتیست چند پروژه خوب در خصوص LLM را قرار داده که می تونید استفاده کنید.
خودم خیلی استفاده کردم.

AI Scientist
معرفی شد؛ هوش مصنوعی متن‌باز برای انجام تحقیقات علمی

شرکت Sakana AI مستقر در توکیو با همکاری محققان دانشگاه آکسفورد و دانشگاه بریتیش کلمبیا، یک سیستم هوش مصنوعی متن‌باز معرفی کرده است که می‌تواند تحقیقات علمی را به‌طور مستقل انجام دهد. این سیستم که «دانشمند هوش مصنوعی» (The AI Scientist) نام دارد، نوید تغییر کامل روند اکتشافات علمی را می‌دهد.

براساس اعلام Sakana AI، این هوش مصنوعی جدید از مدل‌های زبانی بزرگ (LLM) برای تعامل با کاربر، ارائه پیشنهاد و اجرای دستورالعمل‌های تحقیقاتی، به‌ویژه در زمینه یادگیری ماشینی، استفاده می‌کند. AI Scientist کاملاً متن‌باز است و اکنون تحت مجوز Apache 2.0 در GitHub منتشر شده و استفاده، اصلاح و تجاری‌سازی آن قانونی است.

این شرکت همچنین چند مدل مولد تصویر در Hugging Face منتشر کرده است که با یکی از آن‌ها می‌توان تصاویری هنری ژاپنی موسوم به «اوکی‌یو» (Ukiyo) ایجاد کرد.

سیستم The AI Scientist فرایند علمی نوشتن یک مقاله را تقلید می‌کند. این هوش مصنوعی همانند یک انسان پس از مطرح‌کردن یک ایده‌ پژوهشی، آزمایش‌ها را طراحی و اجرا می‌کند و سپس نتایج نهایی را ارائه می‌دهد. این سیستم برای ارزیابی مقالات خود نیز همان روش سنتی همتاداوری مقالات علمی را شبیه‌سازی می‌کند.

بااین‌حال، اتوماسیون‌کردن تحقیقات علمی مسائل مهمی را درباره نقش دانشمندان انسانی پیش می‌کشد. درحالی که هوش مصنوعی ممکن است در پردازش حجم وسیعی از داده‌ها و شناسایی الگوها برتر باشد، شهود انسانی، خلاقیت و قضاوت اخلاقی همچنان در هدایت تحقیقات علمی به سمت نتایج معنادار و سودمند حیاتی است. درواقع مسئله اصلی این خواهد بود که باید بتوان بین کارایی هوش مصنوعی و مسائل انسانی تعادل برقرار کرد.

فایل npy یک فرمت باینری مخصوص برای ذخیره‌سازی آرایه‌ها در کتابخانه numpy در پایتون است. این فرمت توسط numpy توسعه داده شده و بهینه‌سازی شده است تا آرایه‌ها را به شکلی فشرده و سریع ذخیره و بازیابی کند. این فرمت بسیار مناسب برای ذخیره‌سازی داده‌های عددی و علمی بزرگ است که در پروژه‌های محاسباتی و یادگیری ماشین استفاده می‌شوند.

ویژگی‌های فایل‌های npy:
فشرده‌سازی و کارایی: فایل‌های npy داده‌ها را به صورت باینری ذخیره می‌کنند، که این باعث می‌شود ذخیره و بارگذاری داده‌ها سریع‌تر و کارآمدتر باشد نسبت به فرمت‌های متنی مثل CSV.

ذخیره‌سازی اطلاعات متادیتا: این فایل‌ها اطلاعاتی در مورد نوع داده‌ها، شکل آرایه و دیگر متادیتاهای مرتبط را ذخیره می‌کنند.

سازگاری با numpy: این فرمت به طور خاص با numpy سازگار است و به راحتی می‌تواند با استفاده از توابع numpy ذخیره و بارگذاری شود.

اگر جایی واقعا حجم داده میلیونی بالا دارید. حتما با pickle و npy زیاد کار کنید.

مدل های (LAM) چیست؟ و تفاوت بین LLM و LAM چیست؟

یک موضوع داغ در قلمرو هوش مصنوعی (AI) مدل‌های LAM است .

ابن مدلها گستره ای از مدل های زبان بزرگ (LLM) هستند که همه ما با آن آشنا هستیم. LLM ها می توانند متن را با پیش بینی کلمه یا نشانه بعدی بر اساس ورودی تولید کنند. LAM ها با تقویت این LLM ها برای تبدیل شدن به "عامل" این مرحله را به جلو می برند. Agent ها واحدهای نرم افزاری هستند که قادر به اجرای وظایف به تنهایی هستند، بنابراین به جای پاسخگویی ساده به پرسش های کاربر انسانی، در نهایت به رسیدن به یک هدف کمک می کنند.

در تعریف ساده تر LAM مدل هوش مصنوعی است که می تواند وظایف پیچیده را با تبدیل نیات انسان به عمل درک و اجرا کند. در LAMها، چنین سطوحی از استقلال و درک، هوش مصنوعی مولد را به دستیار فعالی تبدیل می‌کند که می‌تواند وظایف مختلفی را انجام دهد، از رزرو اتاق گرفته تا تصمیم‌گیری پیچیده بر اساس تجزیه و تحلیل داده‌های گذشته و حال.


آنها از طریق یکپارچه سازی با سیستم های خارجی، مانند دستگاه های IoT و ...، با دنیای واقعی تعامل دارند. با اتصال به این سیستم ها، LAM ها می توانند اقدامات فیزیکی انجام دهند، دستگاه ها را کنترل کنند، داده ها را بازیابی کنند یا اطلاعات را دستکاری کنند. این به LAM ها اجازه می دهد تا فرآیندهای کامل را مکانیزه کنند و هوشمندانه با جهان تعامل داشته باشند، با مردم گفتگو کنند، با شرایط متفاوت تنظیم شوند و حتی با سایر LAM ها همکاری کنند.


موارد استفاده بالقوه از مدل اکشن بزرگ را می توان در حوزه های مختلف اعمال کرد.

در مراقبت های بهداشتی، LAM می تواند مراقبت از بیمار را از طریق تشخیص های مدرن و استراتژی درمان مناسب تغییر دهد.

در بخش مالی، LAM می تواند در اندازه گیری ریسک، کشف تقلب و معاملات الگوریتمی کمک کند. در بخش خودرو، LAM می تواند به تولید خودروهای خودگردان و بهبود سیستم های ایمنی خودرو کمک کند


اگرچه مدل‌های اکشن بزرگ LAMهنوز نمایی تأثیرگذار در دنیای هوش مصنوعی پیدا نکرده‌اند، اما پذیرش سریع هوش مصنوعی، رویاپردازان و ذهن‌های خلاق را بر آن می‌دارد تا به دنبال راه‌های جدیدی برای استفاده از این فناوری باشند و فراتر از آنچه راه‌حل‌های فعلی ارائه می‌دهند، بروند.

Model performance. Before you customize your LLM using techniques like fine-tuning and in-context learning evaluate how well and fast—and how consistently—the model generates your desired output. To measure model performance, you can use offline evaluations.

What are offline evaluations?

They’re tests that assess the model and ensure it meets a performance standard before advancing it to the next step of interacting with a human. These tests measure latency, accuracy, and contextual relevance of a model’s outputs by asking it questions, to which there are either correct or incorrect answers that the human knows.

There’s also a subset of tests that account for ambiguous answers, called incremental scoring. This type of offline evaluation allows you to score a model’s output as incrementally correct (for example, 80% correct) rather than just either right or wrong.

🧠وبینار AI meets Bio
💊با موضوع:
«کاربرد هوش مصنوعی در طراحی دارو، پیش دارو (Prodrug) و آنتی‌بادی های متصل به دارو (ADCs)»

👤با حضور: دکتر سعید اکبری
⏺پژوهشگر پسادکترای دانشگاه Arizona State آمریکا
⏺دکترای علوم و مهندسی ماکرومولکولی از دانشگاه Case Western Reserve آمریکا

📝محورها:
⏺کاربرد شبکه عصبی گراف (GNN) در مطالعه برهمکنش دارو-پروتئین
⏺کاربرد مدل زبانی (Language Model) در جدایش فازی پروتئین‌ها
⏺ماهیت پیش‌ داروها و آنتی‌بادی های متصل به دارو و کاربرد آنها در زمینه Estrogen receptors

⏳زمان: سه‌شنبه ۶ شهریور، ساعت ۱۸:۳۰
⌨️به صورت مجازی در اسکای‌روم

💠لینک شرکت در جلسه در کانال انجمن علمی بیوتکنولوژی شبکه نخبگان ایران منتشر خواهد شد. برای شرکت در وبینار، در کانال عضو شوید.

📌افزودن رویداد به گوگل کلندر

💰شرکت برای عموم علاقمندان آزاد و رایگان است.

در کانال انجمن علمی بیوتکنولوژی شبکه نخبگان ایران با ما‌ همراه باشید🌱
| @BioTech_Association |

اپلیکیشن جدید شرکت ElevenLabs، تمام متن‌ها را به فایل صوتی تبدیل می‌کند.
عملکرد تبدیل متن به گفتار یکی از بهترین ویژگی‌ها برای افراد توان‌یاب در گوشی‌های هوشمند محسوب می‌شود. همچنین زمانی که می‌خواهید محتوا را به‌جای خواندن، گوش کنید (مثلاً هنگام رانندگی یا دویدن) برایتان بسیار کاربردی خواهد بود.


اپلیکیشن ElevenLabs Reader طیف گسترده‌ای از صداهای مبتنی‌بر هوش مصنوعی در ۳۲ زبان را ارائه می‌دهد که شامل صدای برخی از افراد مشهور در گذشته مانند سر لارنس اولیویه، جیمز دین و جودی گارلند می‌شود.

ElevenLabs
می‌گوید که اپلیکیشن جدیدش رایگان است. مشخص نیست که آیا تبدیل همه‌ی محتواها از متن به فایل صوتی به خرید اشتراک نیاز دارد یا خیر. توسعه‌دهنده‌ی اپلیکیشن می‌گوید: «ما درنهایت می‌خواهیم نسخه‌ی پریمیومی از ElevenLabs Reader را منتشر کنیم؛ اما نسخه‌ی رایگان را حفظ خواهیم کرد.»

Large Time Series Foundation Model (LTSM)

Development of time series foundation model become more intensive after the success of LLM. Image from the paper

Blog:
https://towardsdatascience.com/time-series-are-not-that-different-for-llms-56435dc7d2b1

Article

https://arxiv.org/pdf/2403.14735

لینک دانلود و یا مشاهده pdf آنلاین این چهار کتاب معروف و مفید

An Introduction to Statistical Learning
https://www.statlearning.com/


Python dataScience handbook
https://jakevdp.github.io/PythonDataScienceHandbook/

Dive into Deep Learning
https://d2l.ai/
Machine learning
https://github.com/abhishekkrthakur/approachingalmost/blob/master/AAAMLP.pdf

گوگل یک الگوریتم جدید با نام Autobnn
برای پیش بینی مدلهای سری زمانی معرفی کرده است. در لینک زیر با این الگوریتم آشنا شوید.


https://www.marktechpost.com/2024/03/29/google-ai-introduces-autobnn-a-new-open-source-machine-learning-framework-for-building-sophisticated-time-series-prediction-models/

شبتون خوش.❤️❤️
شما این موسیقی رو بیش از یکبار گوش میدهید😍
https://xn--r1a.website/datalook_ir

❤🧡💛 استیم برگزار میکند: ثبت نام اولین رویداد شبکه سازی در #هوش_مصنوعی آغاز شد این رویداد تخصصی در تاریخ ۴ و ۵ مهر ماه (چهارشنبه و پنجشنبه هفته اول مهر) برگزار میگردد

رویداد #Pandora دومین رویداد از سلسله رویدادهای #شبکه_سازی تخصصی است که با نام #پاندورا برگزار می گردد

هدف از رویدادهای پاندورا ارتباط با ایرانیان مقیم خارج از کشور است و ما سعی میکنیم با توجه به امکانات و زیر ساخت های موجود در سالن بستری را فراهم کنیم تا جامعه متخصصین داخل و خارج از کشور بتوانند با هم ارتباط برقرار کنند

💎💎💎 مثل همیشه مجموعه رویدادهای استیم #رایگان است ولی ثبت نام در آنها الزامی است

💢💢💢 لطفا محبت بفرمائید از طریق لینک زیر ثبت نام کنید:
https://evand.com/events/pandora-ai

💥💥💥 تمامی اطلاعات در لینک فوق درج شده

فراموش نکنید: #استیم_برای_ساخت_یک_تیم

مشتاق دیدار
علی رشیدی
بنیانگذار شبکه اجتماعی استیم (STeam)

دوستان سلام،

جزئیات رویداد شبکه‌سازی هوش مصنوعی پاندورا در این فایل قابل مشاهده است.

ظرفیت کمی باقی مونده و حتما سریعتر ثبت‌نام کنید. این رویداد کاملا رایگان هست و فقط نیاز به ثبت‌نام داره...

ظرفیت رویداد در حال اتمامه
من هم حضور دارم.. خوشحال میشم ببینمتون. اگر برای ارایه آماده هستید و سوالی دارید بفرمایید. فرصت خیلی خوبی برای شبکه سازی است.

لینک ثبت نام

25 معادله ریاضی پرکاربرد دیتا ساینس

🟢 ا‌م‌ال‌آپس (MLOps) به زبان ساده همراه با معرفی کتاب

🔴 کسانی که با فرایندها و الگوریتم‌های یادگیری ماشین در محیط واقعی کار کردند و آشنا هستند و یا اصلن برای دل خودشون مدلی آموزش دادند، حتمن با چالش‌های زیر برخورد کردند؛

🔴 بعنوان مثال، هایپرپارامترهایی رو تغییر دادند و بعد یادشون رفته کدوم مدل با کدوم هایپرپارامتر چه درصدی از دقت رو بهشون داده یا اون هایپرپارامترها چی بودند؟

🔴 یا برای دیتاست‌هاشون ورژنی نداشتند و نمی‌دونستند دیتای جدید که اضافه کردند رو جدا کنند یا مجبور بودند چندین کپی از دیتاهای تکراری نگهدارند. یا وقتی با شخص دیگری کار میکردند، داده‌هاشون با هم سینک (هماهنگ) نبوده و هزاران مشکل دیگر.

🔵 درواقع اینجاست که
Machine Learning Operations (MLOps)
برای این مشکلات راه حل میده و می‌گه همونجوری که ما در گذشته مهندسی نرم افزار نداشتم و با اومدن مهندسی نرم افزار و راه حل‌هاش مثل
version control
کلی از مشکلات برنامه نویس‌ها حل شد، ا‌م‌ال‌آپس و داشتن یه چرخه‌ی اتوماتیک از امورات مختلف ولی هماهنگ، باعث حل کلی از این قبیل مشکلات می‌شود.

🔵 بطور کلی ا‌م‌ال‌آپس داشتن یک
Lifecycle
یا چرخه‌ی حیات (تولید) منظم برای مراحل و مشکلات مختلف در فرایند لرنینگ یا همون آموزش هست. همچنین یکی دیگه از دغدغه‌های ا‌م‌ال‌آپس رسوندن مدل یادگیری ماشین از چند خط کد ساده به یک محصول ملموس هست.

🟡 در پایان اینرو هم اضافه کنم. می‌‌تونیم بگیم که ا‌م‌ال‌آپس از ترکیب سه حوزه‌ی زیر ایجاد شده؛

- مهندسی داده (Data Engineering)
- توسعه‌ی نرم‌افزار و عملیات آی‌تی (DevOps)
- یادگیری ماشین (Machine Learning)

🟤 کتاب
Introducing MLOps
که تنها در ۱۸۵ صفحه تنظیم شده، و در سال ۲۰۲۰ به چاپ رسیده است، یکی از کتاب‌های بسیار عالی برای ورود به دنیای ‌ام‌ال‌آپس می‌باشد.
.
@elmedadeir