یک مهندس ماشین لرنینگ دقیقا چه کار میکند؟

کاری که یک مهندس ماشین لرنینگ در عمل می‌کند، ممکن است چیزی نباشد که شما فکر می‌کنید.

بر خلاف کاور مجله‌هایی که درباره AI می‌بینید، مهندسی ماشین لرنینگ و AI همیشه درباره ساخت ربات‌هایی با چشم‌های نوری قرمز نیست.

یک لیست از سوال‌هایی که یک مهندس ماشین لرنینگ لازم است هر روز از خودش بپرسد را برایتان آورده‌ام.

زمینه –ماشین لرنینگ چگونه می‌تواند به تو کمک کند که مسئله‌ات را بهتر بشناسی؟
داده – آیا به داده‌های بیشتری نیاز داری؟ نیاز داری داده‌هایت به چه فرمی باشند؟ مشکل کمبود داده را چطور حل می‌کنی؟
مدل‌سازی – از چه مدلی باید استفاده کنی؟ آیا این مدل با داده‌هایی که در اختیار داری به خوبی کار می‌کند؟ یا اگر نه، چرا به درستی کار نمی‌کند؟
تولید – چگونه می‌توانی مدل خود را به مرحله تولید برسانی؟ آیا مدلت باید برخط باشد یا بهتر است در فواصل زمانی مختلف به روز شود؟
تداوم – اگر مدلت شکست بخورد چه می‌شود؟ چگونه می‌توانی مدلت با داده‌های بیشتری ارتقا بدهی؟ آیا راه‌های بهتری برای حل بعضی مسائل وجود دارد؟

@datalook_ir

رقابت زنان هوش مصنوعی برای کسب تاج «مسابقه زیبایی»؛ با ۱۰ فینالیست برتر آشنا شوید.

اطلاعات بیشتر

اگر زمان کافی نداشتیم ولی می‌خواستیم در کسری از ثانیه یک مدل یادگیری ماشین بسازیم، بهتر است یاد بگیریم PyCaret چیست.

پای کرت pyCaret یک کتابخانه منبع باز در پایتون است که برای چندین فعالیت یادگیری ماشینی بسیار مفید است. می تواند از پیش پردازش داده ها تا استقرار مدل به شما کمک کند.

دلیل مفید و راحت بودن PyCaret این است که هر چیزی را می توان در خطوط بسیار کمی از کد به دست آورد و درک کد بسیار ساده است. ما می‌توانیم به جای نوشتن چندین خط کد، بیشتر روی انجام آزمایش‌ها روی داده‌ها تمرکز کنیم. علاوه بر اینکه PyCaret برای پیش پردازش داده ها، کدگذاری ویژگی های دسته بندی مفید است، همچنین با در نظر گرفتن معیارهای عملکردی کمی مانند Accuracy، Fscore، Recall و غیره، درک بهتری از این که کدام مدل بهتر است را ارائه می دهد.

در لینک می توانید یک نمونه پروژه با این کتابخانه را تمرین کنید.

فایل npy یک فرمت باینری مخصوص برای ذخیره‌سازی آرایه‌ها در کتابخانه numpy در پایتون است. این فرمت توسط numpy توسعه داده شده و بهینه‌سازی شده است تا آرایه‌ها را به شکلی فشرده و سریع ذخیره و بازیابی کند. این فرمت بسیار مناسب برای ذخیره‌سازی داده‌های عددی و علمی بزرگ است که در پروژه‌های محاسباتی و یادگیری ماشین استفاده می‌شوند.

ویژگی‌های فایل‌های npy:
فشرده‌سازی و کارایی: فایل‌های npy داده‌ها را به صورت باینری ذخیره می‌کنند، که این باعث می‌شود ذخیره و بارگذاری داده‌ها سریع‌تر و کارآمدتر باشد نسبت به فرمت‌های متنی مثل CSV.

ذخیره‌سازی اطلاعات متادیتا: این فایل‌ها اطلاعاتی در مورد نوع داده‌ها، شکل آرایه و دیگر متادیتاهای مرتبط را ذخیره می‌کنند.

سازگاری با numpy: این فرمت به طور خاص با numpy سازگار است و به راحتی می‌تواند با استفاده از توابع numpy ذخیره و بارگذاری شود.

اگر جایی واقعا حجم داده میلیونی بالا دارید. حتما با pickle و npy زیاد کار کنید.

این رزومه باعث استخدام یک برنامه‌نویس با حقوق سالانه 300 هزار دلاری در گوگل شد.

مهندس نرم‌افزار فعلی گوگل که به‌صورت خودآموز برنامه‌نویسی را یاد گرفته است، توضیح می‌دهد که چگونه تصمیم گرفت تغییر رشته دهد، وارد حوزه علوم کامپیوتر شود و از شرکت‌های بزرگ پیشنهاد شغلی دریافت کند. او رزومه‌ای را که با کمک آن از متا، اوبر و گوگل پیشنهاد شغلی دریافت کرده بود، به اشتراک گذاشته است و می‌گوید که اگر امروز به‌دنبال کار می‌گشت، چه تغییراتی در آن ایجاد می‌کرد.

به گزارش بیزینس اینسایدر، «ساهیل گابا» داشت از مقطع کارشناسی رشته مهندسی مکانیک فارغ‌التحصیل می‌شد که متوجه جذابیت‌های رشته علوم کامپیوتر شد. او در طول یک تابستان برنامه‌نویسی یاد گرفت و بعد برای استخدام در شرکت‌های بزرگ اقدام کرد، اما موفق نبود.

گابا درنهایت به استخدام یک شرکت فین‌تک کوچک در شیکاگو درآمد اما به این نتیجه رسید که در این جایگاه شغلی جدیدترین مهارت‌های نرم‌افزاری را یاد نمی‌گیرد؛ بنابراین زمان خود را به یادگیری فناوری‌های جدیدتر و بهبود مهارت‌های خود در مصاحبه‌های شغلی اختصاص داد.

گابا پس از دو سال فعالیت در آن شرکت در شیکاگو و ردشدن در صدها مصاحبه، بالاخره توانست در آمازون استخدام شود. 18 ماه بعد، او از متا، اوبر و گوگل پیشنهاد شغلی دریافت کرد. درنهایت او با حقوق سالانه 300 هزار دلار در 29 سالگی به گوگل پیوست. در ادامه رزومه گابا مربوط به سال 2021، یعنی زمانی که او در گوگل به استخدام درآمد را می‌بینید.

این رزومه به گابا کمک کرد تا نظر مثبت سه شرکت بزرگ را جلب کند، اما او می‌گوید اگر امروز می‌خواست آن را برای شرکت‌ها بفرستد، چند قسمتش را تغییر می‌داد.

تأکید بر تجربیات، نه مهارت‌ها: او می‌گوید این رزومه را قبل از پیوستن به آمازون ساخته بود و چون تجربه زیادی نداشت، در ابتدا به مهارت‌های خود اشاره کرده بود. او می‌گوید تجربه‌ها اهمیت بیشتری دارند؛ هرچند اشاره به مهارت‌ها هم لازم است.

تأثیر لحن مؤدبانه بر هوش مصنوعی؛ چرا باید با چت‌بات‌ها مهربان باشیم؟

برخی از کاربران چت‌بات‌ها از جمله ChatGPT مدعی شده‌اند که لحن درخواست‌ها می‌تواند روی پاسخ‌های دریافتی تأثیرگذار باشد و با دستورات متنی مؤدبانه می‌توانیم نتایج بهتری را به دست آوریم. یکی از کاربران در ردیت مدعی شد که با تشویق چت‌جی‌پی‌تی با وعده‌ی دریافت پاداش ۱۰۰ هزار دلاری، این چت‌بات را تحریک کرده است تا پاسخ دقیق‌تر و کامل‌تری به او بدهد. برخی دیگر از کاربران هم اعلام کردند که با برخورد مؤدبانه، متوجه تفاوت کیفیت پاسخ‌ها شده‌اند.

و همین طور تأثیر لحن فوری بر عملکرد چت‌بات‌ها
برای مثال، محققان مایکروسافت، دانشگاه نرمال پکن و آکادمی علومی چین دریافتند مدل‌های هوش مصنوعی متن‌محور در پاسخ به لحن‌های حاوی فوریت و دارای اهمیت، عملکرد بهتری دارند؛ مثلاً اگر دستورهایی با عنوان «برای دفاع از پایان‌نامه‌ام حیاتی است که این کار را انجام دهم یا این موضوع برای حرفه‌ام بسیار مهم است» به چت‌بات‌ها داده شود، می‌توان پاسخ‌های بهتری از آن‌ها دریافت کرد.

تیم دیگری در شرکت استارتاپ هوش مصنوعی Anthropic با دستور عجیب‌و‌غریب اما عاجزانه‌ی «واقعاً واقعاً واقعاً واقعاً» از چت‌بات موردبررسی درخواست کردند از پاسخ‌های حاوی تبعیض نژادی و جنسیتی دوری کند. همچنین، دانشمندان داده‌ی گوگل نیز به این نتیجه رسیدند که با دستور متنی «نفس عمیق بکش» به یک مدل هوش مصنوعی می‌توان به آن‌ها کمک کرد تا مسائل ریاضی را بهتر حل کنند.

چت‌بات‌ها چگونه کار می‌کنند؟

اگرچه رفتار چت‌بات‌ها ممکن است رنگ‌وبوی احساسی به‌ خود بگیرد، باید به این نکته اشاره کنیم که آن‌ها مانند انسان‌ها هوش واقعی ندارند و صرفاً بر اساس دستورعمل‌ها و الگوریتم‌ها کار می‌کنند. چت‌بات‌های متن‌محور، سیستم‌های آماری هستند که لغات، تصاویر، صدا‌ها و داده‌های دیگر را با کمک گرفتن از الگوریتم‌های تعریف‌شده، صرفاً پیش‌بینی می‌کنند.

به‌عنوان مثال، ChatGPT بر اساس شبکه‌‌ی عظیمی از نورون‌های عصبی توسعه داده شده است که می‌تواند از رفتار نورون‌های مغز انسان تقلید کند. به‌طور کلی می‌توان گفت مدل‌های هوش مصنوعی از منابع عظیم و بزرگی شامل صدها میلیارد کلمه در قالب‌های مختلف مانند کتاب، صفحات وب و هر موضوع متنی دیگر بهره می‌برند که با استفاده از آن‌ها الگوریتم‌ها و مدل‌های احتمالی آماری می‌سازند؛ به‌طوری‌که پیش بینی می‌کنند جمله‌ی بعدی چه چیز خواهد بود.

ماجرای دستورات احساسی چیست؟

نوها دزیری، پژوهشگر مؤسسه‌ی هوش مصنوعی آلن، معتقد است که دستورات احساسی اساساً مکانیزم‌های احتمالی یک مدل را «دستکاری» می‌کنند. به بیانی دیگر، این دستورات بخش‌هایی از مدل را فعال می‌کنند که معمولاً با دستورات معمولی و بدون احساس فعال نمی‌شوند.

اولین کتاب نوشته شده به زبان فارسی در خصوص مهندسی پرامپت

منبع:لیندکین دیتا هاب


امیدوارم براتون مفید باشه.

مصاحبه با آقای patrick bangert مدیر محصول| کارشناس تحلیل داده و هوش مصنوعی در سامسونگ و Searce Inc

👉 از گرفتن مدرک فیزیک تا مشاور هوش مصنوعی

👉 چگونه او در یک آزمایشگاه ریاضیات به شبکه های عصبی برخورد کرد!

👉 مشکلاتی که با هوش مصنوعی در صنعت پتروشیمی حل کرد.

👉 چرا ایجاد روابط برای یک کارآفرین مهم است.

👉 گوش دادن به مشکلات مشتری برای کارآفرینان مهمتر از ارائه محصولات است.

👉 آموخته های او در شرکت بزرگی مانند سامسونگ

👉 چگونه استفاده از LLM در سازمان های بزرگ کار را کارآمدتر می کند

👉 پیش بینی های او در رابطه با هوش مصنوعی مولد در سال های آینده

https://community.analyticsvidhya.com/c/leading-with-data/patrick-bangert

انواع DataSet ها

http://archive.ics.uci.edu/ml/datasets.html

دیتاست مربوط به یو تیوب

http://netsg.cs.sfu.ca/youtubedata

دیتاست مربوط به داده های شبکه

http://networkdata.ics.uci.edu/netdata/html/bkHam.html


مجموعه داده های طبقه بندی شده در دیتاپول در موضوعات مختلف
http://www.datapool.ir

دیتاست مربوط به تشخیص چهره

http://www.face-rec.org/databases
دیتاست مربوط به دسته بندی حملات شبکه

http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html

دیتاست مربوط به وام های داده شده ، دیر کرد و غیره به مشتریان است

https://www.lendingclub.com/info/download-data.action

دیتاست مربوط به تصادفات جاده ای

http://www.nyc.gov/html/nypd/html/traffic_reports/motor_vehicle_collision_data.shtml

دیتاست مربوط به گربه ها

http://137.189.35.203/WebUI/CatDatabase/catData.html

دیتاست مربوط به حراجی آنلاین eBay

http://www.modelingonlineauctions.com/datasets

دیتاست مربوط به  موسیقی و صدا

http://labrosa.ee.columbia.edu/millionsong/

دیتاست مربوط به  انواع شبکه های موجود و وب سایت ها – دانشگاه استنفورد

http://snap.stanford.edu/data/index.html

دیتاست های مربوط به یادگیری ماشین

http://archive.ics.uci.edu/ml

گروه داده کاوی دانشگاه تگزاس

http://www.cs.utexas.edu/users/dmg/

وب سایت های مجموعه داده:

http://aws.amazon.com/public-data-sets

http://stackoverflow.com/questions/381806/large-public-datasets

https://archive.org/details/stackexchange

https://networkdata.ics.uci.edu/resources.php

https://www.kaggle.com

http://www.data.gov

http://www.kdnuggets.com/datasets/index.html

http://socialcomputing.asu.edu/pages/datasets

http://nodexlgraphgallery.org/Pages/Default.aspx

http://konect.uni-koblenz.de


@datalook_ir

اپل چطور از گوگل برای تعلیم مدل‌های هوش مصنوعی خودش کمک گرفت؟

اپل برای آموزش مدل‌های هوش مصنوعی اختصاصی خود احتمالاً از پردازنده‌های تنسور نسل پنجم و ششم گوگل کمک خواهد گرفت.
تیم کوک، مدیرعامل اپل، در رویداد WWDC اعلام کرد که برای استفاده از مدل‌ هوش مصنوعی OpenAI با این شرکت همکاری می‌کند تا قابلیت‌های «هوش اپل» و ویژگی‌های جدید دستیار صوتی سیری را برای گوشی‌ آیفون به‌ارمغان بیاورد.

به‌گفته‌ی رویترز، مهندسان اپل برای ساخت مدل‌های هوش مصنوعی پایه‌ از نرم‌افزار فریم‌ورک خود به‌همراه مجموعه‌ای از سخت‌افزارها به‌خصوص پردازنده‌ی گرافیکی اختصاصی و واحدهای پردازش تنسور (TPU) موجود در کسب‌وکار پردازش ابری گوگل استفاده کرده‌اند.

دانلود مجموعه داده بیش از ۱میلیون آگهی تلفن همراه در ۳۴۱ شهر ایران در سایت kaggle

این مجموعه داده شامل فهرست  دقیقی از اقلام مختلف برای فروش، عمدتاً دستگاه های الکترونیکی مانند تلفن های هوشمند است.

مجموعه داده شامل اطلاعاتی در مورد وضعیت، نام تجاری، مدل، قیمت و مشخصات مختلف از جمله حافظه داخلی و اندازه RAM است. هر فهرست همچنین حاوی جزئیات مکان، از جمله شهر و محله، و همچنین ویژگی‌های اضافی مانند اینکه آیا فروشنده مایل است کالا را معامله کند و آیا قیمت ثابت است یا خیر.

مجموعه داده یک نمای کلی از اقلام در حال فروش ارائه می دهد و به تجزیه و تحلیل بازار و مطالعات رفتار مصرف کننده کمک می کند.

پیشنهادات تحقیق

تجزیه و تحلیل بازار: توزیع قیمت، ترجیح مصرف کننده
پیش بینی قیمت
تحلیل رفتار مصرف کننده
اصالت برند: تاثیر اعتبار برند را بر قیمت گذاری و اعتماد مصرف کننده
روند های زمانی فروش
👇👇👇👇👇
لینک دانلود

@datalook_ir

برای عصر جمعه❤️☺️🎶

هوش مصنوعی Dream Machine معرفی شد؛ ساخت ویدیو با دستورات متنی [تماشا کنید.

Luma AI

استارتاپ مستقر در سان‌فرانسیسکو، مدل هوش مصنوعی جدیدی با نام Dream Machine را معرفی کرده است که می‌تواند براساس توضیحات متنی ساده، ویدیوهای فوق‌العاده باکیفیت تولید کند.
هوش مصنوعی تولید ویدیو Dream Machine می‌تواند رقیب جدی برای مدل Sora OpenAI باشد و نکته قابل‌توجه دیگر اینکه به‌طور رایگان برای عموم کاربران قابل دسترس است.


این ابزار، این امکان را به کاربران می‌دهد که براساس توضیحات متنی ساده خود، ویدیوهای واقع‌گرایانه پنج ثانیه‌ای تولید کنند.

اولین آزمایش‌کنندگان این سیستم از توانایی آن در به‌تصویرکشیدن اشیاء، شخصیت‌ها و محیط‌های مشخص و همچنین نمایش حرکات روان و داستان‌گویی منسجم استقبال کرده‌اند

کفش هوشمند سامسونگ
در تعداد محدود رونمایی شد.
کفش هوشمند سامسونگ با نام Shortcut Sneaker از میانبرهای مختلفی برای انجام برخی
کارها مثل برقراری تماس پشتیبانی می‌کند.


سامسونگ می‌گوید کفش Shortcut Sneaker، کفش آینده است و فراتر از راحتی در پیاده‌روی، قابلیت‌های دیگری هم ارائه می‌دهد. غول فناوری کره‌ی جنوبی حسگرهای حرکتی در زیره‌ی کفش خود تعبیه کرده است و هر لنگه‌ی آن می‌تواند حرکت و موقعیت خود را نسبت‌به لنگه‌ی دیگر تشخیص دهد.

متأسفانه به‌نظر می‌رسد کفش سامسونگ Shortcut Sneaker بیشتر ایده‌ی نوآورانه باشد تا محصول واقعی. فقط ۶ جفت از این کفش وجود خواهد داشت و شما نمی‌توانید آن‌ها را به‌سادگی خریداری کنید. برای سفارش این محصول باید عضو برنامه‌ی Samsung Members هلند باشید.

شرکت کالاو (Collov) یه ابزار خلاقانه به اسم aiCabinetDesign ساخته که با استفاده از هوش مصنوعی، به شما امکان می‌ده تا فضای داخلی خونه‌تون رو به سبک‌های مختلف طراحی کنین.
کافیه برین تو این آدرس :
collov.ai

از صفر شروع کنید یا از عکس واقعی اتاق خودتون استفاده کنید.
سبک‌های مختلف طراحی رو امتحان کنین.
رنگ‌ها، مبلمان، گیاهان و اکسسوری‌های مختلف رو به طرحتون اضافه کنید.
طرح خودتون رو در لحظه ویرایش و تغییر بدین.
طرح نهایی رو به صورت عکس یا ویدیو ذخیره
کنید

روی دکمه "Try it now" کلیک کنید.

در صورت تمایل، می‌تونین با استفاده از حساب گوگل یا فیسبوک خودتون وارد سایت بشین.

بعد از ورود به سایت، می‌تونین یه پروژه جدید ایجاد کنین یا از نمونه‌های موجود استفاده کنین.

برای ایجاد یه پروژه جدید، روی دکمه "Create New Project" کلیک کنید.

سایت تا چند تصویر اول رایگانه و بعدش با یه جیمیل دیگه وارد بشین
این سایت رایگان نیست ولی با ورود با جی‌میل چند تا میتونین رایگان درست کنین

@datalook_ir

پیرزن 82 ساله ژاپنی با نوشتن برنامه ای در فضای وب به شهرت رسید. به گزارش گروه اجتماعی خبرگزاری برنا، ماساکو واکامیا، زن ژاپنی 82 ساله ای است که در فضای مجازی به شهرت رسیده است. او موفق به خلق نوعی بازی شده که توانسته نظر بسیاری از کاربران فضای مجازی را به خود جلب کند.

‌📺📺📺

📌 فن‌آوری «هوش مصنوعی» داره به جاهای خطرناکی میرسه؛ «Luma AI» می‌تواند تنها در چند ثانیه یک عکس رو به ویدیو تبدیل کند، نتایج حیرت‌آور و از زاویه‌ای دیگر ترسناک است. یک آدم خلاق و هنرمند می‌تواند در زمانی کوتاه و با هزینه‌ای ناچیز با استفاده از ویژگیهای هوش مصنوعی یک فیلم سینمایی بسازد و یک آدم کلاهبردار و شیاد یک فیلم یا سند جعلی!
#هوش_مصنوعی