Data engineering in 10sec!!

ایلان ماسک:#هوش_مصنوعی نیاز به داور دارد.

🟡مدیران عامل غول‌های فناوری مانند ایلان ماسک، سوندار پیچای، مارک زاکربرگ و سم آلتمن روز چهارشنبه با سناتورهای آمریکایی جلسه‌ای درباره هوش مصنوعی، پیشرفت چشمگیر آن و نحوه قانون‌گذاری این فناوری جلسه‌ای تشکیل دادند.

🟠قانون‌گذاران آمریکا به‌دنبال راه‌هایی برای کاهش خطرات هوش مصنوعی هستند. این فناوری در ماه‌های گذشته مورد توجه زیادی قرار گرفته و نه‌تنها کاربران زیادی شروع به استفاده از آن کرده‌اند، بلکه سرمایه‌گذاری شرکت‌ها در این زمینه هم افزایش چشمگیری داشته است. درحقیقت پس از عرضه چت‌بات ChatGPT، محبوبیت ابزارهای مبتنی بر هوش مصنوعی افزایش قابل‌توجهی داشت.

در کنار قانون‌گذاران، ایلان ماسک هم می‌گوید که برای اطمینان از استفاده درست و ایمن از هوش مصنوعی نیاز به یک رگولاتور داریم:

«برای ما مهم است که یک داور داشته باشیم. یک رگولاتور باید مطمئن شود که شرکت‌ها اقداماتی را انجام می‌دهند که ایمن و به نفع عموم مردم هستند.»

به گفته ماسک، این جلسه خدمتی به بشریت بود و شاید در تاریخ به‌عنوان جلسه‌ای مهم برای آینده بشریت ثبت شود. مالک شبکه اجتماعی ایکس (توییتر سابق) همچنین تأیید کرد که در این جلسه هوش مصنوعی را یک شمشیر دو لبه توصیف کرده است.

با گرافیک چه کارها که نمیشه کرد

دوره های رایگان google با certificate


اینجا لیست چند دوره که توسط گوگل برگزار میشه و رایگان هستن و در پایان Certification اهدا میشه معرفی کردم.

این دوره ها شامل ۳ موضوع زیر هستند:
🧑‍💻ذخیره کنین بعدا در دسترستون باشه🚀

1. Python
developers.google.com/edu/python‎

2. Data Science
developers.google.com/machine-learni…‎

3. Machine Learning
learndigital-staging.withgoogle.com/digitalunlocke…‎

✅ پژوهش جدید «دانشگاه نیویورک ابوظبی» نشان می‌دهد ChatGPT در برخی رشته‌ها می‌تواند نمرات بالاتری را نسبت به دانشجویان کسب کند.

موضوعاتی که ChatGPT در آنها توانست بهتر از دانشجویان عمل کند، شامل علوم رایانه، مطالعات سیاسی، مهندسی و روانشناسی بود.

🔸این گزارش نشان داد به رغم اینکه ۷۰ درصد از اساتید استفاده از ChatGPT را سرقت ادبی می‌دانند، تقریبا سه چهارم دانشجویان از ChatGPT برای انجام دادن تکالیف خود استفاده می‌کنند. چت‌بات ChatGPT می‌تواند پاسخ‌های مفصلی را ارائه دهد و با استفاده از اعلان‌ها در گفت‌وگوها شرکت کند.

🔶یافته‌ها نشان دادند که پاسخ‌های ChatGPT در ۱۲ دوره از ۳۲ دوره، میانگین نمرات مشابه یا بالاتری نسبت به پاسخ‌های دانشجویان کسب کرده‌اند و تنها ریاضیات و اقتصاد، دو رشته‌ای هستند که دانشجویان در آنها به طور مداوم بهتر از هوش مصنوعی عمل می‌کنند.
چت‌بات ChatGPT تنها در مورد پرسش‌هایی بهتر از دانشجویان عمل کرد که به دانش واقعی نیاز دارند اما در مهارت‌هایی مانند خلاقیت و پاسخ‌دادن به پرسش‌های ترفندی که در تکالیف گنجانده شده بودند، بیشترین مشکل را داشت.

✔️ براساس این گزارش، یک توافق عمومی بین اساتید و دانشجویان وجود داشت مبنی بر اینکه استفاده از ChatGPT در کارهای دانشگاه باید مورد تایید قرار بگیرد. همچنین، دانشجویان توافق داشتند که در شغل آینده‌ خود می‌توانند کارهای روزمره را به ChatGPT بسپارند تا بتوانند روی کارهای اساسی و خلاقانه تمرکز کنند.


«طلال رهوان»(Talal Rahwan) و «یاسر زکی»(Yasir Zaki) اساتید علوم رایانه دانشگاه نیویورک ابوظبی و سرپرست‌های این پژوهش گفتند: فناوری‌های هوش مصنوعی مانند ChatGPT در حال حاضر به سطحی رسیده‌اند که می‌توانند در تعداد قابل توجهی از دوره‌های دانشگاهی، از دانشجویان پیشی بگیرند.

پردازش متن در پایتون

اگر پروژه‌ای در زمینه پردازش زبان طبیعی انجام داده باشید، می‌دانید که مراحل پیش‌پردازش چقدر خسته‌کننده است. قبل از شروع آموزش مدل باید:
• داده‌ها را از دیسک بخوانید.
• جملات را Tokenize کنید.
• یک نگاشت از هر کلمه به یک عدد صحیح و منحصر‌به‌فرد ایجاد کنید.
• متن را به لیستی از اعداد صحیح تبدیل کنید.
• داده‌ها را به هر شکلی که فریمورک یادگیری عمیق شما نیاز دارد load کنید.
• متن را pad کنید تا تمامی دنباله‌ها به یک اندازه باشند، تا بتوانید آنها را به صورت یک batch پردازش کنید.


Torchtext در پایتورچ، کتابخانه‌ای است که پروسه‌های بالا را بسیار ساده‌تر می‌کند. اگرچه این کتابخانه نسبتا جدید است. اما عملکرد آسان آن، خصوصاً در Batching و Loading، آن را به کتابخانه‌ای ارزشمند تبدیل کرده‌است. 


#nlp
#python
@datalook_ir

گوگل در کنفرانس I/O امسال مدل پایه نسل بعدی خود به نام "#gemini" را رونمایی کرد. گوگل با Gemini قصد دارد با GPT-4 OpenAI مقابله کند و قدرت خود را در دنیای هوش مصنوعی به رخ بکشد.

• منابع خبری بیان داشتند که گوگل به توسعه‌دهندگان امکان کار با این سیستم را خواهد داد.
• گرچه توسعه‌دهندگان به نسخه ابتدایی و کوچک دسترسی دارند خود گوگل ورژن اصلی را ارتقا و مدل اصلی را آموزش می‌دهد.
• گوگل به گروهی از شرکت‌ها دسترسی زودهنگام داده است تا Gemini را تست کنند.
• Gemini می تواند کارهایی مانند تقویت ربات های چت، خلاصه کردن متن و تولید محتوا را انجام دهد.

• گوگل قصد دارد Gemini را از طریق پلتفرم Google Cloud خود به طور گسترده در دسترس همگان قرار دهد این عمل نوعی رقابت با openAi میباشد.

• رقابت در فضای مدل زبان بزرگ (LLM) در حال تشدید است و دسترسی به مجموعه داده های آموزشی گسترده یک عامل کلیدی است.

• منابع آموزشی Google، از جمله YouTube، Google Search، Google Books و Google Scholar ممکن است Gemini را به عنوان یک رقیب قوی در برابر GPT-4 OpenAI معرفی کنند.

اندرو انگ یه ویدیو در لیندکین منتشر کرده در خصوص هوش مصنوعی مولد GenerativeAi ..هوش مصنوعی اومده با صدای اندرو چهار تا جک در زمینه هوش مصنوعی رو تولید کرده. اینجا ویدیو را ببینید و ازتون خواسته بگید کدوم واقعی و فیکه
https://www.linkedin.com/posts/andrewyng_something-fun-with-voice-using-generative-activity-7109590634709090304-Is5D?utm_source=share&utm_medium=member_desktop

سرویس جدید اکستنشن برای ‎#Bard امروز توسط گوگل معرفی شد که به نظرم بزرگترین آپدیت این سرویس تا به امروز محسوب میشه.
به کمک این قابلیت Bard به سرویس‌هایی مثل گوگل درایو و داده‌های شما متصل میشه و میتونید ازش مثل یه منشی تمام وقت کمک بگیرید!‌ 🤯🔥


همچنین با این قابلیت، Bard به ابزارهای دیگه مثل Maps ،YouTube ،Flights و Hotels گوگل متصل میشه و می‌تونید با پرامپت بهشون دستور بدید و ازشون دیتا بیرون بکشید.
یه چیز جالبی هم که دیدم این بود که خروجی هارو قراره با نتایج گوگل هم Double-check کنه.

من عاشق این باردم🤩

می خواهم یک پلاگین بهتون معرفی کنم به اسم CodiumAI که یک AI هست و کمکتون میکنه تست های کدتون و تکمیل کنید. و نکته جالبش رایگان بودن این پلاگین است.

خودم استفاده می کنم.

مادر کودک بعد از اینکه ۱۷ پزشک نتونستند بیماری پسرش رو تشخیص بدن، از chatGpt
پرسیده و این هوش مصنوعی تونسته بعد کلی سوال و جواب بیماری نادر
اسپینا بیفیدا آکولتا رو تشخیص بده

نمیدونم این خبر چقدر صحت داره، تبلیغاتیه یا واقعی

برام تعجب داره اون ۱۷ پزشک اروپایی کجا مدرک گرفتن که نتونستن تشخیص بدن!!!!
۱۷ پزشک
🙄🙄🙄🙄🙄

با احترام به تمام پزشکان، امروز میخوام یه هوش مصنوعی پزشک معرفی کنم.

🤒 همه ما ممکنه روزانه سوالات پزشکی رو در مورد علائم یا حال ناخوش خودمون یا اطرافیانمون داشته باشیم. چی میشد اگه یه هوش مصنوعی وجود داشت که به آخرین اطلاعات علم پزشکی هم دسترسی داشت و میشد ازش مشورت گرفت؟

🚀 خب پاسخ اینه که این هوش مصنوعی وجود داره. نام این هوش مصنوعی ‎#docus هستش. هم به درد عموم مردم میخوره تا سوالاتشون رو ازش بپرسند و هم به درد دانشجوهای رشته پزشکی یا دکترها که یه دستیار از جنس ربات کنارشون باشه تا باهاش مشورت کنن.

👩‍⚕️داکوس یک پلتفرم سلامت هوشمنده که از یه چت بات برای تولید گزارشهای سلامت شخصی‌سازی‌شده متناسب با هر فرد استفاده میکنه. کاربرها میتونن با چت بات گفتگو کنن و یه گزارش سلامت تولید کنن یا احتمال انواع ابتلا به بیماری رو شناسایی کنن. به طور کلی ‎#هوش‌مصنوعی قابلیت‌های امیدوارکننده‌ای تو تشخیص انواع بیماری‌ها از جمله سرطان، بیماری قلبی، دیابت، آلزایمر و عفونت‌های مختلف از خودش نشون داده. اینم بگم که شما فقط اجازه ارسال و دریافت تا 7 پیغام رو به صورت رایگان و روزانه دارید و برای ادامه استفاده باید اشتراک ماهانه تهیه کرد. برای کسی که که بهش نیاز داره، تهیه این هوش مصنوعی مفید خواهد بود. اینم آدرس داکوس👇👇

docus.ai‎

سحر تجربه های خیلی جالبی داره چون اول رفته کانادا و بعدش مهاجرت میکنه فنلاند و از خوبی ها و سختی های این مسیر برامون میگه و نکته خوب ماجرا اینجاست که یک کانال خیلی خوب و مفید داره که توی این مسیر به همه کمک میکنه و خیلی اطلاعات مفیدی میده
لینک كانال سحر و اگر دوست داشتید حتما پیشنهاد میشه که بهش سر بزنین
@TechImmigrants

اگر شما هم تجربه قشنگی از مهاجرت دارید میتونین در كانال ما به اشتراك بزارید
در اینستاگرام مارو دنبال کنین. @Azdoshanbe

#مهاجرت #المان #فنلاند #تجربه_مهاجرت #مهاجرت_تحصیلی #مهاجرت_کاری #ازدوشنبه
https://youtu.be/QqZk_cmE6RY?si=kBL5sTq8Z485fc3r

عصر جدید هوش مصنوعی: ماکروسافت از Copilot، همراه روزمره هوش مصنوعی شما که در همه دستگاه ها و سرویس ها کار می کند، رونمایی کرد.

این آپدیت مستقیماً در ویندوز 11، ۲۶ سپتامبر | ۴ مهر در تمامی محصولات آفیس 365 مایکروسافت و Edge ادغام خواهد شد.

آینده جذاب با Copilot:

- با Copilot در اکسل، می‌توانید شکل‌های پیشرفته ایجاد کنید، پیش‌بینی ایجاد کنید و در زمان مرتب‌سازی داده‌ها با پایتون صرفه‌جویی کنید.

- ابزار Copilot در PowerPoint/Word به شما کمک می کند تا اسناد یا ارائه ها را بر اساس اسناد موجود پیش نویس کنید و متن را خلاصه و بازنویسی کنید، از جمله موارد دیگر.

- علاوه بر این، DALL-E 3 مستقیماً در چت بینگ به صورت رایگان برای همه در دسترس خواهد بود.

موقعیت دکتری با فاند سه ساله
رشته کامپیوتر
آلمان

Group of Computational Pathology at the University Medical Center Hamburg-Eppendorf, Germany, invites applications for a position as PhD candidate on the topic of 'Deep learning for biomedical image analysis' starting on 1st November 2023 for three years.
Description
The  University Medical Center Hamburg-Eppendorf (UKE) is one of Europe's  most modern clinics. Located close to the city center of Hamburg, the UKE fosters interdisciplinary research bridging medicine, basic and applied biomedical research, and teaching. Medical specialists and  research scientists closely collaborate to develop and apply  state-of-the-art technology to gain novel insights into human pathology and to provide optimal care for our patients.
 
The Group of Computational Pathology is part of the Institute of Medical Systems Biology (IMSB), and is a young team working on  biomedical image analysis, in particular microscopy images. It is led by Prof. Dr. Marina Zimmermann. The group is also a member of bAIome, the Center for Biomedical AI (www.baiome.org), a platform at UKE where AI and clinical expertise team up with the aim of bringing next-generation  software solutions into the clinic.
We currently offer a position in biomedical image analysis using deep learning and are looking for highly motivated students and graduates to complement our lively and enthusiastic team of scientists starting on 1st November 2023. Embedded in our group, the successful candidate will  develop state-of-the-art deep learning-based algorithms and apply them to a wide range of medical problems.
 
The specific topic of interest is:
Design of novel and application of existing cutting-edge computer vision algorithms (e.g. U-Net, EfficientNet, Vision  Transformers) for the automatic classification and segmentation of microscopy data (supervised, weakly supervised and unsupervised), and the subsequent prediction of disease progression in direct collaboration with clinical researchers.

Your Profile
• Master’s degree in computer science, mathematics or related fields.
• Solid understanding of deep learning and relevant frameworks (e.g. Pytorch or Tensorflow, Keras, scikit-learn, scikit-image, OpenCV).
• Good communication skills to interact with collaborators ranging from machine learning researchers to pathologists or medical  students.
• Experience in at least one of the following areas: digital image processing and analysis, deep learning, computer vision.
• Knowledge of biology and/or medicine, as well as experience in interdisciplinary teams are a plus.
• Proficiency in Python and Linux environments.
• Highly motivated with an interest to work in an interdisciplinary team spanning machine learning, bioinformatics, and medicine.
• Fluency in English.

Application Deadline: 28/08/2023

Website for Additional Information and to Apply: https://www.uke.jobs/index.php?ac=jobad&id=1269

با سلام و احترام
دوستانی که تمایل به انجام پروژه کسری خدمت ( حداقل ۱۰ الی ۱۲ ماه ) دارند می‌تواند برای کسب اطلاعات بیشتر به شماره 09197891897 در پیام‌رسان‌های تلگرام، ایتا و بله پیام بدهند.
⬅️ شرایط:
دانشجوی کارشناسی ارشد و بالاتر و اینکه حداقل ۵ ماه به زمان ارسال دفترچه فرصت داشته باشند.
◀️ تخصص‌های مورد نیاز:
۱) علوم کامپیوتر ( نرم‌افزار)
۲) هوش مصنوعی
۳)مدیریت تکنولوژی  ( تلسط به زبان انگلیسی در حد ریدینگ)
۴) health and care ( فعال در زمینه هوش مصنوعی)

آموزش نرم افزار تحلیل داده tableau

Data analysis software training
Tableau cheatSheet

اگر شرکت Ibm نسل جدید دیتاسنترهای کوانتومی اش را وارد بازار کند.ترکیبش با مدل های هوش مصنوعی و فرآیند توسعه مدلهای هوش مصنوعی انقلاب بزرگی را ایجاد خواهد کرد. آماده موج بعدی تکنولوژیک باشید.

در دنیای همیشه در حال تکامل داده ها، درک گزینه های ذخیرهسازی شما بسیار مهم است. بیایید تفاوت های بین Data Warehouse ها، Data Lakes و مفهوم نوظهور Data Lakehouse ها را بشکنیم:



🔺انبار داده datawareHouse 🏢:

✔️ایده آل برای داده های ساخت یافته
✅طراحی شده برای پرس و جو با کارایی بالا.
برای هوش تجاری و گزارش دهی مناسب است. بعنوان هسته اصلی یک سیستم هوش تجاری BI به شمار می‌آید. به عبارت دیگر انبار داده یک مخزن داده مرکزی از داده‌های تجمیع شده است که از سیستم‌ها و منابع مختلف سازمان جمع‌آوری شده است .
 
🔺دریاچه داده (data lake)
دریاچه داده یک مخزن ذخیره سازی مرکزی است که کلان داده‌ها را از منابع مختلف در فرمت خام و دست نخورده ذخیره می‌کند. Data lake می‌تواند داده‌های ساختار یافته، نیمه ساختار یافته یا بدون ساختار را ذخیره کند
✅اغلب برای داده های بزرگ و تجزیه و تحلیل پیشرفته استفاده می شود.

دریاچه داده بر اساس اصولی به نام خواندن با ساختار (schema-on-read) کار می‌کند.

این بدان معناست که هیچ طرح (schema) از پیش تعیین شده‌ای وجود ندارد که داده‌ها قبل از ذخیره سازی به آن نیاز داشته باشند.

فقط زمانی که داده‌ها در حین پردازش خوانده می‌شوند، تجزیه و تحلیل می‌شوند و در صورت لزوم داخل یک طرح (schema) تطبیق داده می‌شوند.

این ویژگی زمان مصرف شده روی تعریف کردن طرح (schema) را به حداقل می‌رساند و باعث می‌شود که داده‌ها به همان شکلی که هستند در هر فرمتی ذخیره شوند.

🔺تفاوت دریاچه داده با انبار داده:

طرح یا اسکیمای یک انبار داده قبل از ذخیره سازی تعریف و ساختار یافته می‌شود (طرح و اسکیما هنگام نوشتن داده‌ها اعمال می‌شود). ✔️در مقابل یک دریاچه داده، هیچ طرح و برنامه‌‌ی از پیش تعیین شده‌ای ندارد تا به آن اجازه دهد که داده‌ها را در فرمت اصلی خود ذخیره کند. بنابراین، در انبار داده اکثرا آماده سازی داده‌ها معمولاً قبل از پردازش اتفاق می‌افتد ولی در Data Lakes هنگامی که داده‌ها واقعاً مورد استفاده قرار بگیرند، آماده سازی می‌شوند.

از آنجا که داده‌ها قبل از ذخیره سازی به شکل ساده شده سازماندهی نشدند، یک دریاچه داده اغلب نیاز به یک متخصص با درک کامل انواع مختلف داده‌ها و روابط آن‌ها دارد تا بتواند آن‌ها را بخواند. در عوض یک انبار داده به دلیل طرح و اسکیمای مستند خود و به دلیل این که به خوبی تعریف شده، هم برای کاربران فناوری و حتی افراد غیر فناوری نیز قابل دسترسی است. حتی یک عضو جدید در تیم می‌تواند به سرعت از انبار استفاده کند.

معماری دریاچه داده: آمازون وب سرویس (AWS)، هادوپ (Hadoop)، آزور (Azure)

Data Lakehouse دیتا لیک هاوس🔺
🚀
دیتا لیک هاوس نوع جدیدی از معماری داده است که یک دریاچه داده را با یک انبار داده ترکیب می کند تا کاستی های هر یک را به طور جداگانه برطرف کند.

یک ذخیره سازی از داده های غیر ساختار یافته و ساختار یافته است که از فناوری های cloud-native مانند Hadoop، Spark و Kafka استفاده می کند.

این معماری به سازمان ها امکان می دهد داده های خود را از هر منبعی ذخیره، مدیریت و تحلیل کنند.
دیتا لیک هاوس مزایای زیر را نسبت به data lake و data warehouse دارد:

🔶انعطاف پذیری: data lakehouse می تواند داده های غیر ساختار یافته، ساختار یافته و نیمه ساختار یافته را ذخیره کند. این انعطاف پذیری به سازمان ها امکان می دهد طیف گسترده ای از داده ها را از هر منبعی جمع آوری و تجزیه و تحلیل کنند.

🔶هزینه: data lakehouse می تواند هزینه های ذخیره سازی و پردازش داده ها را کاهش دهد. این به دلیل استفاده از فناوری های cloud-native است که هزینه های کلی را کاهش می دهند.

🔶سرعت: data lakehouse می تواند داده ها را سریعتر از data warehouse پردازش کند. این به دلیل استفاده از فناوری های cloud-native است که می توانند حجم زیادی از داده ها را به طور همزمان پردازش کنند.

✅ می تواند برای هوش مصنوعی و یادگیری ماشینی استفاده شود. این می تواند به سازمان ها کمک کند تا مدل های یادگیری ماشینی را ایجاد و آموزش دهند.

جزوه یادگیری عمیق
خیلی کامل
و به زبان روان انگلیسی
توصیه میکنم


الگوریتم های #یادگیری_ماشین
#مصاحبه_علم_داده
#علم_داده
@datalook_ir
منبع مطالب رایگان علم داده، کتاب ، نمونه کد
فیلم آموزشی
کارگاه و وبینار رایگان