مهندسی و علم داده
4K subscribers
381 photos
174 videos
169 files
114 links
در مورد ادمین کانال :
- محمد عالیشاهی
- دکترای هوش مصنوعی دانشگاه تهران
-نائب رئیس هیات مدیره شرکت فناوران هوش مصنوعی
- مدیر ارشد پروژه های هوش مصنوعی و علم داده
Download Telegram
آسیب‌پذیری critical در Oracle weblogic به هکرها امکان دسترسی و کنترل کامل سرور را میدهد . @BIMining
در اوایل این ماه، Oracle یک آسیب‌پذیری بسیار بحرانی جاوا که به صورت remote code execution در قسمت WebLogic server است را ارایه کرد که این قابلیت باعث می شود هکر ها بتوانند به راحتی کنترل کامل یک سرور آسیب پذیر را در دست بگیرند.@sgapsec
یک محقق امنیتی به نام @ pyn۳rd از توییترخود ادعایی کرده است و همچنین گفته است که قسمتی از تیم امنیتی Alibaba است ، اکنون راهی پیدا کرده‌است که از طریق آن مهاجمان می‌توانندsecurity patch ها را bypass کنند و یک‌بار دیگر از آسیب‌پذیری WebLogic سواستفاده کنند.
در نوامبر سال گذشته Liao Xinxi از تیم امنییتی NSFOCUS ، عیب Oracle WebLogic Server CVE-2018-2628را کشف کرد.که میتوان از طریق دسترسی شبکه به پورت TCP 7001 مورداستفاده قراربگیرد.
این آسیب‌پذیری بر نسخه‌های ۱۰.۳.۶.۰، ۱۲.۱.۳.۰، ۱۲.۲.۱.۲ و ۱۲.۲.۱.۳ تاثیر می‌گذارد.
از آنجا که proof-of-concept (PoC) برای آسیب‌پذیری Oracle WebLogic Server به صورت public در اینترنت قرار گرفته است حتماً به روز رسانی را انجام دهید تا کمتر هکرها امکان استفاده از این آسیب‌پذیری را داشته باشند . همچنین از سیاست‌های طراحی استاندارد امنیتی و رمزنگاری داده‌ها و تغییر پورت های کاربری نرم‌افزارها و محدود سازی استفاده از آن‌ها در بستر اینترنت استفاده کنید تا هکرها توسط exploitهای پیش‌فرض امکان حمله به شما را نداشته باشند . علیرضا خبیر (مشاور و مدرس تست نفوذ و امنیت شبکه‌های اداری و صنعتی) www.sgap.co
@BIMining
عرضه محصولات بلاکچینی توسط شرکت اوراکل

🔴به گزارش بلومبرگ در ۷ می، شرکت اوراکل ، دومین شرکت بزرگ نرم‌افزار جهان، در دو ماه آینده محصولات بلاکچینی خود را روانه بازار خواهد کرد.

رئیس توسعه نرم‌افزاری اوراکل، توماس کوریان، امروز اعلام کرد که این شرکت قصد دارد در ماه آینده از یک پلت‌فرم غیرمتمرکز رونمایی کند. این پلت‌فرم نوعی دفتر کل توزیع شده است که برنامه های متعددی می‌تواند روی آن پیاده سازی شود.

این شرکت مستقر در کالیفرنیا با Banco de Chile برای ثبت تراکنش های بین‌بانکی براساس هایپرلجر همکاری می‌کند. اوراکل همچنین با دولت نیجریه همکاری داشته‌است که بنا بر گزارش‌ها به استفاده از فن‌آوری بلاکچین برای مستندسازی عوارض گمرکی و واردات این کشور مربوط بوده است. براساس گزارش اخیر بلومبرگ، محصولات جدید اوراکل برای مدیریت زنجیره‌های تامین دارو به شرکت‌های داروسازی داده خواهند شد. @BIMining
https://www.bloomberg.com/amp/news/articles/2018-05-07/oracle-rolling-out-blockchain-products-as-soon-as-this-month
Channel name was changed to «کانال هوشمندسازی کسب و کار BI»
مقایسه قابلیت های مهم و حیاتی پلتفرم های مختلف هوش تجاری تا ژانویه 2018! - حداکثر امتیاز در نظرگرفته شده 5 می باشد مرجع:گارتنر @BIMining
Media is too big
VIEW IN TELEGRAM
💠 آموزش #پایتون : جلسه شصت و هشتم

☑️ مباحث گفته شده:
🔘 کتابخانه ی UnitTest برای پایتون @BIMining
نسخه چهارم کتاب بسیار ارزشمند و کاربردی hadoop از سطح مبتدی تا حرفه ای @BIMining
گوگل مپ از فردا پولی می شود
دسترسی به خدمت گوگل مپس از فردا با پرداخت هزینه و یک کلید «آ پی آی» معتبر ممکن خواهد بود.بنابراين استفاده آنلاين نقشه جغرافيايي در پلتفرم هوش تجاري مساله ساز خواهد شد!
💢 هوش مصنوعی فیس بوک اخبار جعلی را حذف می‌کند

🔹 فیس بوک این روزها بیش از پیش از هوش مصنوعی استفاده می کند و یکی از روشهای استفاده آن بررسی بیش از یک میلیارد پست به طور روزانه است.

🔹 فیس بوک قصد دارد سیستم مبارزه با خبر جعلی را ارتقا داده و آن را در ۱۴ کشور گسترش دهد و تا پایان سال ۲۰۱۸ نیز در این بخش رشد بیشتری داشته باشد. فیس بوک در این روش موفق شده است تا ۸۰ درصد از اخبار دروغین را حذف کند.

🔹 مارک زاکربرگ اعلام کرد که خبر جعلی یکی از مشکلات بزرگ این شرکت است و تلاش فراوانی در جهت رفع آن خواهد کرد.

🔹 شبکه های اجتماعی مانند توییتر، یوتیوب و فیس بوک همیشه میزبان بسیاری از اخبار و اطلاعات غلط است و این اخبار شبکه های اجتماعی را به شدت تهدید می‌کند. @BIMining
Media is too big
VIEW IN TELEGRAM
💠 آموزش #پایتون : جلسه شصت و نهم

☑️ مباحث گفته شده:
🔘 تقویم در پایتون @BIMining
نگاهی به معماریSpark SQL @BIMining
SparkSql.pdf
6.6 MB
نگاهی به معماریSpark SQL @BIMining
☑️نقشه راه هوش تجاری كلان داده:

· بخش زیر ساخت و ETL :
1- انتخاب و تسلط به ابزار های استخراج، پاکسازی و بارگذاری داده(ETL ) رایج ترین ابزارها ODI در پلتفرم اوراکل، SSIS در پلتفرم مایکروسافت، Sqoop و Flume در پلتفرم بیگ دیتا
2- انتخاب معماری و رویکرد مناسب جهت بارگذاری داده ها در انبار داده (Top down – Button up – Mix up)

نکته: برای اطلاعات بیشتر در مورد معماری های فوق کتابهای انبار داده Kimball و Inman مراجعه شود.برای انتخاب هر کدام از معماری های فوق فاکتورهای بسیار زیادی مطرح هست مثلا سرعت انجام پروژه، حجم و تنوع دیتا، مشخص بودن SCOPE پروژه و ... فاکتورهای تعیین کننده جهت انتخاب یکی از روشهای فوق الذکر است.

3- تسلط در استفاده از تکنولوژی های OLAP، MOLAP،ROLAP و HOLAP و براساس موضوعات مختلف و معماری مورد نیاز در ساخت انبار داده جهت ساخت کیوب
4- تسلط در ایجاد اتصال ابزارهای ETL به دیتا بیس های عملیاتی مانند Structure ,Unstructured DATA و همچنین به Data Warehouse
5- قابلیت استفاده از تکنولوژی های CDC(Change Data Capture) و SCD (Slowly Change Dimension)
6- اتصال ابزار ETL به انواع پایگاه داده ها مختلف مانند Socket ، DB Link ، Web service و ... جهت دریافت و ارسال

· بخش انبار داده:
1- انتخاب و تسلط به یکی از پایگاه داده های مطرح دنیا مانند ORACLE،DB2 ،Microsoft،Mongo DBو... و بر اساس نیازهای تعریف شده
2- ساخت کیوب شامل STAR ، Snow Flake ، Fact Consolation
3- تسلط به مفاهیم QUERY OPTIMIZATION از قبیل : ایجاد پارتیشن بندی ،نحوه ایندکس گذاری ترکیبی و چندتائی ،اکتیو کردن قابلیت IN-MEMORY در سطح SESSION،TABLE SPACE،TABLE و FIELD جهت افزایش کارائی و سرعت دسترسی به دیتای کیوب
4- تسلط MATERIALIZE VIEW،PROCEDURE،FUNCTION و QUERY نویسی در محیط های برنامه نویسی پایگاه داده
5- تسلط به ساخت FACT و DIMENSION برای ساخت FACT بایستی مواردی مثل NUMBER بودن تمامی فیلدها،وجود کلید خارجی،MEASURE ها شرط اولیه و مهم است. برای ایجاد DIMENSION بایستی به مواردی مثل قابلیت سلسله مراتبی بودن فیلدها مانند (سال،فصل، ماه و روز در جدول DATE)، داشتن کلید اصلی جز موارد مهم و اصلی آن به شمار می رود.
6- قابلیت ایجاد ARCHIVE Data در انبار داده جهت مدیریت داده های بلا استفاده و کم اهمیت در طول بازه زمانی(حذف تدریجی داده های بلااستفاده و کم اهمیت بصورت تدریجی و در بازه زمانی تعریف شده و انتقال به پایگاه داده آرشیو)



· بخش داده کاوی و داشبوردهای تحلیلی:
1- مطالعه و تسلط کافی به اسکریپت نویسی مبتنی بر تکنولوژی های MDX،DAX
2- انتخاب و تسلط بر یکی از ابزارهای OBIEE ،BI Microsoft ، Tableau ، Qlikview و ...
3- قابلیت اسکریپت نویسی و استفاده از فانکشن ها در ابزارهای هوش تجاری فوق الذکر
4- اتصال و فراخوانی داشبوردهای هوش تجاری به کیوب داده
5- توانائی ایجاد DRILL DOWN ، ROLL UP ، DICE و SLICE در ابزارهای هوش تجاری جهت تحلیل های چند بعدی
6- تهیه پروتوتایپ داشبوردهای طراحی شده برای استفاده کنندگان و با سطوح دسترسی و امکانات لازم در هر داشبورد مدیریتی و مورد نیاز کسب و کار
7- ایجاد AGENT و ACTION و ارسال گزارشات تحلیلی با شرایط خاص وسطح دسترسی
8- و خدمات متنوع دیگر مثل اتصال مستقیم ریپازیتوری به اکسل،قابلیت استفاده درست و بجا از انواع histogram برای نمایش اطلاعات توصیفی و ترندها،پیاده سازی scorecards ، watch List و ...
9- طراحی و پیاده سازی روش های داده کاوی شامل روش های پیش بینی و توصیفی در ابعاد مختلف
10- پیاده سازی روش های داده کاوی با استفاده از ابزارهای داده کاوی مثل R ، پایتون
11- تحلیل و شناخت کامل از فرایندهای کسب و کار،سیستمهای موجود در بخش های مختلف با همکاری کارشناس خبره کسب و کار
12- استخراج KPI (KEY PERFORMANCE INDICATOR) و CSF (CRITICAL SUCCESS FACTOR) مطابق با مسئله و نیاز تعریف شده توسط کارفرما
13- تعریف سطوح دسترسی کاربران جهت استفاده از داشبوردهای طراحی شده
14- امکان نمایش داشبوردها در ابزارهای موبایل،تبلت و ...

استفاده از قابلیت های prompt و لینک دیتا بین داشبوردهای Master و Slave

سپاس- عالیشاهی
@BIMining
کارگاه بیگ دیتا در روزهای 8 و 9 شهریور97 ارائه دهنده : محمد عالیشاهی **اطلاعات تکمیلی: @BIRegister
BIG-DATA&BI_n2.pdf
468.9 KB
اطلاعات تکمیلی کارگاه کلان داده شامل هزینه کارگاه،مدت زمان،سرفصلها ، ابزارها و پلتفرم های مورد استفاده و مکان برگزاری و اطلاعات دیگر