Введение в TensorFlow ⚙️
TensorFlow – это библиотека или структура программного обеспечения, разработанная командой Google для максимально простой реализации концепций машинного и глубокого обучения.
#TensorFlow
TensorFlow – это библиотека или структура программного обеспечения, разработанная командой Google для максимально простой реализации концепций машинного и глубокого обучения.
#TensorFlow
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🥰17👍7⚡5🫡4🗿3🌚1
Интервальное оценивание
Доверительный интервал - диапазон значений, который с высокой степенью вероятности включает в себя все данные (математическое ожидание, дисперсию или другие статистические параметры)📈
#статистика
Доверительный интервал - диапазон значений, который с высокой степенью вероятности включает в себя все данные (математическое ожидание, дисперсию или другие статистические параметры)
#статистика
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24🔥4❤1
Сферы, в которых ИИ повсеместно заменяют человека
Кибербезопасность, обслуживание ПО, складской учет и многие другие сферы, где ИИ частично или полностью заменяют труд человека. В подборке указали те области, в которых чаще всего встречается искусственный интеллект.
Кибербезопасность, обслуживание ПО, складской учет и многие другие сферы, где ИИ частично или полностью заменяют труд человека. В подборке указали те области, в которых чаще всего встречается искусственный интеллект.
👍22🙈2
Data Secrets
Введение в PySpark: ЧАСТЬ 1 PySpark - фреймворк на базе Scala , используемый для обработки и анализа больших данных, а также машинного обучения. #PySpark
Введение в PySpark: ЧАСТЬ 2
PySpark поддерживает работу с разными базами данных. Несколько практических примеров о том, как начать взаимодействие с БД с помощью Spark🖥
#PySpark
PySpark поддерживает работу с разными базами данных. Несколько практических примеров о том, как начать взаимодействие с БД с помощью Spark
#PySpark
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🏆8❤1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👏20👍10🔥8🏆3
SQL: Процедуры
SQL - декларативный язык программирования, применяемый для создания и управления данными в реляционной БД🖥
#SQL
SQL - декларативный язык программирования, применяемый для создания и управления данными в реляционной БД
#SQL
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23😐3😁1
Что такое выброс (outlier)? Объясните, как можно обнаружить выброс и что бы вы сделали, если бы нашли их в своем наборе данных? Кроме того, объясните, что такое неявный выброс (inlier) и как вы можете их отфильтровать и что бы вы сделали, если бы нашли их в своем наборе данных?
Выбросом являются данные, которые существенно отличаются от других наблюдений.
Причиной выброса может быть:
•. Ошибки измерения.
•. Необычная природа входных данных. Например, если наугад измерять температуру предметов в комнате, получим цифры от 18 до 22 °C, но радиатор отопления будет иметь температуру 70°.
•. Выбросы могут быть и частью распределения — так, в нормальном распределении каждое 22-е измерение будет выходить из «двух сигм», и каждое 370-е — из трёх.
Обычно выброса негативно влияют на модели машинного обучения, потому что они могут ухудшать их точность. Если выброс вызван ошибкой измерения, важно удалить их из набора данных. Есть несколько способов определить выбросы:
Z-оценка / стандартное отклонение: в этом случае 99,7% набора данных находятся в пределах трех стандартных отклонений. Мы можем рассчитать стандартное отклонение, умножить его на 3 и найти данные, которые находятся за пределами этого диапазона. Аналогично, мы можем вычислить z-показатель для данной точки, и если он равен +/- 3, то это выброс.
Обратите внимание: что при использовании этого метода необходимо учитывать несколько обстоятельств; данные должны быть нормально распределены, это не работает для небольших наборов данных, и наличие слишком большого количества выбросов делает z-показатель неприменимым.
Межквартильный диапазон (IQR): IQR – концепция, используемая для построения диапазонов отклонений, также может быть использована для выявления выбросов. IQR равен разнице между 3-м квартилем и 1-м квартилем. Таким образом можно определить, является ли точка выбросом, если она меньше Q1–1,5 * IQR или больше Q3 + 1,5 * IQR. Это соответствует приблизительно 2,698 стандартных отклонений.
Другие методы определения выбросов, это критерии Шовене, Пирса и некоторые аналогичные подходы. Также возможно использовать методы кластеризации, такие как, например, DBScan.
Неявный выброс (inlier) это данные, которые лежат в пределах основного набора данных, но при этом являются необычными или ошибочными. Поскольку они находятся внутри набора данных, то их сложнее идентифицировать, чем выброс. Для их идентификации требуются дополнительные внешние данные.
Найденные неявные выбросы обычно удаляют из набора данных для устранения их влияния на проводимые исследования.
#вопросы_с_собеседования
Причиной выброса может быть:
•. Ошибки измерения.
•. Необычная природа входных данных. Например, если наугад измерять температуру предметов в комнате, получим цифры от 18 до 22 °C, но радиатор отопления будет иметь температуру 70°.
•. Выбросы могут быть и частью распределения — так, в нормальном распределении каждое 22-е измерение будет выходить из «двух сигм», и каждое 370-е — из трёх.
Обычно выброса негативно влияют на модели машинного обучения, потому что они могут ухудшать их точность. Если выброс вызван ошибкой измерения, важно удалить их из набора данных. Есть несколько способов определить выбросы:
Z-оценка / стандартное отклонение:
Обратите внимание: что при использовании этого метода необходимо учитывать несколько обстоятельств; данные должны быть нормально распределены, это не работает для небольших наборов данных, и наличие слишком большого количества выбросов делает z-показатель неприменимым.
Межквартильный диапазон (IQR): IQR – концепция, используемая для построения диапазонов отклонений, также может быть использована для выявления выбросов. IQR равен разнице между 3-м квартилем и 1-м квартилем. Таким образом можно определить, является ли точка выбросом, если она меньше Q1–1,5 * IQR или больше Q3 + 1,5 * IQR. Это соответствует приблизительно 2,698 стандартных отклонений.
Другие методы определения выбросов, это критерии Шовене, Пирса и некоторые аналогичные подходы. Также возможно использовать методы кластеризации, такие как, например, DBScan.
Неявный выброс (inlier)
Найденные неявные выбросы обычно удаляют из набора данных для устранения их влияния на проводимые исследования.
#вопросы_с_собеседования
👍27😨4🤯3❤1🍌1🤨1
Введение в Keras: Часть 1
Keras — это библиотека для языка программирования Python, которая предназначена для глубокого машинного обучения. Она позволяет быстрее создавать и настраивать модели — схемы, по которым распространяется и подсчитывается информация при обучении. Но сложных математических вычислений Keras не выполняет и используется как надстройка над другими библиотеками.
#Keras
Keras — это библиотека для языка программирования Python, которая предназначена для глубокого машинного обучения. Она позволяет быстрее создавать и настраивать модели — схемы, по которым распространяется и подсчитывается информация при обучении. Но сложных математических вычислений Keras не выполняет и используется как надстройка над другими библиотеками.
#Keras
👍17🤩7