Установка SQLAlchemy и подключение к базе данных
SQLAclhemy — это де-факто фреймворк для работы с реляционными базами данных в Python. Он был создан Майком Байером в 2005 году. Эту систему используют, например, Reddit, Hulu и Dropbox. Знание SQLAclhemy сейчас важный навык (и требования в вакансиях это подтвердят). Для начала, научимся подключаться к базе данных.
😻 #SQL #python
SQLAclhemy — это де-факто фреймворк для работы с реляционными базами данных в Python. Он был создан Майком Байером в 2005 году. Эту систему используют, например, Reddit, Hulu и Dropbox. Знание SQLAclhemy сейчас важный навык (и требования в вакансиях это подтвердят). Для начала, научимся подключаться к базе данных.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22
Совет по написанию SQL запросов: всегда перечисляйте поля
В некоторых запросах можно использовать вместо названий столбцов их номера или не указывать их вовсе. Но во избежании багов и во имя читаемости так лучше не делать. Особенно обратите внимание на три кейса:
1) Не ставьте * в запросах типа SELECT. Вот так не очень хорошо:
Вот так гораздо лучше:
2) При добавлении данных в таблицу, так же как и в SELECT перечисляйте поля таблицы. Вот так делать не нужно:
Лучше вот так:
I
3) При сортировке (ORDER BY) лучше использовать имена столбцов, а не их позиции (номера). Вот так не надо:
Надо вот так:
😻 #SQL
В некоторых запросах можно использовать вместо названий столбцов их номера или не указывать их вовсе. Но во избежании багов и во имя читаемости так лучше не делать. Особенно обратите внимание на три кейса:
1) Не ставьте * в запросах типа SELECT. Вот так не очень хорошо:
SELECT *
FROM table
Вот так гораздо лучше:
SELECT col, col2, col3
FROM table
2) При добавлении данных в таблицу, так же как и в SELECT перечисляйте поля таблицы. Вот так делать не нужно:
INSERT INTO table
VALUES (col1, col2, col3……)
Лучше вот так:
I
NSERT INTO table (col1, col2, col3……)
VALUES (col1, col2, col3……)
3) При сортировке (ORDER BY) лучше использовать имена столбцов, а не их позиции (номера). Вот так не надо:
SELECT col, col2, col3
FROM table
ORDER BY 2, 1
Надо вот так:
SELECT col, col2, col3
FROM table
ORDER BY col2, col
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡44👍21🤯4🔥3🌭3❤1💅1
Как грызть гранит науки о данных?
С чего начать, как продолжить и что точно нельзя упустить? На связи редакция Data Secrets, и сейчас мы всё-всё расскажем, а заодно проведем небольшую экскурсию по нашему журналу 🙂
Вообще, образование data специалиста стоит на двух китах: математика и программирование.
Математика, в свою очередь, стоит на трех черепахах: теория вероятностей и статистика, линейная алгебра, основы мат. анализа. Вся эта математика, кстати, далеко не так сложна как кажется. Проблема в том, что её плохо и скучно объясняют во многих вузах. А у нас вы можете найти интересные пояснения на эту тему по хэштэгу #math. Вот например, посты, где мы препарируем нормальное распределение, поясняем за градиенты и объясняем математику AB-теста. А вот наша подборка книг по математике – с ними точно не пропадете.
Программирование в дате – это в основном Python и SQL. Python является стандартом де-факто для нашей сферы: он простой и логичный. Помимо синтаксиса обязательно нужно знать несколько основных библиотек: pandas, numpy, sklearn и, если планируете заниматься нейросетями, то еще PyTorch и TensorFlow. Про это и еще много всего питоновского мы пишем по хэштегу #python. Вот наши любимые посты: Как пара строк кода может сократить использование памяти в два раза, Запускаем графовую нейросеть за 5 минут, Деплоим модель с помощью FastAPI. Про SQL тоже пишем (#SQL), куда же без него: Советы по написанию запросов, Вообще все про NULL, Соединяем питон с SQL и многое другое.
После изучения этой базы начинается все самое интересное:
– Классические алгоритмы машинного обучения (у нас по хэштегу #train). Вот несколько основных: Линейная регрессия, Стекинг, Бустинг, Обучение с подкреплением. А еще мы рассказываем про всякие хитрости и нюансы, например, что делать со статичными фичами и какие бывают необчные функции потерь.
– Конечно же, нейросети (#NN). Они бывают разные: сверточные, рекуррентные (а еще LSTM), графовые, диффузионные, трансформеры, GANы. Конечно, обучать их нелегко, но мы освещаем тонкости: например, пост про эмбеддинги, про DropOut или про всякие фишки CNN.
– Ну и аналитика с визуализацией. Умение проанализировать данные, обработать и представить их в виде хорошо читаемых схем – важный скилл (важнее, чем уметь обучать нейросети). Мы делимся инсайтами по хэштегу #analytics: например, рассказываем про бандитсткую альтернативу AB-тестам, учим правильно рисовать графики и делимся надежным роадмэпом для анализа данных.
Вот как-то так. Мы также рекомендуем много хорошей литературы, бесплатных курсов и источников по хэштегу #advice. А еще постим новости (#news) и самые лучшие мемы (#memes). Желаем удачи!
😻 Ваша команда Data Secrets
С чего начать, как продолжить и что точно нельзя упустить? На связи редакция Data Secrets, и сейчас мы всё-всё расскажем, а заодно проведем небольшую экскурсию по нашему журналу 🙂
Вообще, образование data специалиста стоит на двух китах: математика и программирование.
Математика, в свою очередь, стоит на трех черепахах: теория вероятностей и статистика, линейная алгебра, основы мат. анализа. Вся эта математика, кстати, далеко не так сложна как кажется. Проблема в том, что её плохо и скучно объясняют во многих вузах. А у нас вы можете найти интересные пояснения на эту тему по хэштэгу #math. Вот например, посты, где мы препарируем нормальное распределение, поясняем за градиенты и объясняем математику AB-теста. А вот наша подборка книг по математике – с ними точно не пропадете.
Программирование в дате – это в основном Python и SQL. Python является стандартом де-факто для нашей сферы: он простой и логичный. Помимо синтаксиса обязательно нужно знать несколько основных библиотек: pandas, numpy, sklearn и, если планируете заниматься нейросетями, то еще PyTorch и TensorFlow. Про это и еще много всего питоновского мы пишем по хэштегу #python. Вот наши любимые посты: Как пара строк кода может сократить использование памяти в два раза, Запускаем графовую нейросеть за 5 минут, Деплоим модель с помощью FastAPI. Про SQL тоже пишем (#SQL), куда же без него: Советы по написанию запросов, Вообще все про NULL, Соединяем питон с SQL и многое другое.
После изучения этой базы начинается все самое интересное:
– Классические алгоритмы машинного обучения (у нас по хэштегу #train). Вот несколько основных: Линейная регрессия, Стекинг, Бустинг, Обучение с подкреплением. А еще мы рассказываем про всякие хитрости и нюансы, например, что делать со статичными фичами и какие бывают необчные функции потерь.
– Конечно же, нейросети (#NN). Они бывают разные: сверточные, рекуррентные (а еще LSTM), графовые, диффузионные, трансформеры, GANы. Конечно, обучать их нелегко, но мы освещаем тонкости: например, пост про эмбеддинги, про DropOut или про всякие фишки CNN.
– Ну и аналитика с визуализацией. Умение проанализировать данные, обработать и представить их в виде хорошо читаемых схем – важный скилл (важнее, чем уметь обучать нейросети). Мы делимся инсайтами по хэштегу #analytics: например, рассказываем про бандитсткую альтернативу AB-тестам, учим правильно рисовать графики и делимся надежным роадмэпом для анализа данных.
Вот как-то так. Мы также рекомендуем много хорошей литературы, бесплатных курсов и источников по хэштегу #advice. А еще постим новости (#news) и самые лучшие мемы (#memes). Желаем удачи!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤145👍50🔥16⚡3🤯2☃1👌1🍌1🤨1🤓1
CASE WHEN в SQL
Почему в SQL нет if-else? Потому что там есть CASE WHEN. Обяъсняем, как эта конструкция работает.
P.S. А чтобы все точно стало понятно, вот данные, которые мы используем в примерах, поиграйтесь с ними сами.
😻 #SQL
Почему в SQL нет if-else? Потому что там есть CASE WHEN. Обяъсняем, как эта конструкция работает.
P.S. А чтобы все точно стало понятно, вот данные, которые мы используем в примерах, поиграйтесь с ними сами.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29❤7🤯2
В каком порядке записываются и выполняются операторы в СУБД?
Так звучит один из самых популярных вопросов по SQL с собеседований на любую должность, хоть как-то связанную с обработкой данных. И это не просто способ закопать кандидата: ваш ответ покажет, насколько хорошо вы понимаете SQL и принципы его работы.
Итак, в карточках – все что нужно знать, чтобы ответить грамотно, и некоторые полезные детали.
😻 #SQL
Так звучит один из самых популярных вопросов по SQL с собеседований на любую должность, хоть как-то связанную с обработкой данных. И это не просто способ закопать кандидата: ваш ответ покажет, насколько хорошо вы понимаете SQL и принципы его работы.
Итак, в карточках – все что нужно знать, чтобы ответить грамотно, и некоторые полезные детали.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥49👍16❤5
Интересный кейс с INNER JOIN с собеседования
Довольно распространенные на собеседованиях SQL-задачки с подвохом обычно каким-то образом связаны с джойнами. Это именно на тема, которые очень многие понимают не совсем верно. В карточках – один из таких загадочных кейсов на INNER JOIN. Показываем, как ожидания разбиваются о реальность, и рассказываем, почему так происходит. Читайте, чтобы улучшить свое понимание SQL!
😻 #SQL
Довольно распространенные на собеседованиях SQL-задачки с подвохом обычно каким-то образом связаны с джойнами. Это именно на тема, которые очень многие понимают не совсем верно. В карточках – один из таких загадочных кейсов на INNER JOIN. Показываем, как ожидания разбиваются о реальность, и рассказываем, почему так происходит. Читайте, чтобы улучшить свое понимание SQL!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯46❤24👍19🙈3🔥1😁1
Как оптимизировать SQL-запросы
Если вы имели дело с биг датой, то знаете, что далеко не каждый запрос к базе данных отрабатывает быстро. А некоторые мега-запросы могут даже нечаяно положить ваш сервер. Чтобы такого не было, надо научиться оптимизировать SQL-запросы. В карточках – наши рекомендации по этому поводу.
😻 #SQL
Если вы имели дело с биг датой, то знаете, что далеко не каждый запрос к базе данных отрабатывает быстро. А некоторые мега-запросы могут даже нечаяно положить ваш сервер. Чтобы такого не было, надо научиться оптимизировать SQL-запросы. В карточках – наши рекомендации по этому поводу.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42❤9
В стране DS жили-были два зверя: панда и скуль. И говорили они на разных языках....
От этого временами страдали все мирные жители этого прекрасного государства. Но однажды доблестные редакторы из замка Data Secrets сделали словарь, в котором собрали и перевели все самое важное с одного языка на другой. После этого все жили долго и счастливо и ставили на этот пост лайки. Конец!
😻 #python #SQL
От этого временами страдали все мирные жители этого прекрасного государства. Но однажды доблестные редакторы из замка Data Secrets сделали словарь, в котором собрали и перевели все самое важное с одного языка на другой. После этого все жили долго и счастливо и ставили на этот пост лайки. Конец!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤103👍36🔥17😁6❤🔥3
Совет по написанию SQL запросов: всегда перечисляйте поля
В некоторых запросах можно использовать вместо названий столбцов их номера или не указывать их вовсе. Но во избежании багов и во имя читаемости так лучше не делать. Особенно обратите внимание на три кейса:
1) Не ставьте * в запросах типа SELECT. Вот так не очень хорошо:
Вот так гораздо лучше:
2) При добавлении данных в таблицу, так же как и в SELECT перечисляйте поля таблицы. Вот так делать не нужно:
Лучше вот так:
I
3) При сортировке (ORDER BY) лучше использовать имена столбцов, а не их позиции (номера). Вот так не надо:
Надо вот так:
😻 #SQL
В некоторых запросах можно использовать вместо названий столбцов их номера или не указывать их вовсе. Но во избежании багов и во имя читаемости так лучше не делать. Особенно обратите внимание на три кейса:
1) Не ставьте * в запросах типа SELECT. Вот так не очень хорошо:
SELECT *
FROM table
Вот так гораздо лучше:
SELECT col, col2, col3
FROM table
2) При добавлении данных в таблицу, так же как и в SELECT перечисляйте поля таблицы. Вот так делать не нужно:
INSERT INTO table
VALUES (col1, col2, col3……)
Лучше вот так:
I
NSERT INTO table (col1, col2, col3……)
VALUES (col1, col2, col3……)
3) При сортировке (ORDER BY) лучше использовать имена столбцов, а не их позиции (номера). Вот так не надо:
SELECT col, col2, col3
FROM table
ORDER BY 2, 1
Надо вот так:
SELECT col, col2, col3
FROM table
ORDER BY col2, col
Please open Telegram to view this post
VIEW IN TELEGRAM
👍48❤8🌚6🤯2❤🔥1
Please open Telegram to view this post
VIEW IN TELEGRAM
❤50🔥19😍4👍1