Что делать, чтобы эксплуатация не превратилась в бесконечное тушение пожаров
Меня зовут Владимир Медин, я работаю в подразделении SberWorks, которое внедряет практики DevOps и MLOps. Хочу поделиться нашим опытом повышения надёжности enterprise-систем, вводимых в эксплуатацию, особенно впервые. Для кого-то эта статья будет в большей степени спасательным кругом, но с напутствием. Многие подходы к обеспечению надёжности у нас регламентированы, но есть и «неуставные» решения, которые вырабатываются только с опытом. Кому-то могут бы непонятны некоторые тонкости, диктуемые условиями крупной компании, поэтому по мере рассказа буду объяснять, почему это важно. Впрочем, на мой взгляд, эти правила применимы в работе компании любого размера, дорожащей стабильностью качества своих услуг. https://habr.com/ru/companies/sberbank/articles/809369/
Меня зовут Владимир Медин, я работаю в подразделении SberWorks, которое внедряет практики DevOps и MLOps. Хочу поделиться нашим опытом повышения надёжности enterprise-систем, вводимых в эксплуатацию, особенно впервые. Для кого-то эта статья будет в большей степени спасательным кругом, но с напутствием. Многие подходы к обеспечению надёжности у нас регламентированы, но есть и «неуставные» решения, которые вырабатываются только с опытом. Кому-то могут бы непонятны некоторые тонкости, диктуемые условиями крупной компании, поэтому по мере рассказа буду объяснять, почему это важно. Впрочем, на мой взгляд, эти правила применимы в работе компании любого размера, дорожащей стабильностью качества своих услуг. https://habr.com/ru/companies/sberbank/articles/809369/
Хабр
Что делать, чтобы эксплуатация не превратилась в бесконечное тушение пожаров
Меня зовут Владимир Медин, я работаю в подразделении SberWorks, которое внедряет практики DevOps и MLOps. Хочу поделиться нашим опытом повышения надёжности enterprise-систем, вводимых в эксплуатацию,...
Месяц назад поставил Linux как основную ОС. Какие проблемы возникли? Рассказываю
https://habr.com/ru/articles/810829/
https://habr.com/ru/articles/810829/
Хабр
Месяц назад поставил Linux как основную ОС. Какие проблемы возникли? Рассказываю
Через 1,5 года заканчивается поддержка Windows 10, а 11-я мне не подходит, ибо нельзя вертикально поставить панель задач (см. cнимок экрана, как у меня всё организовано на двух экранах). Поэтому решил...
Исследование проблемы производительности межрегиональной сети
https://netflixtechblog.medium.com/investigation-of-a-cross-regional-network-performance-issue-422d6218fdf1
https://netflixtechblog.medium.com/investigation-of-a-cross-regional-network-performance-issue-422d6218fdf1
Medium
Investigation of a Cross-regional Network Performance Issue
Hechao Li, Roger Cruz
Неожиданности IPv6, или почему тупят Instagram и WhatsApp через прокси и VPN
Довольно часто в последнее время на разных форумах и чатах люди жалуются, что когда они пользуются VPN или прокси, то у них после подключения на устройствах как-то странно начинают работать некоторые приложения. Например, не приходят сообщения в WhatsApp, не загружаютя сторис в Instagram, и другие подобные вещи. Причем нередко проблема чинится сама по себе спустя 10-15 минут после подключения, но после переподключения или переоткрытия клиента начинается снова. Иные жалобы состоят в том, что не смотря на то, что пользователь выходит в интернет через VPN или прокси, некоторые заблокированные сервисы и сайты у него все равно не открываются. И в том и в том обычно винят баги прокси/VPN-клиентов, администраторов серверов, и кого угодно еще. И я вам скажу: зря. Все гораздо проще и гораздо сложнее одновременно. https://habr.com/ru/articles/811487/
Довольно часто в последнее время на разных форумах и чатах люди жалуются, что когда они пользуются VPN или прокси, то у них после подключения на устройствах как-то странно начинают работать некоторые приложения. Например, не приходят сообщения в WhatsApp, не загружаютя сторис в Instagram, и другие подобные вещи. Причем нередко проблема чинится сама по себе спустя 10-15 минут после подключения, но после переподключения или переоткрытия клиента начинается снова. Иные жалобы состоят в том, что не смотря на то, что пользователь выходит в интернет через VPN или прокси, некоторые заблокированные сервисы и сайты у него все равно не открываются. И в том и в том обычно винят баги прокси/VPN-клиентов, администраторов серверов, и кого угодно еще. И я вам скажу: зря. Все гораздо проще и гораздо сложнее одновременно. https://habr.com/ru/articles/811487/
Мы хотим, чтобы серверы падали одновременно
К нам обратился заказчик из сфера развлекательного видеостриминга с интересной проблемой - у него сервера падали не одновременно. А очень хотелось бы добиться синхронности.
Сервера, которые смущали заказчика работали в роли бэкенда для хранения видеофайлов. По сути, это было множество узлов, содержащих десятки терабайт видеофайлов, которые предварительно были нарезаны в разном разрешении конвертерами. Затем, все эти миллионы файлов отдавались во внешний мир с помощью nginx + kaltura, что позволяло перепаковывать на лету mp4 в сегменты DASH/HLS. Это позволяло хорошо переносить даже высокие нагрузки, отдавая плеером только нужные сегменты без резких всплесков.
Проблемы появились тогда, когда встал вопрос с георезервированием и масштабированием при росте нагрузок. Сервера внутри одной группы резервирования умирали не синхронно, так как представляли были весьма разнообразным зоопарком с разными провайдерами, шириной канала, дисками и RAID-контроллерами. Нам предстояло провести аудит всей этой красоты и перестроить почти с нуля весь мониторинг с методологией управления ресурсами.
https://habr.com/ru/companies/wiseops/articles/812331/
К нам обратился заказчик из сфера развлекательного видеостриминга с интересной проблемой - у него сервера падали не одновременно. А очень хотелось бы добиться синхронности.
Сервера, которые смущали заказчика работали в роли бэкенда для хранения видеофайлов. По сути, это было множество узлов, содержащих десятки терабайт видеофайлов, которые предварительно были нарезаны в разном разрешении конвертерами. Затем, все эти миллионы файлов отдавались во внешний мир с помощью nginx + kaltura, что позволяло перепаковывать на лету mp4 в сегменты DASH/HLS. Это позволяло хорошо переносить даже высокие нагрузки, отдавая плеером только нужные сегменты без резких всплесков.
Проблемы появились тогда, когда встал вопрос с георезервированием и масштабированием при росте нагрузок. Сервера внутри одной группы резервирования умирали не синхронно, так как представляли были весьма разнообразным зоопарком с разными провайдерами, шириной канала, дисками и RAID-контроллерами. Нам предстояло провести аудит всей этой красоты и перестроить почти с нуля весь мониторинг с методологией управления ресурсами.
https://habr.com/ru/companies/wiseops/articles/812331/
Хабр
Мы хотим, чтобы серверы падали одновременно
Если у вас зоопарк из серверов, то не стоит сравнивать абсолютные показатели. Нормализуйте. К нам обратился заказчик из сферы развлекательного видеостриминга с интересной проблемой - у него серверы...
Учебное пособие по работе в сети Linux
Вам нужна помощь в изучении концепций сетевых технологий в операционных системах Linux? Если это так, то вы попали в нужное место. В этом руководстве представлено подробное объяснение концепций сети в Linux. К концу этого руководства вы получите четкое представление о сетевом администрировании Linux и его работе.
https://mindmajix.com/linux-networking-tutorial
Вам нужна помощь в изучении концепций сетевых технологий в операционных системах Linux? Если это так, то вы попали в нужное место. В этом руководстве представлено подробное объяснение концепций сети в Linux. К концу этого руководства вы получите четкое представление о сетевом администрировании Linux и его работе.
https://mindmajix.com/linux-networking-tutorial
mindmajix
Linux Networking Tutorial | Essential Guide for Beginners
Linux Networking Tutorial ➔ In this article you will learn about ✔️What is Linux ✔️ Networking Basics ✔️Networking Commands, and more.
Обратный прокси-сервер Zoraxy прост в использовании и имеет такие функции, как перенаправление, черный список GeoIP, интеграция GAN, веб-SSH, статистика в реальном времени, сканер и утилиты. Это проект с открытым исходным кодом на Github.
https://zoraxy.arozos.com/
https://zoraxy.arozos.com/
Pingora — это платформа Rust для создания быстрых, надежных и программируемых сетевых систем .
Библиотека для создания быстрых, надежных и развиваемых сетевых сервисов.
https://github.com/cloudflare/pingora/tree/main
Библиотека для создания быстрых, надежных и развиваемых сетевых сервисов.
https://github.com/cloudflare/pingora/tree/main
GitHub
GitHub - cloudflare/pingora: A library for building fast, reliable and evolvable network services.
A library for building fast, reliable and evolvable network services. - cloudflare/pingora
Протокол HTTP
Рассматриваем основы работы HTTP, применяем HTTP на практике в терминале, используем Wireshark для анализа пакетов HTTP.
https://habr.com/ru/articles/813395/
Рассматриваем основы работы HTTP, применяем HTTP на практике в терминале, используем Wireshark для анализа пакетов HTTP.
https://habr.com/ru/articles/813395/
Сравнение алгоритмов ограничения частоты запросов
https://habr.com/ru/companies/ruvds/articles/816243/
https://habr.com/ru/companies/ruvds/articles/816243/
Руководство посредственного инженера по HTTPS
Будучи посредственным инженером, я воспринимал Интернет и HTTPS-связь как нечто само собой разумеющееся и никогда не погружался глубже. Сегодня мы совершенствуемся как инженеры и изучаем, как работает интернет-коммуникация, уделяя особое внимание HTTP и TLS.
https://devonperoutky.super.site/blog-posts/mediocre-engineers-guide-to-https
Будучи посредственным инженером, я воспринимал Интернет и HTTPS-связь как нечто само собой разумеющееся и никогда не погружался глубже. Сегодня мы совершенствуемся как инженеры и изучаем, как работает интернет-коммуникация, уделяя особое внимание HTTP и TLS.
https://devonperoutky.super.site/blog-posts/mediocre-engineers-guide-to-https
Forwarded from Linux
Расширение скобки {} — одна из наиболее малоиспользуемых, но замечательных функций в оболочках Linux. Он предоставляет удобный способ мгновенно генерировать произвольные строки или целочисленные последовательности без их ввода вручную. Чтобы использовать раскрытие фигурных скобок, заключите начало и конец последовательности в фигурные скобки {}, разделенные двумя точками. Например:
Это расширится до напечатанных целых чисел от 1 до 5. по отдельным строкам. Вы также можете использовать буквы:
Вот несколько полезных применений расширения фигурных скобок: Генерируйте имена файлов последовательно, например:
Печатайте диапазоны для использования в циклах
Создайте несколько каталогов одновременно:
Переместите несколько файлов:
$ echo {1..5}
1 2 3 4 5Это расширится до напечатанных целых чисел от 1 до 5. по отдельным строкам. Вы также можете использовать буквы:
$ echo {a..e}
a b c d eВот несколько полезных применений расширения фигурных скобок: Генерируйте имена файлов последовательно, например:
$ touch report-{1..12}.txtПечатайте диапазоны для использования в циклах
$ for i in {1..10}; do...doneСоздайте несколько каталогов одновременно:
$ mkdir backup-{1-4} Переместите несколько файлов:
$ mv data-{1..5}.txtВ этой статье мы займёмся беспрецедентным экспериментом!
Я шаг за шагом проведу вас через процесс преобразования SSD на базе QLC NAND в SLC SSD, что позволит значительно повысить его ресурс и общую производительность.
https://habr.com/ru/companies/ruvds/articles/816463/
Я шаг за шагом проведу вас через процесс преобразования SSD на базе QLC NAND в SLC SSD, что позволит значительно повысить его ресурс и общую производительность.
https://habr.com/ru/companies/ruvds/articles/816463/
Выключаем компьютер через Wake-on-Lan
Wake-on-Lan (WoL) — технология, которая используется (как и следует из названия) для включения компьютера посредством отправки специального пакета на адрес требуемого хоста. Но что если при помощи WoL хочется ещё и выключать компьютер? https://habr.com/ru/articles/816765/
Wake-on-Lan (WoL) — технология, которая используется (как и следует из названия) для включения компьютера посредством отправки специального пакета на адрес требуемого хоста. Но что если при помощи WoL хочется ещё и выключать компьютер? https://habr.com/ru/articles/816765/
Блокировка Docker Hub для России. Без паники разбираемся как работать дальше
Главной новостью этой недели стала блокировка пользователей из России ресурсом Docker Hub. Она осуществляется по Geo IP.
Ирония в том, что у самого докера есть инструменты, чтобы обойти эту блокировку. Используем докер, чтобы обойти блокировку докера и дальше использовать докер.
В статье три проверенных мною способа, как получить доступ к ресурсу.
https://habr.com/ru/articles/818565/
Главной новостью этой недели стала блокировка пользователей из России ресурсом Docker Hub. Она осуществляется по Geo IP.
Ирония в том, что у самого докера есть инструменты, чтобы обойти эту блокировку. Используем докер, чтобы обойти блокировку докера и дальше использовать докер.
В статье три проверенных мною способа, как получить доступ к ресурсу.
https://habr.com/ru/articles/818565/
В OpenSSH добавлена встроенная защита от атак по подбору паролей
В кодовую базу OpenSSH добавлена встроенная защита от автоматизированных атак по подбору паролей, в ходе которых боты пытаются угадать пароль пользователя, перебирая различные типовые комбинации. Для блокирования подобных атак в файл конфигурации sshd_config добавлен параметр PerSourcePenalties, позволяющий определить порог блокировки, срабатывающий при большом числе неудачных попыток соединений с одного IP-адреса. Новый механизм защиты войдёт в состав следующего выпуска OpenSSH и будет включён по умолчанию в OpenBSD 7.6.
При включении защиты процесс sshd начинает отслеживать статус завершения дочерних процессов, определяя ситуации когда не прошла аутентификация или когда процесс был аварийно завершён из-за сбоя. Большая интенсивность сбоев при аутентификации свидетельствует о попытках подбора паролей, а аварийное завершение может указывать на попытки эксплуатации уязвимостей в sshd. https://undeadly.org/cgi?action=article;sid=20240607042157
В кодовую базу OpenSSH добавлена встроенная защита от автоматизированных атак по подбору паролей, в ходе которых боты пытаются угадать пароль пользователя, перебирая различные типовые комбинации. Для блокирования подобных атак в файл конфигурации sshd_config добавлен параметр PerSourcePenalties, позволяющий определить порог блокировки, срабатывающий при большом числе неудачных попыток соединений с одного IP-адреса. Новый механизм защиты войдёт в состав следующего выпуска OpenSSH и будет включён по умолчанию в OpenBSD 7.6.
При включении защиты процесс sshd начинает отслеживать статус завершения дочерних процессов, определяя ситуации когда не прошла аутентификация или когда процесс был аварийно завершён из-за сбоя. Большая интенсивность сбоев при аутентификации свидетельствует о попытках подбора паролей, а аварийное завершение может указывать на попытки эксплуатации уязвимостей в sshd. https://undeadly.org/cgi?action=article;sid=20240607042157
Если вам интересно узнать, что происходит в мире медных кабельных сетей Ethernet, почитать про самые современные технологии в этой области и понять, куда всё движется — добро пожаловать под кат.
https://habr.com/ru/companies/netologyru/articles/819229/
https://habr.com/ru/companies/netologyru/articles/819229/
Как загрузить, установить Office 2024 LTSC с сайта Microsoft и активировать навсегда?
https://habr.com/ru/articles/820343/
https://habr.com/ru/articles/820343/