Продвинутая работа с логами в Linux

journalctl - Работа со структурированными логами

Журнал событий, это компонент systemd, который захватывает сообщения Syslog, логи ядра, все события при инициализации системы (RAM, диск, boot, STDOUT/STDERR для всех сервисов), индексирует их и затем предоставляет удобной пользовательский интерфейс для поиска и фильтрации логов. Журнал (systemd journal) можно использовать вместе или вместо syslog или syslog-ng.

Утилита командной строки journalctl, если сравнивать ее с традиционным инструментами для работы с логами в UNIX (tail, grep, sed, awk) более широкие возможности.

Давайте рассмотрим основные возможности которые предоставляет журнал systemd и способы их применения.

https://habr.com/ru/articles/749714/

👉 @sys_adminos

XSuspender

Когда окно приложения теряет фокус, XSuspender пытается сопоставить его с одним из правил в своей конфигурации. Если совпадение найдено, приложению отправляется сигнал SIGSTOP (предотвращая дальнейшее использование процессорного времени). При восстановлении фокуса окна процесс бесшовно продолжается с того места, где был приостановлен.

Преимущества:
▫️Сокращение использования батареи
▫️Уменьшите задержку взаимодействия на слабых процессорах.
▫️Уменьшите шум вентилятора процессора.
▫️Избегайте приложений, которые замышляют что-то за вашей спиной.
▫️Предварительно настроен для последних версий популярного программного обеспечения: Chromium, Firefox, IDE JetBrains, qBittorrent, VirtualBox...

https://github.com/kernc/xsuspender

👉 @sys_adminos

🚀 Подборка полезных IT каналов в Max


Системное администрирование, DevOps 📌

https://max.ru/i_odmin Все для системного администратора
https://max.ru/bash_srv Bash Советы
https://max.ru/sysadminof Книги для админов, полезные материалы
https://max.ru/i_odmin_book Библиотека Системного Администратора
https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др.
https://max.ru/tipsysdmin Типичный Сисадмин

1C разработка 📌
https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С

Программирование C++📌
https://max.ru/cpp_lib Библиотека C/C++ разработчика

Программирование Go📌
https://max.ru/golang_lib Библиотека Go (Golang) разработчика

Программирование React📌
https://max.ru/react_lib React

Программирование Python 📌
https://max.ru/python_of Python академия.
https://max.ru/BookPython Библиотека Python разработчика

Java разработка 📌
https://max.ru/bookjava Библиотека Java разработчика

GitHub Сообщество 📌
https://max.ru/githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://max.ru/database_info Все про базы данных

Фронтенд разработка 📌
https://max.ru/frontend_1 Подборки для frontend разработчиков

Библиотеки 📌
https://max.ru/programmist_of Книги по программированию
https://max.ru/proglb Библиотека программиста
https://max.ru/bfbook Книги для программистов

Программирование 📌
https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций
https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT
https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻

Шутки программистов 📌
https://max.ru/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://max.ru/thehaking Канал о кибербезопасности
https://max.ru/xakkep_1 Хакер Free

Книги, статьи для дизайнеров 📌
https://max.ru/odesigners Статьи, книги для дизайнеров

Математика 📌
https://max.ru/Pomatematike Канал по математике
https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике

Вакансии 📌
https://max.ru/progjob Вакансии в IT

Мир технологий 📌
https://max.ru/mir_teh Канал для любознательных


Бонус 📌
https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга
https://max.ru/mockva_life Свежие новости Москвы

Утилита для бэкапов Borgbackup

Дедуплицирующий архиватор с сжатием и защищенным шифрованием.

BorgBackup дает вам:
Экономия места при хранении резервных копий.
Безопасное, аутентифицированное шифрование.
Сжатие: lz4, zstd, zlib, lzma или без него.
Возможность монтирования резервных копий с помощью FUSE.
Простая установка на различных платформах: Linux, macOS, BSD, ...
Свободное программное обеспечение (лицензия BSD).
Поддерживается большим и активным сообществом разработчиков с открытым исходным кодом.

GitHub https://github.com/borgbackup/borg

Demo https://www.borgbackup.org/demo.html

👉 @sys_adminos

Золотой софт 2003 №6

👉 @sys_adminos

🚀 Подборка полезных IT каналов в Max


Системное администрирование, DevOps 📌

https://max.ru/i_odmin Все для системного администратора
https://max.ru/bash_srv Bash Советы
https://max.ru/sysadminof Книги для админов, полезные материалы
https://max.ru/i_odmin_book Библиотека Системного Администратора
https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др.
https://max.ru/tipsysdmin Типичный Сисадмин

1C разработка 📌
https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С

Программирование C++📌
https://max.ru/cpp_lib Библиотека C/C++ разработчика

Программирование Go📌
https://max.ru/golang_lib Библиотека Go (Golang) разработчика

Программирование React📌
https://max.ru/react_lib React

Программирование Python 📌
https://max.ru/python_of Python академия.
https://max.ru/BookPython Библиотека Python разработчика

Java разработка 📌
https://max.ru/bookjava Библиотека Java разработчика

GitHub Сообщество 📌
https://max.ru/githublib Интересное из GitHub

Базы данных (Data Base) 📌
https://max.ru/database_info Все про базы данных

Фронтенд разработка 📌
https://max.ru/frontend_1 Подборки для frontend разработчиков

Библиотеки 📌
https://max.ru/programmist_of Книги по программированию
https://max.ru/proglb Библиотека программиста
https://max.ru/bfbook Книги для программистов

Программирование 📌
https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций
https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT
https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻

Шутки программистов 📌
https://max.ru/itumor Шутки программистов

Защита, взлом, безопасность 📌
https://max.ru/thehaking Канал о кибербезопасности
https://max.ru/xakkep_1 Хакер Free

Книги, статьи для дизайнеров 📌
https://max.ru/odesigners Статьи, книги для дизайнеров

Математика 📌
https://max.ru/Pomatematike Канал по математике
https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике

Вакансии 📌
https://max.ru/progjob Вакансии в IT

Мир технологий 📌
https://max.ru/mir_teh Канал для любознательных


Бонус 📌
https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга
https://max.ru/mockva_life Свежие новости Москвы

Шпаргалка по повышению привилегий в Linux

Эта шпаргалка предназначена для тех, кто готовится к OSCP, чтобы помочь им понять различные методы эскалации привилегий на машинах под управлением Linux и CTF с примерами.

https://github.com/Ignitetechnologies/Linux-Privilege-Escalation

👉 @sys_adminos

Http logs viewer 💪

HTTP Logs Viewer (ранее Apache Logs Viewer) — это бесплатный и мощный инструмент, который позволяет с легкостью отслеживать, просматривать и анализировать логи Apache/IIS/nginx. Он предоставляет функции поиска и фильтрации логов, выделяя различные HTTP-запросы на основе их кода состояния. Также имеется возможность создания отчетов, благодаря чему вы можете за несколько секунд сгенерировать круговую или столбчатую диаграмму. В дополнение к этому, доступны статистические данные, где можно увидеть самые популярные запросы, основные ошибки, количество кодов состояния, общий объем переданных данных и многое другое.

https://www.apacheviewer.com/

👉 @sys_adminos

Недавно мы писали про find, сегодня поговорим про grep в Linux как инструмент для администрирования

grep — утилита командной строки, используется для поиска и фильтрации текста в файлах, на основе шаблона, который (шаблон) может быть регулярным выражением.

Примеры использования.

grep iodmin

grep iodmin file.txt поиск iodmin в файле file.txt, с выводом полностью совпавшей строкой
grep -o iodmin file.txt поиск iodmin в файле file.txt и вывод только совпавшего куска строки
grep -i iodmin file.txt игнорирование регистра при поиске
grep -bn iodmin file.txt показать строку (-n) и столбец (-b), где был найден iodmin
grep -v iodmin file.txt инверсия поиска (найдет все строки, которые не совпадают с шаблоном iodmin)
grep -A 3 iodmin file.txt вывод дополнительных трех строк, после совпавшей
grep -B 3 iodmin file.txt вывод дополнительных трех строк, перед совпавшей
grep -C 3 iodmin file.txt вывод три дополнительные строки перед и после совпавшей
grep -r iodmin $HOME рекурсивный поиск по директории $HOME и всем вложенным
grep -c iodmin file.txt подсчет совпадений
grep -L iodmin *.txt вывести список txt-файлов, которые не содержат iodmin
grep -l iodmin *.txt вывести список txt-файлов, которые содержат iodmin
grep -w iodmin file.txt совпадение только с полным словом iodmin
grep -f iodmins.txt file.txt поиск по нескольким iodmin из файла iodmins.txt, шаблоны разделяются новой строкой
grep -I iodmin file.txt игнорирование бинарных файлов
grep -v -f file2 file1 > file3 вывод строк, которые есть в file1 и нет в file2
grep -in -e 'python' `find -type f` рекурсивный поиск файлов, содержащих слово python с выводом номера строки и совпадений
grep -inc -e 'test' find -type f | grep -v :0 рекурсивный поиск файлов, содержащих слово python с выводом количества совпадений
grep . *.py вывод содержимого всех py-файлов, предваряя каждую строку именем файла
grep "Http404" apps/**/*.py рекурсивный поиск упоминаний Http404 в директории apps в py-файлах

Полный мануал по grep есть тут

👉 @sys_adminos

Команды Linux для управления файлами

1. cat
Когда команда используется с одним текстовым файлом (вот так: cat путь_к_файлу), она отображает его содержимое в окне терминала. Если указать два файла и больше (cat путь_к_файлу_1 путь_к_файлу_2), она склеит их. А если ввести cat путь_к_файлу_1 > новый_файл — объединит содержимое упомянутых файлов в новый документ.

2. chmod
Позволяет изменять права доступа к файлу. Может пригодиться, если вы хотите внести изменения в системный файл.

3. chown
Изменяет владельца файла или каталога. Следует выполнять с правами суперпользователя. Например, chown user:group ваш_файл изменит владельца и группу файла на заданные.

4. file
Выводит информацию об указанном файле.

5. nano
Открывает простой текстовый редактор. Можно создать новый текстовый файл или открыть существующий: nano путь_к_файлу.

6. rename
Переименовывает один или несколько файлов. Команду можно использовать и для массового переименования по маске.

7. touch
Изменяет дату последнего открытия или модификации указанного файла.

8. tar
Команда для создания или извлечения архивов tar. Например, tar -cvf архив.tar ваши_файлы создаст архив архив.tar из указанных документов, а tar -xvf архив.tar извлечёт их.

9. zip
Аналогичным образом распаковывает и сжимает архивы ZIP. Например, zip -r9 архив. zip папка создаст архив архив. zip, содержащий все файлы и подкаталоги из папки, с максимальным уровнем сжатия.

10. mkdir
Создаёт новую папку в текущей терминальной или в указанной папке: mkdir путь_к_папке.

11. rmdir
Удаляет упомянутую папку.

12. rm
Удаляет файлы. Может работать как с отдельными элементами, так и с группой, соответствующей определённым признакам.

13. cp
Создаёт копию нужного файла в папке терминала: cp путь_к_файлу. Также вы можете указать назначение cp путь_к_файлу путь_для_копии.

14. mv
Перемещает файл из одной папки в другую. Вы можете указать имя для перемещаемого файла. Забавно, но в Linux эта команда может использоваться и для переименования документов. Просто укажите ту же папку, где находится файл, и другое название.

15. find
Поиск файлов по определённым критериям, таким как имя, тип, размер, владелец, дата создания и модификации.

16. grep
Поиск текстовых файлов, содержащих определённые строки. Критерии очень гибко настраиваются.

17. locate
Поиск файлов и папок, чьи названия подходят запросу, и отображение их путей в файловой системе.

👉 @sys_adminos

Большое руководство по сетям и шифрованию трафика в Linux (часть 1)

В этой статье я бы хотел уделить внимание такой вещи как шифрование трафика на Linux системах. Наверно каждый из нас прекрасно понимает, насколько важна защита нашей приватности. Ведь в эпоху когда многие компании собирают данные, а иногда хакеры могут перехватить наш трафик, это становится особенно важно. Просто необходимо позаботиться о безопасности своих данных. Например, быть уверенным, что какая-либо корпоративная сеть не прослушивается злоумышленниками. Информационная безопасность сегодня — это не просто мода, а насущная необходимость. Постоянно растет киберпреступность, и защита трафика от перехвата — это основной аспект цифровой жизни человека или бизнеса.

В рамках этой статьи мы рассмотрим основные методы шифрования, которые можно использовать в Linux, и разберем как их внедрить. Мы попытаемся разобраться как работает криптография на уровне протоколов, как работает сеть в Linux, что такое сквозное шифрование и виртуальные частные сети.

Особенно эта статья будет актуальна для людей, которых заботит конфиденциальность и защита данных, в том числе для корпораций.

https://habr.com/ru/companies/timeweb/articles/832302/

👉 @sys_adminos

Большое руководство по сетям и шифрованию трафика в Linux (часть 2)

В этой статье я бы хотел уделить внимание такой вещи как шифрование трафика на Linux системах. Наверное, каждый из нас прекрасно понимает, насколько важна защита нашей приватности. Ведь в эпоху, когда многие компании собирают данные, а иногда хакеры могут перехватить наш трафик, это становится особенно важно. Просто необходимо позаботиться о безопасности своих данных. Например, быть уверенным, что какая-либо корпоративная сеть не прослушивается злоумышленниками. Информационная безопасность сегодня — это не просто мода, а насущная необходимость. Постоянно растет киберпреступность, и защита трафика от перехвата — это основной аспект цифровой жизни человека или бизнеса.

Эта часть - вторая, первую вы можете прочитать по ссылке. А в этой части мы рассмотрим что такое прокси и какие типы бывают, что такое VPN, как устроено сквозное шифрование.

И соотвественно, в этой статье не будет упоминаться то, про что я уже писал в первой. Начнем, господа присяжные заседатели!

https://habr.com/ru/companies/timeweb/articles/836062/

👉 @sys_adminos

Как сделать безопасную загрузку с полностью зашифрованным диском на Linux без загрузчика на UEFI

Наша новая статья — для довольно искушённых пользователей Linux. В ней DevOps-инженер Алексей Гаврилов разобрал, как установить Debian или аналогичный дистрибутив на полностью зашифрованный диск без загрузчика на UEFI с включённым Secure Boot.

После завершения установки вы получите включённый Secure boot с использованием личных ключей для подписи EFI-файлов, подписанные ключом файл ядра и initramfs, а также зашифрованные разделы диска за вычетом EFI boot. Это позволит уменьшить возможность векторного взлома ноутбука и усложнит жизнь потенциальному взломщику, поскольку в его распоряжении будут только подписанные EFI-файлы.

https://habr.com/ru/companies/flant/articles/835778/

👉 @sys_adminos

Процесс загрузки Linux

Диаграмма ниже показывает этапы:

Шаг 1 - Когда мы включаем питание, загружается прошивка BIOS (Basic Input/Output System) или UEFI (Unified Extensible Firmware Interface) из энергонезависимой памяти и выполняет POST (Power On Self Test).

Шаг 2 - BIOS/UEFI обнаруживает устройства, подключенные к системе, включая процессор, оперативную память и устройства хранения данных.

Шаг 3 - Выбирается устройство для загрузки операционной системы. Это может быть жесткий диск, сетевой сервер или CD-ROM.

Шаг 4 - BIOS/UEFI запускает загрузчик (GRUB), который предоставляет меню для выбора операционной системы или функций ядра.

Шаг 5 - После подготовки ядра происходит переход в пользовательское пространство. Ядро запускает systemd как первый процесс в пользовательском пространстве, который управляет процессами и службами, проверяет оставшееся оборудование, монтирует файловые системы и запускает рабочую среду.

Шаг 6 - systemd по умолчанию активирует target unit при загрузке системы. Также выполняются другие анализирующие модули.

Шаг 7 - Система выполняет набор скриптов для настройки среды.

Шаг 8 - Пользователям отображается окно входа в систему. Система готова к работе.

👉 @sys_adminos

Совет по Linux 💡

Найдите все нерабочие символьные ссылки в вашей системе с помощью:

find . -xtype l

👉 @sys_adminos

😀

👉 @sys_adminos