Я устроился в айти-компанию системным администратором в прошлом году. До этого уже работал сисадмином, но опыт был не очень большой. Как мне позже рассказал мой руководитель, из всех кандидатов на работу взяли именно меня, потому что в конце собеседования я попросил повторить и записал вопросы, на которые не ответил. Ему показалось, что это признак большой ответственности, и я тот человек, который докопается до решения задачи в любом случае, а нехватку опыта и знаний компенсирую усердием:)

Когда я вышел на работу, на меня свалилась инфраструктура большой компании: с серверами виртуализации, контроллером домена, серверами баз данных и шлюзом — магическим pfsense на ещё более магической freebsd. А ещё моргающий красненьким индикатор диска на одном из серверов виртуализации. А в штате я был совсем один!

Работы поначалу было так много, что голова болела от новой информации, я погружался в каждую проблему и делал всё, чтобы решить каждую заявку. На некоторые проблемы уходил не один день, когда ни один совет с форумов не срабатывал и приходилось по второму кругу идти по вкладкам в интернете в поисках решения. А через какое-то время индикатор на диске сервера виртуализации уже перестал моргать и теперь светился красным постоянно. И хоть я работал много и усердно, старался за всем успеть и уследить, но за этим диском я все-таки не уследил. Но первый вышел из строя и не он...

В один из обычных дней я пришёл на работу и увидел, что на шару (файловую помойку) нет доступа. После неудачной попытки пингануть сервер я пошёл в серверную и увидел, что тот не может стартануть: он по настроенному самоподъему включался на несколько секунд и неожиданно отключался; и так по кругу. Блоку питания пришла хана. А вместе с ним слетели и настройки программного рейда: диски перешли в статус offline member, а рейд статус — failed.

И вот тут я впервые понял, что у меня спустя полгода работы нет на руках ни одного бэкапа ни одного сервака!

Рейд восстанавливал, отсоединяя все диски, включая сервак, потом выключение, все диски подключил и опять вкл. После проделанных манипуляций рейд прошёл ребилд, и работа восстановилась. Жаль, нервные клетки ребилд не умеют проделывать :) Сбор информации, попытки слить образы, консультации со специалистами по восстановлению заняли неделю.

Когда всё поутихло, я твёрдо решил, что без бэкапов больше работать не собираюсь, но не успел! Оказывается, я пропустил момент, когда на том самом сервере виртуализации с красным индикатором диска начал моргать второй диск! Сломя голову начал пытаться снимать бэкап со всего сервера, как вдруг этот второй диск подыхает прямо во время резервного копирования! Это был крах!
Порядка 15 виртуальных машин, среди которых контроллер домена, электронный документооборот компании за 10 лет работы, и на других —действующие проекты с заказчиками...

Конечно, я ответственность всю беру на себя, хоть и говорил о том, что срочно нужно место для бэкапов, всё равно мог своими силами организовать банку и потихоньку сливать туда резервные копии.
Много узнал про 5 рейд. В частности, что, когда выходит из строя 2 диска из 4, ломается весь рейд. Что ребилд в такой ситуации ни в коем случае делать нельзя.

Смогли восстановить информацию только с помощью профильной компании, которая занимается восстановлением. Когда они мне позвонили после диагностики и сказали, что получилось слить образы и файловая структура не пострадала, я был счастлив!

Не нужно вам испытывать такие нервы. Ребят, делайте бэкапы! Я рад, что появилась возможность поделиться этой историей, когда практически друг за другом чуть не умерли 2 важных для организации ресурса и оба раза мне повезло! Но связанный с этими событиями стресс я запомню надолго.