Как восстановить LVM RAID 6 с LUKS2 и fscrypt: автоматически и вручную

Потеря логического тома LVM, сбой RAID 6 или случайное удаление файлов могут сделать данные на сервере Linux недоступными. Восстановление усложняется, если каждый том зашифрован с помощью LUKS2, а отдельные каталоги дополнительно защищены fscrypt. Рассмотрим два сценария, проверенных на тестовом стенде: автоматическое восстановление файлов из существующего LVM RAID 6 и ручную реконструкцию удалённого логического тома RAID 6, когда доступны только три из пяти компонентов массива.

Как восстановить LVM RAID 6 с LUKS2 и fscrypt: автоматически и вручную

Для восстановления воспользуемся программой Hetman RAID Recovery. Она анализирует метаданные LVM на дисках, определяет конфигурацию RAID, а после разблокировки LUKS2 и ввода учётных данных fscrypt позволяет найти и сохранить доступные для восстановления файлы. Если описание логического тома удалено из актуальных метаданных, можно попытаться вручную воссоздать конфигурацию по более ранним записям.

В ходе теста восстановление выполнялось на компьютере под управлением Windows 11. Программа Hetman RAID Recovery также доступна для Linux и macOS. Для расшифровки LUKS2 и fscrypt необходимы соответствующие действительные пароли или ключи; реконструкция RAID не отменяет шифрования.

Перейти к просмотру
Как восстановить LVM RAID 6 с LUKS2 и fscrypt: автоматически и вручную

Как восстановить LVM RAID 6 с LUKS2 и fscrypt: автоматически и вручную

Конфигурация LVM RAID 6 и сценарии потери данных

Тестовое хранилище создали на сервере Dell PowerEdge R710 под управлением Oracle Linux. Пять накопителей инициализировали как физические тома LVM (PV) и объединили в одну группу томов (VG). В этой группе создали три отдельных логических тома (LV) типа RAID 6. Каждый LV имеет собственную конфигурацию RAID 6 на тех же пяти физических томах.

ПараметрКонфигурация теста
СерверDell PowerEdge R710
Операционная системаOracle Linux
Система управления томамиLVM2
Физические тома5 дисков в общей VG
Логические тома3 независимых LV типа RAID 6
Шифрование каждого LVLUKS2
Файловая системаext4
Дополнительное шифрованиеfscrypt для каталога первого LV
Компьютер для восстановленияWindows 11
Oracle Linux Cockpit: пять физических томов LVM и три логических тома в vg_raid6

На первом томе создали обычный каталог и каталог, дополнительно зашифрованный с помощью fscrypt. Часть файлов из обоих каталогов удалили, остальные остались доступными. Этот сценарий позволит проверить автоматическое распознавание RAID, разблокировку двух уровней шифрования и поиск удалённых данных.

Результат команды fscrypt status для каталога General-fscrypt: AES_256_XTS и Unlocked Yes

Во втором сценарии с помощью Cockpit удалили третий логический том. На скриншоте ниже показан выбор команды Delete для этого тома; его отсутствие в текущей конфигурации LVM подтверждается на следующих этапах. Из пяти созданных образов дисков для анализа оставили только три. RAID 6 допускает потерю не более двух компонентов, поэтому реконструкция по-прежнему возможна, если сохранилось достаточно данных и параметры определены правильно.

Cockpit: меню с командой Delete для третьего логического тома raid6_part3

После потери данных прекратите запись на диски массива. Не создавайте новый LV на месте удалённого тома, не инициализируйте накопители и не запускайте перестроение RAID до создания образов и проверки конфигурации. Даже при корректной сборке RAID восстановление перезаписанных данных не гарантируется.

Подключение дисков и создание образов для восстановления

Hetman RAID Recovery может работать с непосредственно подключёнными дисками, их полными образами или блочными устройствами Linux-сервера через SSH. В нашем тесте сервер выключили, извлекли все пять дисков и создали их полные образы. Дальнейший анализ проводили на образах, не изменяя оригинальные накопители.

Для восстановления данных с повреждённых RAID-массивов, NAS-устройств и других многодисковых систем хранения.

Добавьте образы дисков в Hetman RAID Recovery. После подключения они появятся в разделе Mounted Disks. Если сервер работоспособен и предоставляет доступ к необходимым блочным устройствам, можно также подключиться через SSH.

Пять образов физических дисков в разделе Mounted Disks программы Hetman RAID Recovery

При наличии ошибок чтения лучше сначала создать максимально полный образ доступных секторов накопителя и работать с копией. Это сокращает число повторных обращений к потенциально неисправному оборудованию.

Автоматическое восстановление данных из LVM RAID 6

После добавления пяти образов программа проанализировала служебные метаданные LVM, определила принадлежность и порядок компонентов и реконструировала структуру логических томов. Обнаруженные тома отображаются в разделе RAID Volumes.

Hetman RAID Recovery автоматически обнаруживает логические тома LVM RAID 6

Выберите первый логический том. В панели свойств проверьте уровень RAID 6, наличие пяти компонентов и состояние OK. Для зашифрованного тома отображаются обозначение LUKS и статус Locked. Пока контейнер заблокирован, его внутренняя файловая система не определяется как обычный том ext4.

Свойства обнаруженного тома RAID 6 с пятью компонентами, показывающие LUKS и Locked

Разблокировка LUKS2 и fscrypt, сканирование ext4

Дважды щёлкните по зашифрованному тому. Программа предложит ввести пароль LUKS или выбрать файл ключа. Укажите действительные учётные данные и нажмите Unlock. После разблокировки станет доступен выбор способа анализа файловой системы.

Диалог ввода пароля LUKS2 или ключевого файла в Hetman RAID Recovery

Сначала выберите Fast Scan. На этом этапе программа распознаёт структуру файловой системы ext4 и ищет записи о файлах, в том числе удалённых. При анализе тестового тома Hetman RAID Recovery обнаружила каталог, дополнительно зашифрованный с помощью fscrypt, и запросила отдельную парольную фразу. Введите правильную парольную фразу fscrypt, чтобы продолжить анализ защищённого содержимого.

Отдельный запрос парольной фразы fscrypt при сканировании тома ext4

Пароль LUKS2 разблокирует зашифрованный том, но сам по себе не расшифровывает файлы в каталоге fscrypt. Для второго уровня защиты необходимы отдельные действительные учётные данные. Если быстрый анализ не обнаружил нужные файлы, запустите Full Analysis.

Быстрое сканирование файловой системы ext4 в Hetman RAID Recovery завершено

Поиск удалённых файлов и сохранение восстановленных данных

После завершения сканирования программа отобразила исходную структуру папок. В ней доступен как обычный каталог, так и содержимое каталога, защищённого fscrypt. Удалённые элементы отмечены крестиком, что позволяет отличить их от файлов, оставшихся на томе.

Существующие и удалённые файлы, найденные на LVM RAID 6, включая файлы внутри каталога fscrypt

Для поиска конкретного объекта воспользуйтесь командой Find File и введите полное имя файла или его часть. При необходимости включите учёт регистра и поиск точного совпадения. Перед копированием проверьте содержимое файлов в окне предварительного просмотра.

Предварительный просмотр содержимого найденного файла перед восстановлением

Выделите нужные файлы или папки, нажмите Recovery, выберите способ сохранения и папку назначения. Включите сохранение исходной структуры каталогов. Для восстановления используйте отдельный физический накопитель, а не другую папку на том же носителе.

Мастер Recovery программы Hetman RAID Recovery с параметром Restore folders structure

Не сохраняйте восстановленные файлы на исходные диски RAID 6: новые операции записи могут перезаписать другие потерянные данные. Наличие имени файла в результатах сканирования ещё не гарантирует полного восстановления его содержимого. Используйте предварительный просмотр и открывайте восстановленные копии для проверки.

Ручная реконструкция удалённого LVM RAID 6 по трём дискам

Во втором сценарии третий логический том удалили через Cockpit. В актуальной структуре LVM остались только первый и второй LV, а из исходных пяти образов доступны лишь три. Автоматическое распознавание удалённого тома по текущим метаданным уже не даёт нужного результата, поэтому найдём более раннюю запись о его конфигурации.

После удаления третьего логического тома программа видит только два оставшихся тома LVM

Дальнейшие действия выполняются в HEX-Editor и RAID Constructor. Необходимо последовательно определить UUID физических томов, нужную версию метаданных, порядок дисков, схему RAID и границы областей rimage.

Поиск UUID физических томов LVM в HEX-редакторе

Выберите первый образ диска и откройте HEX-Editor на правой панели. Нажмите значок поиска, выберите режим Search text, введите LABELONE и нажмите Find.

Сигнатура LABELONE указывает на служебную метку физического тома LVM. Рядом можно найти обозначение LVM2 001 и UUID соответствующего PV. Запишите имя образа и UUID, затем повторите поиск на всех трёх доступных образах. Не ориентируйтесь на фиксированный адрес: расположение метки может отличаться.

Поиск LABELONE, LVM2 001 и UUID физического тома в HEX-редакторе

Поиск более ранних метаданных LVM по seqno

На одном из образов снова откройте HEX-Editor и найдите текст seqno =. Сравните найденные записи метаданных группы томов: значение seqno обозначает версию конфигурации LVM. В нашем тесте актуальная версия имела seqno = 12, но уже не содержала описания удалённого третьего LV.

Найдите имя отсутствующего логического тома, добавив к запросу пробел и открывающую фигурную скобку. Это позволит найти начало блока его конфигурации, а не случайное совпадение в более длинном имени. Из подходящих записей выберите самую свежую, содержащую полное описание удалённого тома. В нашем случае это seqno = 11.

HEX-редактор показывает более раннюю запись метаданных LVM с seqno 11

Скопируйте полный текст выбранной версии метаданных в текстовый редактор. На основном скриншоте показано значение seqno = 11; для предыдущей проверки также использовалась запись с seqno = 12. Далее удобно сверять параметры по выбранной записи, не возвращаясь каждый раз к поиску в HEX-Editor.

Определение порядка дисков с использованием rimage и stripes

В скопированных метаданных найдите раздел physical_volumes и сопоставьте UUID каждого PV с UUID, найденными рядом с сигнатурами LABELONE. Так можно установить соответствие между образами физических дисков и внутренними именами LVM.

Затем изучите блоки rimage_0–rimage_4 (или их имена в метаданных конкретного тома). Поле stripes показывает, на каком физическом томе расположен каждый компонент. По этим записям для нашего тестового массива определили следующий порядок, представленный также на отдельном скриншоте рабочих заметок:

Позиция RAIDТестовый компонент
1Отсутствующий диск (Empty disk)
2Образ диска mSATA
3Образ диска на 60 ГБ
4Отсутствующий диск (Empty disk)
5Образ диска на 64 ГБ
Таблица соответствия pv0–pv4 пяти позициям RAID 6, включая три доступных образа и два отсутствующих диска

Этот порядок компонентов относится только к нашему тестовому массиву. Нельзя ориентироваться лишь на объём или интерфейс диска: для другой конфигурации необходимо заново установить соответствие UUID → PV → rimage → stripes.

Определение размера блока и границ rimage

В блоке метаданных удалённого LV находим тип RAID 6 и число компонентов — 5. Затем записываем параметры, необходимые для ручной реконструкции:

Параметр метаданныхТестовое значениеНазначение
stripe size1024 сектораРазмер блока компонента RAID
Размер сектора512 байтПреобразование из секторов в байты
Начало rimageФизический экстент 8562Начало области данных компонента
Длина rimage4267 экстентовРазмер области одного компонента
extent_size8192 сектораРазмер физического экстента LVM
pe_start2048 секторовСмещение до начала области экстентов
Рабочие заметки и расчёты параметров LVM: stripe size, границы rimage, размер экстента и pe_start

На основном скриншоте параметры сведены в рабочих заметках; в исходных метаданных указано stripe_size = 1024. Размер блока для поля Block size рассчитываем так: 1024 × 512 = 524288 bytes = 512 KiB. Размер физического экстента: 8192 × 512 = 4194304 bytes = 4 MiB. Начало области экстентов: 2048 × 512 = 1048576 bytes = 1 MiB.

Расчёт Offset и Size для RAID Constructor

В нашем случае PV занимали диски целиком. Поэтому смещение области rimage относительно начала соответствующего полного образа диска равно сумме pe_start и произведения номера начального физического экстента на размер экстента:

Offset = 8562 × 4194304 + 1048576 = 35912679424 bytes.

Size = 4267 × 4194304 = 17897095168 bytes.

Вычисление смещения rimage 35912679424 байт и размера 17897095168 байт для LVM RAID 6

Эти значения относятся к конкретному тестовому стенду. Если PV находится внутри раздела, а не занимает весь физический диск, при расчёте смещения относительно начала полного образа учтите также начальное смещение раздела. Не применяйте приведённые числа к другому массиву без проверки его метаданных.

Ручная сборка RAID 6 в Hetman RAID Constructor

Вернитесь в главное окно программы, нажмите RAID Constructor, выберите Manual mode и перейдите к настройкам. Введите параметры, полученные из метаданных LVM:

Поле RAID ConstructorЗначение для нашего массива
RAID typeRAID 6
Block orderRight Asynchronous
Block size512 КиБ
Number of components5 позиций
Offset для доступных образов35912679424 байта
Size для доступных образов17897095168 байт

В нашем тесте схеме LVM RAID 6 соответствовал вариант Right Asynchronous в RAID Constructor. Для массива с другой конфигурацией необходимо проверить фактическую схему распределения блоков чётности, а не считать этот вариант универсальным.

Добавьте три доступных образа и два элемента Empty disk. Расположите их в порядке, определённом по метаданным: пустой диск, образ mSATA, образ диска на 60 ГБ, пустой диск, образ диска на 64 ГБ. В свойствах каждого из трёх доступных образов введите рассчитанные значения Offset и Size. Для Empty disk физическое смещение указывать не требуется. Нажмите Add.

Ручная реконструкция LVM RAID 6 из трёх образов дисков и двух элементов Empty disk в RAID Constructor

Проверка восстановленного тома LUKS2

После добавления конфигурации реконструированный RAID появился в главном окне Hetman RAID Recovery. Программа обнаружила внутри него том объёмом около 50 ГБ с сигнатурой LUKS. Это важный признак того, что порядок компонентов, схема RAID, размер блока и смещения согласованы между собой.

Восстановленный RAID 6 из трех образов дисков, содержащий обнаруженный том LUKS объемом примерно 50 ГБ

Следующий этап — разблокировать обнаруженный том LUKS2 с помощью пароля или файла ключа, просканировать ext4 и проверить файлы перед копированием. Для удалённого третьего логического тома в нашем тесте продемонстрировано обнаружение LUKS после ручной реконструкции; результаты дальнейшей расшифровки и восстановления файлов с этого тома отдельно не показаны.

Наличие сигнатуры LUKS служит признаком корректной реконструкции, но само по себе не гарантирует целостности всех блоков, успешной разблокировки контейнера или восстановления каждого файла. Проверяйте результат посредством разблокировки, анализа файловой системы и предварительного просмотра данных.

Заключение

На тестовом сервере под управлением Oracle Linux программа Hetman RAID Recovery автоматически распознала существующий LVM RAID 6 из пяти компонентов, распознала и разблокировала LUKS2, а после ввода парольной фразы fscrypt предоставила доступ к дополнительно защищённому каталогу. Fast Scan обнаружил как сохранившиеся, так и удалённые файлы.

Во втором сценарии после удаления логического тома и потери двух из пяти компонентов удалось найти более раннюю версию метаданных LVM, рассчитать параметры rimage и вручную собрать RAID 6. Внутри реконструированного массива программа обнаружила том LUKS. При практическом восстановлении важно работать с образами дисков, иметь необходимые ключи расшифровки и сохранять найденные файлы на отдельный накопитель.

Dmytriy Zhura

Автор: , Технический писатель

Дмитрий Жура – автор и один из IT-инженеров компании Hetman Software. Имеет почти 10 летний опыт работы в IT-сфере: администрирование и настройка серверов, установка операционных систем и различного программного обеспечения, настройка сети, информационная безопасность, внедрения и консультация по использованию специализированного ПО. Является экспертом в области восстановления данных, файловых систем, устройств хранения данных и RAID массивов.

Andrey Mareev

Редактор: , Технический писатель

В далеком 2005 году, я получил диплом по специальности «Прикладная математика» в Восточноукраинском национальном университете. А уже в 2006 году, я создал свой первый проект по восстановлению данных. С 2012 года, начал работать в компании «Hetman Software», отвечая за раскрутку сайта, продвижение программного обеспечения компании, и как специалист по работе с клиентами.

Рекомендуем для вас