Як відновити дані віртуальної машини bhyve у FreeBSD: IMG, ZVOL і снапшоти ZFS

Як повернути файли віртуальної машини bhyve у FreeBSD, якщо її диски IMG і ZVOL стали недоступними після видалення пулу ZFS? А що робити, коли файли видалені безпосередньо у гостьовій Windows, але зберігся снапшот? На прикладі ZFS RAIDZ2 із п’яти накопичувачів покажемо, як Hetman RAID Recovery знаходить знищений пул за трьома доступними дисками, відкриває образи IMG, звичайні та sparse-томи ZVOL і дістає дані з попереднього стану віртуальних дисків без запуску ВМ.

Як відновити дані віртуальної машини bhyve у FreeBSD: IMG, ZVOL і снапшоти ZFS

Відновлення даних гіпервізора bhyve має два рівні: спочатку потрібно отримати доступ до сховища FreeBSD, а потім — до файлової системи всередині віртуального диска. Втрата ZFS-пулу й видалення файлів у гостьовій ОС — різні проблеми, тому розглянемо їх окремо.

У першому сценарії знищено пул pool3 та видалено його GPT-розділи, але файли всередині копій віртуальних дисків не видаляли. У другому сценарії pool2 залишився доступним, проте тестові файли у Windows 10 видалили через Shift+Delete. Їхню попередню версію збережено у снапшоті ZFS.

Для аналізу використовуємо Hetman RAID Recovery на комп’ютері з Windows. Програма також доступна для Linux і macOS.

Перейти до перегляду
Як відновити дані ВМ bhyve у FreeBSD: IMG, ZVOL і видалені файли

Як відновити дані ВМ bhyve у FreeBSD: IMG, ZVOL і видалені файли

Тестове середовище: FreeBSD, bhyve та ZFS RAIDZ2

На сервері з FreeBSD налаштували гіпервізор bhyve і віртуальну машину з Windows 10. Керування її дисками показано в інтерфейсі bhyvemgr. Сховище складається з п’яти накопичувачів, на кожному з яких створено окремі GPT-розділи для трьох незалежних пулів ZFS RAIDZ2. Кожен пул має один п’ятидисковий RAIDZ2 vdev.

bhyvemgr у FreeBSD: створення ВМ windows10 з Windows 10.x та системним IMG-диском розміром 20 GB

У вікні створення ВМ bhyvemgr видно назву windows10, тип Windows 10.x і системний дисковий образ на 20 ГБ. Після додавання решти накопичувачів гостьова Windows показувала чотири диски у Disk Management — це дозволяє зіставити конфігурацію ВМ із дисками, які далі шукатимемо у ZFS.

Гостьова Windows 10: Disk Management показує чотири віртуальні диски
ХарактеристикаЗначення в тесті
ОС сервераFreeBSD
Гіпервізор та гостьова ОСbhyve, Windows 10
Фізичні накопичувачі5 дисків, 3 з них використовували для відновлення
Топологія ZFS3 пули; кожен — окремі GPT-розділи на 5 дисках, один RAIDZ2 vdev
Сценарій pool3Видалено пул і його GPT-розділи; копії віртуальних дисків містять тестові файли
Сценарій pool2Є рекурсивний снапшот, зроблений до видалення файлів у Windows

До віртуальної машини підключено чотири диски: два IMG та два ZVOL, один із яких створено як sparse ZVOL. IMG зберігається як файл образу, тоді як ZVOL є блочним томом ZFS. Їхні типи й розміри важливі, адже під час аналізу програма показує IMG як файли, а ZVOL — як окремі томи, вміст яких можна відкрити для підключення.

Диск bhyveФорматРозмірПризначення
disk0.imgIMG20 ГБСистемний диск Windows 10
disk1.imgIMG1 ГБДодатковий диск із тестовими файлами
disk0Sparse ZVOL1 ГБДодатковий розріджений блоковий том
disk1ZVOL2 ГБДодатковий звичайний блоковий том
FreeBSD Control Panel: GPT-розділи pool1_d1, pool2_d1 і pool3_d1 на одному з п’яти дисків

На одному з дисків у FreeBSD Control Panel видно три розділи типу freebsd-zfs із мітками pool1_d1, pool2_d1 та pool3_d1. Це частини трьох окремих пулів, а не три самостійні RAID-масиви на одному диску: відповідні розділи інших накопичувачів разом утворювали п’ятидискові RAIDZ2 vdev.

Перший сценарій: видалений пул pool3

У pool3 попередньо розмістили копії дисків ВМ із тестовими файлами. У каталозі /pool3/bhyvemgr/windows10/ зберігалися disk0.img, disk1.img і конфігураційні файли bhyve; блочні томи ZVOL зберігалися у структурах ZFS. Тому надалі в Hetman RAID Recovery шукатимемо як файли IMG, так і об’єкти ZVOL.

Thunar у FreeBSD: у /pool3/bhyvemgr/windows10/ лежать disk0.img, disk1.img та конфігураційні файли bhyve

Потім у тестовому середовищі виконали zpool destroy pool3 і видалили відповідні GPT-розділи на всіх п’яти накопичувачах. Наприклад, у FreeBSD Control Panel видно підтвердження команди gpart delete -i 3 mfid1 для третього розділу одного з дисків. Після цих дій штатний доступ FreeBSD до копій віртуальних дисків було втрачено.

Термінал FreeBSD: виконана команда zpool destroy pool3 для тестового пулу
FreeBSD Control Panel: підтвердження gpart delete -i 3 mfid1 для розділу pool3_d1

Команди zpool destroy і gpart delete використано тільки для моделювання втрати даних. Не виконуйте їх на сховищі, з якого плануєте відновлювати інформацію.

У цьому сценарії файли всередині копій IMG і ZVOL не видаляли. Завдання — знайти колишній пул, отримати образи віртуальних дисків та прочитати їхній вміст.

Другий сценарій: видалені файли та снапшот pool2

На pool2 створили рекурсивний снапшот ZFS під назвою snapshot_0, який охопив кореневий датасет і дочірні датасети, зокрема ZVOL. Перелік його складових переглянули командою zfs list -t snapshot -r pool2. У виводі видно, зокрема, pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 і pool2/bhyvemgr/windows10/disk1@snapshot_0. Ці записи фіксують стан віртуальних дисків до подальшого видалення файлів.

Термінал FreeBSD: zfs list -t snapshot -r pool2, знімки snapshot_0 для windows10, disk0 і disk1

Після створення снапшота запустили Windows 10 із дисками на pool2, видалили тестові файли клавішами Shift+Delete і штатно вимкнули ВМ. Поточні IMG і ZVOL залишилися у пулі, а попередній стан зберігся у снапшоті.

Гостьова Windows 10: видалення тестових файлів із дисків bhyve через Shift+Delete

Підключення трьох накопичувачів і автоматичне визначення RAIDZ2

Для відновлення використовуємо три з п’яти фізичних дисків сервера. Підключаємо їх до комп’ютера з Windows та запускаємо Hetman RAID Recovery. Залежно від інтерфейсу фізичне підключення можна організувати безпосередньо або через відповідний адаптер чи док-станцію.

Для відновлення даних із пошкоджених RAID-масивів, NAS-пристроїв та інших багатодискових систем зберігання.

Якщо Windows пропонує ініціалізувати або відформатувати диски, відмовтеся. Не створюйте нові розділи й не записуйте дані на накопичувачі, з яких потрібно відновити інформацію.

Після запуску програма автоматично виявила конфігурації ZFS RAIDZ2, зокрема видалений pool3. Вибираємо його на головному екрані.

Hetman RAID Recovery: автоматично знайдений видалений ZFS-пул pool3 типу RAIDZ2

Праворуч відображаються параметри File system — ZFS, RAID type — RAIDZ2, а у списку RAID Disks — три доступні диски та два рядки Empty disk. Знайдений pool3 відображається як RAID-том розміром близько 90 ГБ. Розмір кожного учасника у цьому списку стосується області, виділеної під pool3, а не місткості цілого SSD.

Властивості pool3: ZFS RAIDZ2, три доступні учасники і два Empty disk у RAID Disks

RAIDZ2 використовує подвійний паритет і допускає відсутність двох учасників одного vdev. У нашому п’ятидисковому тесті трьох доступних накопичувачів та вцілілих службових структур вистачило, щоб визначити конфігурацію без ручного введення параметрів.

Це результат конкретного тесту, а не гарантія відновлення будь-якого знищеного ZFS-пулу. Якщо потрібні метадані перезаписані або наявних дисків недостатньо, результат може бути іншим.

Відновлення віртуальних дисків IMG і ZVOL із видаленого pool3

КРОК 1. Аналіз pool3 та пошук дисків bhyve

Двічі клацаємо знайдений pool3, у майстрі вибираємо Fast scan і запускаємо аналіз. Програма використовує збережені метадані ZFS, щоб відтворити доступне дерево каталогів. У нашому тесті швидкого аналізу вистачило для пошуку дисків ВМ.

Hetman RAID Recovery: Fast scan пулу pool3 завершено, показано результати аналізу

У результатах відкриваємо bhyvemgr → windows10. Серед знайдених об’єктів є disk0.img, disk1.img та два томи ZVOL з іменами disk0 і disk1. Усередині відповідного тому програма показує об’єкт із розширенням .zvol.

Hetman RAID Recovery: у pool3/bhyvemgr/windows10 знайдено disk0.img, disk1.img та ZVOL disk0 і disk1

Щоб побачити вміст блочного тому, відкриваємо disk0 у тому самому дереві. Усередині програма показує disk0.zvol як окремий об’єкт із розміром близько 1 ГБ. Аналогічно у disk1 знаходиться disk1.zvol на 2 ГБ. Важливо не плутати ці об’єкти з файлами disk0.img і disk1.img.

Hetman RAID Recovery: усередині disk0 знайдено об’єкт disk0.zvol розміром 1 ГБ

КРОК 2. Збереження IMG та звичайного ZVOL

Щоб за один раз зберегти кілька дисків із різних рівнів дерева, клацаємо правою кнопкою миші на disk1.img і вибираємо Add For Recovery. Образ з’являється у правій панелі Recovery list. Відкриваємо звичайний том disk1 та перетягуємо його об’єкт disk1.zvol до того самого списку.

Recovery list: додані disk1.img і disk1.zvol для одночасного збереження

Перевіряємо список, натискаємо Recover і в майстрі обираємо Save to hard disk. Указуємо каталог на окремому накопичувачі з достатнім вільним місцем. IMG зберігається як файл образу, а вміст ZVOL — як файл, який надалі можна підключити для аналізу.

Hetman RAID Recovery: майстер Save to hard disk із вибраною папкою на іншому накопичувачі

Не записуйте відновлені образи або файли на ті самі фізичні диски ZFS RAIDZ2. Новий запис може перезаписати дані, які ще потрібно прочитати.

КРОК 3. Підключення IMG та відновлення файлів Windows

Після збереження образу натискаємо Mount Disk, вибираємо формат RAW і вказуємо файл disk1.img. У розділі Mounted Disks з’явиться окремий диск із його розділами. У нашому тесті програма розпізнала розділ із файловою системою NTFS. Відкриваємо його та запускаємо Fast scan.

Hetman RAID Recovery: Mount Disk і вибір збереженого disk1.img у діалозі файлів
Hetman RAID Recovery: disk1.img у Mounted Disks і його NTFS-розділ після підключення RAW

Після аналізу переглядаємо структуру папок NTFS, зокрема Lost and Found та General level 1, і знаходимо тестові документи, зображення та відео. Виділяємо потрібний об’єкт і перевіряємо його в панелі Preview. На кадрах видно попередній перегляд графічного файлу; це дозволяє оцінити його вміст ще до збереження.

Hetman RAID Recovery: папки Lost and Found, System Data та General level 1 після аналізу IMG
Hetman RAID Recovery: Preview зображення серед знайдених файлів підключеного диска IMG

Для пошуку за іменем використовуємо Find File. У розширених налаштуваннях Advanced можна задати діапазон розмірів або дат і пошук серед прихованих чи системних файлів; також доступні параметри врахування регістру та пошуку цілих слів.

Find File та Advanced: фільтри пошуку за назвою, розміром і датою файлу

Позначаємо потрібні файли, натискаємо Recovery, обираємо Save to hard disk і вказуємо інший фізичний накопичувач. Після завершення відкриваємо каталог збереження та перевіряємо результати.

Hetman RAID Recovery: Recovery, спосіб Save to hard disk для файлів із IMG

У провіднику Windows перевіряємо створену папку з результатами: відновлені файли відображаються у папці призначення на окремому диску. Це окрема перевірка після Preview у програмі.

Провідник Windows: папка зі збереженими після Recovery файлами з disk1.img

Нагадаємо: в цьому прикладі disk1.img належав копії з видаленого pool3. Файли стали недоступними через втрату сховища, а не через видалення у Windows. Справді видалені файли розглянемо окремо у сценарії зі снапшотом pool2.

КРОК 4. Відкриття звичайного та sparse ZVOL

Збережений звичайний ZVOL disk1.zvol можна відкрити через Mount Disk і проаналізувати подібно до IMG. Якщо файл із розширенням .zvol не видно у діалозі вибору, змінюємо фільтр на All files і вибираємо його вручну.

Mount Disk: вибір збереженого disk1.zvol через фільтр All files

Коли місця для повної копії недостатньо, диск можна підключити без попереднього збереження — безпосередньо з результатів аналізу пулу. Повертаємося до pool3 → bhyvemgr → windows10 → disk0, клацаємо правою кнопкою на disk0.zvol і вибираємо Mount File as Disk.

Sparse ZVOL disk0.zvol: команда Mount File as Disk у результатах аналізу pool3

Тепер відкриваємо розділ підключеного ZVOL, запускаємо аналіз і перевіряємо файли. Дані читаються прямо з реконструйованого RAIDZ2, тому робота може тривати довше, ніж із локальним образом. Для цього способу не потрібно місце під повну копію віртуального диска; вільне місце все одно потрібне для збереження знайдених файлів.

Hetman RAID Recovery: файли у змонтованому sparse ZVOL disk0 після аналізу

Після вибору потрібних файлів запускаємо Recovery і зберігаємо результати на іншому накопичувачі. На кадрі показано окремий майстер збереження файлів, отриманих без попереднього експорту всього ZVOL.

Hetman RAID Recovery: майстер Recovery для файлів зі sparse ZVOL підключеного без повної копії

Як повернути видалені файли bhyve зі снапшота ZFS

На відміну від pool3, у pool2 самі віртуальні диски залишилися доступними. Проблема в тому, що тестові файли в гостьовій Windows 10 видалили після створення рекурсивного снапшота. Скористаємося збереженим станом датасета та ZVOL, щоб дістати попередні версії файлів.

КРОК 1. Пошук снапшотів IMG і ZVOL у pool2

На головному екрані Hetman RAID Recovery вибираємо pool2, запускаємо Fast scan, а після завершення відкриваємо папку Snapshots. У ній показано окремі записи windows10, disk0, disk1 та інші частини рекурсивного snapshot_0. Це не кілька несумісних точок відновлення: програма відображає збережений стан різних датасетів і ZVOL, які увійшли до рекурсивного снапшота.

Hetman RAID Recovery: pool2/Snapshots із записами windows10, disk0, disk1 і snapshot_0

КРОК 2. Відновлення IMG зі снапшота windows10

Відкриваємо снапшот датасета windows10, де зберігаються файли disk0.img та disk1.img. Обираємо disk1.img і зберігаємо його в окрему папку, щоб не переплутати з образом, отриманим із pool3.

Через Mount Disk → RAW підключаємо файл зі снапшота, відкриваємо його розділ і виконуємо Fast scan. Відображаються тестові файли, які на момент створення снапшота ще були на диску. Перевіряємо їх у Preview і зберігаємо через Recovery.

Hetman RAID Recovery: у снапшоті windows10 пулу pool2 знайдено disk0.img та disk1.img

Після підключення disk1.img зі снапшота відкриваємо його NTFS-розділ. На збереженому стані до Shift+Delete знаходяться тестові зображення та документи, які можна вибрати й зберегти окремо від файлів із pool3.

Hetman RAID Recovery: результати аналізу IMG зі снапшота pool2 і вибрані файли Windows

КРОК 3. Пряме підключення ZVOL зі снапшота

Повертаємося до Snapshots, знаходимо окремий запис для тому disk0 і відкриваємо його. На об’єкті disk0.zvol вибираємо Mount File as Disk. Програма підключає саме стан ZVOL зі снапшота, а не його поточний вміст.

Hetman RAID Recovery: у снапшоті disk0 вибрано Mount File as Disk для disk0.zvol
Hetman RAID Recovery: змонтований ZVOL зі снапшота pool2 та його розділ NTFS

Відкриваємо розділ цього диска, запускаємо Fast scan, знаходимо потрібні дані, переглядаємо їх у Preview і відновлюємо через Recovery на окремий носій. Так отримуємо файли зі стану до видалення, не запускаючи Windows 10 і не виконуючи rollback усього pool2.

Hetman RAID Recovery: файли стану ZVOL зі снапшота відібрані для відновлення

Що врахувати перед відновленням RAIDZ2 і віртуальних дисків

Результат залежить від стану фізичних дисків, службових структур ZFS і самих віртуальних образів. У нашому тесті три учасники п’ятидискового RAIDZ2 та збережені метадані дозволили знайти видалений pool3. Якщо частину необхідних блоків перезаписано, відновлення може бути неповним.

Зі снапшота можна отримати лише той стан даних, який він зберіг. Якщо снапшот зроблено вже після видалення потрібного файлу або в ньому немає відповідного датасета чи тому ZVOL, описаний спосіб не поверне цей файл із попередньої версії.

Не ініціалізуйте й не форматуйте диски сервера у Windows, не створюйте новий пул поверх втраченого та не зберігайте результати на вихідні накопичувачі. Якщо фізичний диск працює нестабільно, перед повторними спробами аналізу доцільно працювати з його побайтовою копією, коли її можна безпечно створити.

За потреби окремо ознайомтеся з відновленням видаленого ZFS-пулу RAIDZ2 у FreeBSD: там докладніше розглянуто саму структуру пулу та роботу зі снапшотами.

Результати відновлення bhyve у FreeBSD

У першому сценарії Hetman RAID Recovery виявила pool3 після команди zpool destroy і видалення GPT-розділів. Для реконструкції тестового RAIDZ2 вистачило трьох із п’яти накопичувачів. Ми отримали доступ до образів IMG, звичайного ZVOL та sparse ZVOL, підключили віртуальні диски і зберегли тестові файли.

У другому сценарії програма знайшла снапшоти pool2 і допомогла повернути файли Windows 10 зі стану до їх видалення — окремо з IMG і ZVOL. Запускати ВМ або відновлювати весь пул до попереднього стану не знадобилося.

Для роботи з віртуальними дисками можна спершу зберегти їх на інший накопичувач або, коли це підтримується для знайденого об’єкта, скористатися Mount File as Disk і аналізувати їх без повної копії. Вибір залежить від стану носіїв, доступного місця та обсягу даних.

Valery Martyshko

Автор: , Технічний письменник

Автор, перекладач та технічний спеціаліст компанії Hetman Software. Має майже десятирічний досвід роботи в IT сфері, який охоплює різні галузі: від ПК з Windows та мобільних пристроїв, до фото та відео обладнання, сигналізацій та систем відеоспостереження, і т.д. Окрім іншого, є також спеціалістом по Android, Windows та Microsoft Office. Є експертом в області відновлення даних, файлових систем, пристроїв зберігання даних, RAID масивів.

Vladyslav Kupriyenko

Редактор: , Технічний письменник

Редактор статей блогу, автор та ведучий рубрики на YouTube каналі компанії Hetman Software. За освітою: спеціаліст з обслуговування комп’ютерних систем та мереж, вивчав розробку програмного забезпечення. Має досвід роботи в IT сфері, який охоплює різні галузі: адміністрування комп’ютерної мережі та обладнання, контроль та підтримка роботи Інтернет, офісних та спеціалізованих програм. Є фахівцем в області відновлення даних, файлових систем та пристроїв зберігання даних.

Рекомендуємо для вас