Як відновити дані віртуальної машини bhyve у FreeBSD: IMG, ZVOL і снапшоти ZFS
Як повернути файли віртуальної машини bhyve у FreeBSD, якщо її диски IMG і ZVOL стали недоступними після видалення пулу ZFS? А що робити, коли файли видалені безпосередньо у гостьовій Windows, але зберігся снапшот? На прикладі ZFS RAIDZ2 із п’яти накопичувачів покажемо, як Hetman RAID Recovery знаходить знищений пул за трьома доступними дисками, відкриває образи IMG, звичайні та sparse-томи ZVOL і дістає дані з попереднього стану віртуальних дисків без запуску ВМ.

- Тестове середовище: FreeBSD, bhyve та ZFS RAIDZ2
- Підключення трьох накопичувачів і автоматичне визначення RAIDZ2
- Відновлення віртуальних дисків IMG і ZVOL із видаленого pool3
- Як повернути видалені файли bhyve зі снапшота ZFS
- Що врахувати перед відновленням RAIDZ2 і віртуальних дисків
- Результати відновлення bhyve у FreeBSD
- Поширені запитання
- Коментарі
Відновлення даних гіпервізора bhyve має два рівні: спочатку потрібно отримати доступ до сховища FreeBSD, а потім — до файлової системи всередині віртуального диска. Втрата ZFS-пулу й видалення файлів у гостьовій ОС — різні проблеми, тому розглянемо їх окремо.
У першому сценарії знищено пул pool3 та видалено його GPT-розділи, але файли всередині копій віртуальних дисків не видаляли. У другому сценарії pool2 залишився доступним, проте тестові файли у Windows 10 видалили через Shift+Delete. Їхню попередню версію збережено у снапшоті ZFS.
Для аналізу використовуємо Hetman RAID Recovery на комп’ютері з Windows. Програма також доступна для Linux і macOS.
Як відновити дані ВМ bhyve у FreeBSD: IMG, ZVOL і видалені файли
Тестове середовище: FreeBSD, bhyve та ZFS RAIDZ2
На сервері з FreeBSD налаштували гіпервізор bhyve і віртуальну машину з Windows 10. Керування її дисками показано в інтерфейсі bhyvemgr. Сховище складається з п’яти накопичувачів, на кожному з яких створено окремі GPT-розділи для трьох незалежних пулів ZFS RAIDZ2. Кожен пул має один п’ятидисковий RAIDZ2 vdev.

У вікні створення ВМ bhyvemgr видно назву windows10, тип Windows 10.x і системний дисковий образ на 20 ГБ. Після додавання решти накопичувачів гостьова Windows показувала чотири диски у Disk Management — це дозволяє зіставити конфігурацію ВМ із дисками, які далі шукатимемо у ZFS.

| Характеристика | Значення в тесті |
|---|---|
| ОС сервера | FreeBSD |
| Гіпервізор та гостьова ОС | bhyve, Windows 10 |
| Фізичні накопичувачі | 5 дисків, 3 з них використовували для відновлення |
| Топологія ZFS | 3 пули; кожен — окремі GPT-розділи на 5 дисках, один RAIDZ2 vdev |
| Сценарій pool3 | Видалено пул і його GPT-розділи; копії віртуальних дисків містять тестові файли |
| Сценарій pool2 | Є рекурсивний снапшот, зроблений до видалення файлів у Windows |
До віртуальної машини підключено чотири диски: два IMG та два ZVOL, один із яких створено як sparse ZVOL. IMG зберігається як файл образу, тоді як ZVOL є блочним томом ZFS. Їхні типи й розміри важливі, адже під час аналізу програма показує IMG як файли, а ZVOL — як окремі томи, вміст яких можна відкрити для підключення.
| Диск bhyve | Формат | Розмір | Призначення |
|---|---|---|---|
| disk0.img | IMG | 20 ГБ | Системний диск Windows 10 |
| disk1.img | IMG | 1 ГБ | Додатковий диск із тестовими файлами |
| disk0 | Sparse ZVOL | 1 ГБ | Додатковий розріджений блоковий том |
| disk1 | ZVOL | 2 ГБ | Додатковий звичайний блоковий том |

На одному з дисків у FreeBSD Control Panel видно три розділи типу freebsd-zfs із мітками pool1_d1, pool2_d1 та pool3_d1. Це частини трьох окремих пулів, а не три самостійні RAID-масиви на одному диску: відповідні розділи інших накопичувачів разом утворювали п’ятидискові RAIDZ2 vdev.
Перший сценарій: видалений пул pool3
У pool3 попередньо розмістили копії дисків ВМ із тестовими файлами. У каталозі /pool3/bhyvemgr/windows10/ зберігалися disk0.img, disk1.img і конфігураційні файли bhyve; блочні томи ZVOL зберігалися у структурах ZFS. Тому надалі в Hetman RAID Recovery шукатимемо як файли IMG, так і об’єкти ZVOL.

Потім у тестовому середовищі виконали zpool destroy pool3 і видалили відповідні GPT-розділи на всіх п’яти накопичувачах. Наприклад, у FreeBSD Control Panel видно підтвердження команди gpart delete -i 3 mfid1 для третього розділу одного з дисків. Після цих дій штатний доступ FreeBSD до копій віртуальних дисків було втрачено.


Команди zpool destroy і gpart delete використано тільки для моделювання втрати даних. Не виконуйте їх на сховищі, з якого плануєте відновлювати інформацію.
У цьому сценарії файли всередині копій IMG і ZVOL не видаляли. Завдання — знайти колишній пул, отримати образи віртуальних дисків та прочитати їхній вміст.
Другий сценарій: видалені файли та снапшот pool2
На pool2 створили рекурсивний снапшот ZFS під назвою snapshot_0, який охопив кореневий датасет і дочірні датасети, зокрема ZVOL. Перелік його складових переглянули командою zfs list -t snapshot -r pool2. У виводі видно, зокрема, pool2/bhyvemgr/windows10@snapshot_0, pool2/bhyvemgr/windows10/disk0@snapshot_0 і pool2/bhyvemgr/windows10/disk1@snapshot_0. Ці записи фіксують стан віртуальних дисків до подальшого видалення файлів.

Після створення снапшота запустили Windows 10 із дисками на pool2, видалили тестові файли клавішами Shift+Delete і штатно вимкнули ВМ. Поточні IMG і ZVOL залишилися у пулі, а попередній стан зберігся у снапшоті.

Підключення трьох накопичувачів і автоматичне визначення RAIDZ2
Для відновлення використовуємо три з п’яти фізичних дисків сервера. Підключаємо їх до комп’ютера з Windows та запускаємо Hetman RAID Recovery. Залежно від інтерфейсу фізичне підключення можна організувати безпосередньо або через відповідний адаптер чи док-станцію.
Якщо Windows пропонує ініціалізувати або відформатувати диски, відмовтеся. Не створюйте нові розділи й не записуйте дані на накопичувачі, з яких потрібно відновити інформацію.
Після запуску програма автоматично виявила конфігурації ZFS RAIDZ2, зокрема видалений pool3. Вибираємо його на головному екрані.

Праворуч відображаються параметри File system — ZFS, RAID type — RAIDZ2, а у списку RAID Disks — три доступні диски та два рядки Empty disk. Знайдений pool3 відображається як RAID-том розміром близько 90 ГБ. Розмір кожного учасника у цьому списку стосується області, виділеної під pool3, а не місткості цілого SSD.

RAIDZ2 використовує подвійний паритет і допускає відсутність двох учасників одного vdev. У нашому п’ятидисковому тесті трьох доступних накопичувачів та вцілілих службових структур вистачило, щоб визначити конфігурацію без ручного введення параметрів.
Це результат конкретного тесту, а не гарантія відновлення будь-якого знищеного ZFS-пулу. Якщо потрібні метадані перезаписані або наявних дисків недостатньо, результат може бути іншим.
Відновлення віртуальних дисків IMG і ZVOL із видаленого pool3
КРОК 1. Аналіз pool3 та пошук дисків bhyve
Двічі клацаємо знайдений pool3, у майстрі вибираємо Fast scan і запускаємо аналіз. Програма використовує збережені метадані ZFS, щоб відтворити доступне дерево каталогів. У нашому тесті швидкого аналізу вистачило для пошуку дисків ВМ.

У результатах відкриваємо bhyvemgr → windows10. Серед знайдених об’єктів є disk0.img, disk1.img та два томи ZVOL з іменами disk0 і disk1. Усередині відповідного тому програма показує об’єкт із розширенням .zvol.

Щоб побачити вміст блочного тому, відкриваємо disk0 у тому самому дереві. Усередині програма показує disk0.zvol як окремий об’єкт із розміром близько 1 ГБ. Аналогічно у disk1 знаходиться disk1.zvol на 2 ГБ. Важливо не плутати ці об’єкти з файлами disk0.img і disk1.img.

КРОК 2. Збереження IMG та звичайного ZVOL
Щоб за один раз зберегти кілька дисків із різних рівнів дерева, клацаємо правою кнопкою миші на disk1.img і вибираємо Add For Recovery. Образ з’являється у правій панелі Recovery list. Відкриваємо звичайний том disk1 та перетягуємо його об’єкт disk1.zvol до того самого списку.

Перевіряємо список, натискаємо Recover і в майстрі обираємо Save to hard disk. Указуємо каталог на окремому накопичувачі з достатнім вільним місцем. IMG зберігається як файл образу, а вміст ZVOL — як файл, який надалі можна підключити для аналізу.

Не записуйте відновлені образи або файли на ті самі фізичні диски ZFS RAIDZ2. Новий запис може перезаписати дані, які ще потрібно прочитати.
КРОК 3. Підключення IMG та відновлення файлів Windows
Після збереження образу натискаємо Mount Disk, вибираємо формат RAW і вказуємо файл disk1.img. У розділі Mounted Disks з’явиться окремий диск із його розділами. У нашому тесті програма розпізнала розділ із файловою системою NTFS. Відкриваємо його та запускаємо Fast scan.


Після аналізу переглядаємо структуру папок NTFS, зокрема Lost and Found та General level 1, і знаходимо тестові документи, зображення та відео. Виділяємо потрібний об’єкт і перевіряємо його в панелі Preview. На кадрах видно попередній перегляд графічного файлу; це дозволяє оцінити його вміст ще до збереження.


Для пошуку за іменем використовуємо Find File. У розширених налаштуваннях Advanced можна задати діапазон розмірів або дат і пошук серед прихованих чи системних файлів; також доступні параметри врахування регістру та пошуку цілих слів.

Позначаємо потрібні файли, натискаємо Recovery, обираємо Save to hard disk і вказуємо інший фізичний накопичувач. Після завершення відкриваємо каталог збереження та перевіряємо результати.

У провіднику Windows перевіряємо створену папку з результатами: відновлені файли відображаються у папці призначення на окремому диску. Це окрема перевірка після Preview у програмі.

Нагадаємо: в цьому прикладі disk1.img належав копії з видаленого pool3. Файли стали недоступними через втрату сховища, а не через видалення у Windows. Справді видалені файли розглянемо окремо у сценарії зі снапшотом pool2.
КРОК 4. Відкриття звичайного та sparse ZVOL
Збережений звичайний ZVOL disk1.zvol можна відкрити через Mount Disk і проаналізувати подібно до IMG. Якщо файл із розширенням .zvol не видно у діалозі вибору, змінюємо фільтр на All files і вибираємо його вручну.

Коли місця для повної копії недостатньо, диск можна підключити без попереднього збереження — безпосередньо з результатів аналізу пулу. Повертаємося до pool3 → bhyvemgr → windows10 → disk0, клацаємо правою кнопкою на disk0.zvol і вибираємо Mount File as Disk.

Тепер відкриваємо розділ підключеного ZVOL, запускаємо аналіз і перевіряємо файли. Дані читаються прямо з реконструйованого RAIDZ2, тому робота може тривати довше, ніж із локальним образом. Для цього способу не потрібно місце під повну копію віртуального диска; вільне місце все одно потрібне для збереження знайдених файлів.

Після вибору потрібних файлів запускаємо Recovery і зберігаємо результати на іншому накопичувачі. На кадрі показано окремий майстер збереження файлів, отриманих без попереднього експорту всього ZVOL.

Як повернути видалені файли bhyve зі снапшота ZFS
На відміну від pool3, у pool2 самі віртуальні диски залишилися доступними. Проблема в тому, що тестові файли в гостьовій Windows 10 видалили після створення рекурсивного снапшота. Скористаємося збереженим станом датасета та ZVOL, щоб дістати попередні версії файлів.
КРОК 1. Пошук снапшотів IMG і ZVOL у pool2
На головному екрані Hetman RAID Recovery вибираємо pool2, запускаємо Fast scan, а після завершення відкриваємо папку Snapshots. У ній показано окремі записи windows10, disk0, disk1 та інші частини рекурсивного snapshot_0. Це не кілька несумісних точок відновлення: програма відображає збережений стан різних датасетів і ZVOL, які увійшли до рекурсивного снапшота.

КРОК 2. Відновлення IMG зі снапшота windows10
Відкриваємо снапшот датасета windows10, де зберігаються файли disk0.img та disk1.img. Обираємо disk1.img і зберігаємо його в окрему папку, щоб не переплутати з образом, отриманим із pool3.
Через Mount Disk → RAW підключаємо файл зі снапшота, відкриваємо його розділ і виконуємо Fast scan. Відображаються тестові файли, які на момент створення снапшота ще були на диску. Перевіряємо їх у Preview і зберігаємо через Recovery.

Після підключення disk1.img зі снапшота відкриваємо його NTFS-розділ. На збереженому стані до Shift+Delete знаходяться тестові зображення та документи, які можна вибрати й зберегти окремо від файлів із pool3.

КРОК 3. Пряме підключення ZVOL зі снапшота
Повертаємося до Snapshots, знаходимо окремий запис для тому disk0 і відкриваємо його. На об’єкті disk0.zvol вибираємо Mount File as Disk. Програма підключає саме стан ZVOL зі снапшота, а не його поточний вміст.


Відкриваємо розділ цього диска, запускаємо Fast scan, знаходимо потрібні дані, переглядаємо їх у Preview і відновлюємо через Recovery на окремий носій. Так отримуємо файли зі стану до видалення, не запускаючи Windows 10 і не виконуючи rollback усього pool2.

Що врахувати перед відновленням RAIDZ2 і віртуальних дисків
Результат залежить від стану фізичних дисків, службових структур ZFS і самих віртуальних образів. У нашому тесті три учасники п’ятидискового RAIDZ2 та збережені метадані дозволили знайти видалений pool3. Якщо частину необхідних блоків перезаписано, відновлення може бути неповним.
Зі снапшота можна отримати лише той стан даних, який він зберіг. Якщо снапшот зроблено вже після видалення потрібного файлу або в ньому немає відповідного датасета чи тому ZVOL, описаний спосіб не поверне цей файл із попередньої версії.
Не ініціалізуйте й не форматуйте диски сервера у Windows, не створюйте новий пул поверх втраченого та не зберігайте результати на вихідні накопичувачі. Якщо фізичний диск працює нестабільно, перед повторними спробами аналізу доцільно працювати з його побайтовою копією, коли її можна безпечно створити.
За потреби окремо ознайомтеся з відновленням видаленого ZFS-пулу RAIDZ2 у FreeBSD: там докладніше розглянуто саму структуру пулу та роботу зі снапшотами.
Результати відновлення bhyve у FreeBSD
У першому сценарії Hetman RAID Recovery виявила pool3 після команди zpool destroy і видалення GPT-розділів. Для реконструкції тестового RAIDZ2 вистачило трьох із п’яти накопичувачів. Ми отримали доступ до образів IMG, звичайного ZVOL та sparse ZVOL, підключили віртуальні диски і зберегли тестові файли.
У другому сценарії програма знайшла снапшоти pool2 і допомогла повернути файли Windows 10 зі стану до їх видалення — окремо з IMG і ZVOL. Запускати ВМ або відновлювати весь пул до попереднього стану не знадобилося.
Для роботи з віртуальними дисками можна спершу зберегти їх на інший накопичувач або, коли це підтримується для знайденого об’єкта, скористатися Mount File as Disk і аналізувати їх без повної копії. Вибір залежить від стану носіїв, доступного місця та обсягу даних.







