Восстановление убитого кэша Беркли (BerkeleyDB)

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модераторы: Tolik, zed

Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение zed » 02 авг 2012, 23:30

По мотивам хотелки #1341 написал утилиту-помощника в нелёгком деле восстановления кэша. Хотя, строго говоря, я ещё не сталкивался с тем, чтобы мой кэш умер и не мог быть прочитан/восстановлен самим САСом при запуске (а "падает" САС у меня часто, т.к. запускаю я его преимущественно прямо в дебагере и имею привычку не всегда корректно завершать работу, а выходить по аналогу Ctrl+Alt+Del). Но, как говорится: "сани готовь летом" (c), так что, пусчай будет - авось когда и пригодится.

Итак, для восстановления баз Беркли поставщик оной БД (Оракл) предлагает нам в комплекте кучу различных консольных утилит. Утилиты там на все случаи жизни, какие только можно себе представить и всё бы хорошо, но для неподготовленного человека, встреча с консолью может быть весьма неприятна. Да и для гуру, выполнение однотипных рутинных операций через голую консоль, может отнимать лишнее время. Поэтому, представляю вам оболочку над некоторыми консольными утилитами (а именно: db_recover, db_verify, db_load и db_dump) с вшитыми настройками и минимальной конфигурацией. Настройки вполне достаточны для восстановления кэша Беркли в САСе (по крайней мере, пока кто-то не сообщит, что у него никак не выходит этот самый кэш восстановить). Если каких-то ключей/режимов вдруг не хватит - пишите, по возможности, добавим.

Забираем: sdb_util_1.0.2.5.7z + исходники для интересующихся

Инструкция к действию:
скрытый текст: показать
- закрываем САС
- распаковываем архив в папку с установленным САСом и соглашаемся с предложением заменить файлы
- запускаем sdb_util.exe
- выбираем папку с испорченным кэшем: path\to\cache_db\sat или даже целиком все карты: path\to\cache_db
- запускаем восстановление: Run
- по окончании процесса запускаем САС (предпочтительно - дебажную версию) и проверяем кэш на работоспособность
- если кэш по прежнему не работает, закрываем САС, возвращаемся в утилиту, жмём Config и выбираем "Rename broken files to *.bad" или "Restore broken files" (можно ещё включить Catastrophic recovery) и жмём Apply
- запускаем восстановление заново и по окончании, ещё раз проверяем в САС
- если и сейчас ничего не работает - пишите сюда и приложите логи (всё что писалось в чёрном окошке на всех этапах) и пару небольших битых файлов (*.bad). Лог так же мог создать и САС в папке с кэшем: \cache_db\sdb.log

Описание режимов работы:
скрытый текст: показать
Auto-Restore: Recover & Reset LSN & Verify
Последовательно вызывает функции: Recover to last good state [cmd: db_recover -v], Reset LSN [cmd: db_load -r lsn] и Verify (find broken files) [cmd: db_verify] с предустановленными настройками (с вкладки Config).

Recover to last good state [cmd: db_recover -v] (утилита db_recover)
Используя файлы лога из папки env кэша, восстанавливает кэш до валидного состояния: записывает все завершённые и откатывает все незавершённые транзакции. Особой необходимости в этой утилите нет, т.к. в САСе env создаётся с флагом DB_RECOVER, но в настройках (по кнопке Config) можно указать, чтобы использовался режим "катастрофы", тогда эта утилита выполняет некие дополнительные действия.

Reset LSN [cmd: db_load -r lsn] (утилита db_load)
Удаляет привязку файлов кэша (*.sdb) от файлов лога из папки env. Опционально, по окончанию процесса может удалять уже не нужную папку env вместе со всеми старыми логами.

Verify (find broken files) [cmd: db_verify] (утилита db_verify)
Проверяет файлы кэша (*.sdb) на ошибки. При обнаружении ошибок, в зависимости от настроек, может:
1. Не предпринимать никаких действий (Only report)
2. Удалить файл кэша, содержащий ошибку (Delete broken files). Использовать эту опции рекомендуется только в крайнем случае, т.к. а) ошибка может быть не критическая (САС может прекрасно работать с данным файлом кэша) и б) есть теоретическая возможность восстановить неповреждённые данные (см. ниже)
3. Переименовать файл в *.bad (Rename broken files to *.bad), который затем можно дополнительно анализировать/восстанавливать имеющимися утилитами.
4. Не отходя от кассы, попытаться восстановить повреждённый файл (Restore broken files). Следует учитывать, что эта операция достаточно медленная. Все действия, предпринимаемые программой будут аналогичны восстановлению данных из *.bad файлов (см. ниже).

Restore data from *.bad [cmd: db_dump && db_load] (утилиты db_dump и db_load)
1. Создаёт дамп данных из повреждённых файлов (пытается прочитать неповреждённые данные). При создании дампа используется утилита db_dump. Файл дампа имеет несколько бОльший размер, чем исходный файл *.sdb (примерно в 1,5-2 раза).
2. Из свежего дампа формирует новый файл кэша, с гарантией отсутствия ошибок (использует утилиту db_load). В качестве дополнительного бонуса, происходит оптимизация структуры файла кэша, в результате чего, он может быть меньшего размера (даже, если удалось восстановить абсолютно все данные). При этом, однако, нет возможности оценить количество восстановленных данных (в процентном или абсолютном выражении) по отношению к исходным данным.
3. По окончании процесса подчищает за собой хвосты: удаляет восстановленный *.bad файл и его файл дампа (*.dump).

Утилиту можно натравливать и на здоровый кэш, она его не испортит. Работу утилиты можно прерывать в любой момент времени, кэш при этом всегда будет оставаться работоспособным.

Пара скриншотов:

sdb.gif
Главное окно

sdb_config.gif
Окошко с настройками
Хитрости GoogleEarth - то, чего вы не знаете о гугле

За это сообщение автора zed поблагодарили: 5
guf (15 авг 2012, 13:42) • igel72 (11 апр 2013, 10:17) • Papazol (03 авг 2012, 09:56) • Parasite (03 авг 2012, 16:19) • Tolik (03 авг 2012, 12:44)
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение zed » 17 окт 2012, 08:31

T_Im писал(а):Файл 621.324.sdb 270М, если надо - могу выложить.

Давайте, только заархивируйте его предварительно.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение T_Im » 17 окт 2012, 11:34

T_Im
Соображающий
 
Сообщения: 72
Зарегистрирован: 04 янв 2009, 21:52
Благодарил (а): 11 раз.
Поблагодарили: 8 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение zed » 22 окт 2012, 00:56

Попробуйте сделать так:
Код: Выделить всё
db_dump -R -f dump.txt 621.324.sdb.bad

Потом открыть dump.txt в hex-редакторе или блокнотом (но файл будет около полугигабайта, так что не всякий блокнот и справится) и удалить оттуда первые две строки, чтобы файл начинался с
Код: Выделить всё
VERSION=3
format=bytevalue
type=btree
HEADER=END

и далее там будут циферки.

Затем, нужно сохранить изменения и выполнить команду:
Код: Выделить всё
db_load -f dump.txt 621.324.sdb

У меня оно таким макаром восстановило файл, но что там внутри получилось и рабочий ли он - нужно проверять. Шпулять по инету 200Мб как-то не охота, попробуйте сделать, как описано выше.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение zed » 22 окт 2012, 01:08

Или даже можно вот такой заголовок сделать:
Код: Выделить всё
VERSION=3
format=bytevalue
database=
type=btree
db_pagesize=1024
HEADER=END

а то оно по-умолчанию делает pagesize=16k:
Код: Выделить всё
d:\bin53>db_stat -d 621.324.sdb
Mon Oct 22 00:05:13 2012        Local time
53162   Btree magic number
9       Btree version number
Little-endian   Byte order
        Flags
2       Minimum keys per-page
16384   Underlying database page size
4079    Overflow key/data size
2       Number of levels in the tree
23146   Number of unique keys in the tree
23146   Number of data items in the tree
1       Number of tree internal pages
13924   Number of bytes free in tree internal pages (15% ff)
111     Number of tree leaf pages
742006  Number of bytes free in tree leaf pages (59% ff)
0       Number of tree duplicate pages
0       Number of bytes free in tree duplicate pages (0% ff)
23075   Number of tree overflow pages
119M    Number of bytes free in tree overflow pages (68% ff)
0       Number of empty pages
0       Number of pages on the free list

Кстати, судя по выводу db_stat в восстановленном кэше лежит 23146 тайл.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение T_Im » 22 окт 2012, 23:25

Спасибо, попробовал восстановится указанным способом, но база все равно получилась с ошибками.
При просмотре нормальные тайлы перемежаются хаотично неотображаемыми с надписью "Error [BerkeleyDB]: Bad magic value (UNKN)".

Может есть какой способ распаковать содержимое базы в виде файлов?
T_Im
Соображающий
 
Сообщения: 72
Зарегистрирован: 04 янв 2009, 21:52
Благодарил (а): 11 раз.
Поблагодарили: 8 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение zed » 23 окт 2012, 00:03

T_Im писал(а):При просмотре нормальные тайлы перемежаются хаотично неотображаемыми с надписью "Error [BerkeleyDB]: Bad magic value (UNKN)".

Это скорее всего из-за того, что использовалось максимально-агрессивное восстановление (ключ -R). Менее агрессивный метод (-r) в этой версии библиотеки почему-то не работает. Попробуйте на более новой версии из аттача.
Т.е. нужно распаковать архив в любое место (только не в папку с САС - с этой версией он работать не будет) и выполнить команду:
Код: Выделить всё
db_dump -r -f dump.txt 621.324.sdb.bad

ну и далее, как и прошлый раз.

BerkeleyDB.v5.3.xx.7z
(486.57 KiB) Скачиваний: 14

T_Im писал(а):Может есть какой способ распаковать содержимое базы в виде файлов?

Можно попробовать натравить менеджер кэша (Операции - Управление кэшем) и сконвертировать в тайловый формат. Или через операции с выделенной областью - Скопировать.
Хитрости GoogleEarth - то, чего вы не знаете о гугле

За это сообщение автора zed поблагодарил:
T_Im (23 окт 2012, 01:00)
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение T_Im » 23 окт 2012, 00:59

Теперь сработало. По крайней мере нету такого большого количества битых тайлов. Возможно, где то они остались, т.к. на 2/3 стопорится построение карты заполнения, но, думаю, уже можно будет по выделению экспортировать в другую базу большую часть содержимого.
(во вложении для работы утилит нехватает msvcp100.dll msvcr100.dll - взял их из папки САС)
T_Im
Соображающий
 
Сообщения: 72
Зарегистрирован: 04 янв 2009, 21:52
Благодарил (а): 11 раз.
Поблагодарили: 8 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение zed » 14 фев 2013, 19:56

Обновил утилиту: sdb_util_1.0.2.4.7z

Обновление связано с устранением бага, когда утилиты отказывались работать, если в пути к кэшу встречались русские символы (или любые другие не-латинские) или пробелы.

Кстати говоря, если напрямую из консоли натравить какую-нибудь утилиту (тот же db_verify) на кэш с русским путём, то она откажется работать.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение T_Im » 07 апр 2013, 19:20

Небольшой баг (sdb_util_1.0.2.4.7z): если в режиме "Reset LSN [cmd: db_load -r lsn]" нажать "Abort", то удаляются Env папки у всех кешей из выбранной папки проверки, том числе и у непроверенных.

За это сообщение автора T_Im поблагодарил:
zed (07 апр 2013, 19:33)
T_Im
Соображающий
 
Сообщения: 72
Зарегистрирован: 04 янв 2009, 21:52
Благодарил (а): 11 раз.
Поблагодарили: 8 раз.

Re: Восстановление убитого кэша Беркли (BerkeleyDB)

Сообщение zed » 07 апр 2013, 19:34

Баг-трекер для утилитки тут: https://bitbucket.org/zedxxx/sdb_util/issues - о замеченных багах можно писать сразу туда.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 4

cron