Решение проблемы перемещения кэша

[VMatveev]

Интересно, нельзя-ли сделать КЭШ на основе этого крутого TAR-а, чтобы все тайлы сразу писались в него, и читались с него тоже. Или это невозможно в принципе?
Один кэш=один файл - это было-бы здорово!

[zed]

Кэш одним файлом можно сделать и без tar-a, как говорится: для каждой задачи - свой инструмент. TAR - архиватор, и на его базе (и как на базе любого другого архиватора), можно сделать "кэш одним файлом", но встанет вопрос быстродействия доступа к отдельно взятому тайлу...

[Parasite]

TAR - архиватор

Дампер устройства в файл, я бы сказал.
Архиватор там навешивается сверху, сторонний, по желанию (gzip\bzip\bz2\compress на выбор, определяется ключами, в основном ключом z\Z), в винде они юзают бибилиотеку zlib.dll - идет в комплекте с таром.
Сам же tar в "голом" виде поддержкой сжатия не страдает и дампит "как есть".

[zed]

Сам же tar в "голом" виде поддержкой сжатия не страдает и дампит "как есть".

О! Отсюда вывод, что если нужно максимально быстро перенести кэш, и размер полученного архива не столь важен (копируем с винта на винт), то сжатие лучше и вовсе не использовать. При этом размер конечного несжатого "архива" увеличится на 10-15%, но и скорость паковки/распаковки возрастёт.

Чтобы использовать режим "без сжатия", скачайте файл из аттача, распакуйте его до кучи, к остальным файлам архиватора, и собственно, используйте:

Код: Выделить всё

tar <папка для архивирования> <имя архива>.tar
Пример: tar SAT sat.tar

tar.zip

(152 байт) Скачиваний: 242

Иллюстрации:

Свойства исходной папки. Размер данных 2,09 Гб

Свойства tar файла. Размер файла 2,21 Гб

Размер tgz архива 2,01 Гб

[Parasite]

Сам же tar в "голом" виде поддержкой сжатия не страдает и дампит "как есть".

О! Отсюда вывод, что если нужно максимально быстро перенести кэш, и размер полученного архива не столь важен (копируем с винта на винт), то сжатие лучше и вовсе не использовать. При этом размер конечного несжатого "архива" увеличится на 10-15%, но и скорость паковки/распаковки возрастёт.

Так дело хозяйское же. Для отрывания сжатия - убрать буковку z из коммандлайна в батнике, и все.
Что же касается скорости - то тар и так весьма реактивен, и лично я не вижу разницы в скорости работы со сжатием и без. А если нет разницы - то зачем создавать более большой файл? Он будет дольше копироваться.

[Parasite]

PS: только что для теста утоптал виндовой версией 17 миллионов тайлов за 2.5 часа (получился 42Гб контейнер). Ни единого нарекания, ни единого лишнего вопроса, запрос к памяти не выше 1Мб - точно так, как оно и должно быть в идеале.

...а вот так выглядит WinRAR последней версии при попытке сделать то же самое:

[bk99]

Parasite
Предлагаю свой способ хранения...

Минусы:
лично мне не видны.
Обсуждение приветствуется.

а вот такой теоретический вопрос - как при дефрагментации диска такой огромный файл-контейнер будет дефрагментироваться (ведь его размер будет постоянно расти) - каждый раз заново? А TryeCrypt'овский контейнер всегда постоянного объёма и при дефрагментации проскакивает, не дефрагментируется, так?

[zed]

(ведь его размер будет постоянно расти)

С чего бы ему расти? Один раз упаковали, и лежит себе на здоровье...

[bk99]

zed
С чего бы ему расти? Один раз упаковали, и лежит себе на здоровье...

А-а-а! Действительно! Глупость спорол, сори! Я почему-то решил, что это как при работе с трукриптовским диском - монтируется диск и идёт накопление кэша прямо на него, а потом файл-контейнер переносится в другое место. Всё, понял, спасибо!

[Fetser]

В порядке эксперимента попробовал все архиваторы какие есть. про остальные архиваторы не хочется говорить.
А вот с TAR получил разными способами два разных результата
способом описанным Parasite за 10 сек 40% сжатие (Пробовал с маленьким архивом 100 Мб)

а если Total Commander (у него вшит TAR) без дополнительных настроек то 4 сек и без сжатия
а при выборе TGZ получаем те же параметры что и у Parasite

поэтому если есть Total Commander ничего дополнительного скачивать не надо и никаких консолей