Использование в Sas.Планета кеша в формате Berkeley

[zed]

Вопрос по теме, как убедиться в правильности преобразования в беркли, остаётся открытым.

Предлагайте варианты. И желательно в виде хотелок в багтрекере. Т.е. сформулируйте мысль, чего бы конкретно хотелось увидеть в САСе, чтобы убедиться в правильности кэша. А там подумаем.

[guf]

Вопрос по теме, как убедиться в правильности преобразования в беркли, остаётся открытым.

Предлагайте варианты. И желательно в виде хотелок в багтрекере. Т.е. сформулируйте мысль, чего бы конкретно хотелось увидеть в САСе, чтобы убедиться в правильности кэша. А там подумаем.

Предлагаю вариант: если в беркли каждый тайл записан в отдельную строку базы, то наверняка возможно посчитать количество строк в заданном файле/файлах. Ну вот опять таки по аналогии с мускулом:

Учитывая, что для проверки битости кеша и тайлов в беркли есть инструментарий, мне кажется что данный способ покажет нормально (после чека имеющимся инструментрием) количество тайлов, содержащихся в файле(ах) в беркли.
Либо, если я не правильно понял, как беркли устроен, объясните структуру баз с кешем на пальцах, возможно варианты другие появятся в качестве предложения. Думаю польза всем от этого будет

[zed]

Т.е. вот вы делаете правый клик в САСе по карте и вам всплывает окошко со статистикой, мол в файле под мышкой столько-то тайлов с таким-то размером? Или как?

[Dima2000]

Разве САС работает на файловом уровне? Тогда уж выделяем область, ставим галки в нужных зумах и запрашиваем сколько в них тайлов (и их суммарный размер). Только лишь количество тайлов маловато, лучше таки и размер, меньше ошибок будет, да и вообще полезная информация.
А ещё можно выводить (при наличии) дату/время самого старого и самого нового тайла (две переменные и два if-а).
Кстати это полезно и не только для беркли.
А если это сделать и без чтения самих тайлов, лишь опросом инфы о них, чтобы поменьше диск напрягать, то и скорость будет повыше.

[guf]

Т.е. вот вы делаете правый клик в САСе по карте и вам всплывает окошко со статистикой, мол в файле под мышкой столько-то тайлов с таким-то размером? Или как?

ИМХО лучше или в программе или в поставку будет входить отдельный скрипт как сейчас sdb_util.exe в поставку входит. Запускаем, показываем или фал или папку с файлами и он считает сколько там файлов. Можно в sdb_util.exe ее и встроить. Операция по подсчету не такая частая и я не знаю, как другие, но я скорее всего ее буду после чека sdb_util.exe использовать при конверте. Качать то всетаки удобнее в несколько копий и в тайловый кеш а потом переносить в беркли. По этому, собственно, я ранее и писал, что конверчу через выделения, чтоб проверить этот функционал тоже

Либо, как сказал Dima2000, делать это по выделению на на вкладке соответствующей. И вообще, про полезность для всех видов кеша я с ним ой как согласен. Сейчас у меня часто разные выделения пересекаются в одних папках и чтоб проверить количество мне приходится долго и руками разгребать по разным папкам, потом "взвешивать", потом, если надо, докачивать, и в конце снова добавлять в общий кеш. С тайлами при хранении в файлахх старом это прокатывает, гемор, но это мой личный гемор, а вот с беркли некоторые слои в некоторых местах пересекаться будут в одном файле, я уже проверил. Можно, конечно, делать и разные .zmp и перезакачивать совпадения, но это уже будет коллекционированием реально, да и пользовать карты в итоге не очень удобно, если переключать постоянно.

[zed]

Разве САС работает на файловом уровне?

САС будет работать на том уровне, на каком нам это будет необходимо.

Тогда уж выделяем область, ставим галки в нужных зумах и запрашиваем сколько в них тайлов (и их суммарный размер).

Т.е. это карта заполнения, только в профиль: вместо отрисовки квадратиков на экране, нужно выводить табличку со списком тайлов и подробными данными о них? Ну, в общем-то мысль заслуживает внимания и согласен, что полезно будет не только для Беркли.

Качать то всетаки удобнее в несколько копий и в тайловый кеш а потом переносить в беркли.

Почему вы так считаете? Проводились тесты? Замечено нежелательное поведение? Или что?

Беркли нормально работает и с несколькими копиями программы, в том числе и на запись.

[guf]

Почему вы так считаете? Проводились тесты? Замечено нежелательное поведение? Или что?
Беркли нормально работает и с несколькими копиями программы, в том числе и на запись.

При конверте в несколько потоков паралельно из тайлового кеша в беркли у меня постоянно бились пересекающиеся файлы базы беркли. Если не ошибаюсь, я в первоначальной теме это писал, когда про конвертирование говорил с предидущего релиза в крайний + беркли. Там скорость конвертирования была больше скорости скачки на хорошем канале в несколько копий программы, но не сильно на много.

[Tolik]

При конверте в несколько потоков паралельно из тайлового кеша в беркли

Вот зачем искать неприятностей на свою... базу данных? Зачем параллельно? Чтоб быстрее? А на самом деле получается быстрее или только лишний гемор?

[zed]

у меня постоянно бились пересекающиеся файлы базы беркли

Насмерть? САС переставал работать или пропадали тайлы? Какие конкретно ошибки выдавала утиль db_verify?

И да, в параллельном конвертировании абсолютно никакого смысла нет. У меня при конвертировании кэша (исходный и целевой кэш на одном физическом HDD) было 100% использование винта (правда, винт тот уже на ладан дышит, но тем не менее).
Вы помониторьте у себя, сколько ресурсов HDD уходит при конвертировании в один поток и в два. И засеките по времени, что быстрее выходит.

[guf]

Вот зачем искать неприятностей на свою... базу данных? Зачем параллельно? Чтоб быстрее? А на самом деле получается быстрее или только лишний гемор?

Вы помониторьте у себя, сколько ресурсов HDD уходит при конвертировании в один поток и в два. И засеките по времени, что быстрее выходит.

Диск внешний. Приемный диск - внутренний. Помониторил, 2 потока раза в 1.5 быстрее получаются работают. Это один момент, а второй момент в том, что у меня не всё идет большими площадями, если конвертить по множеству выделений (пересекающихся) то просто как минимум удобно закинуть несколько потоков копирования на ночь и к утру железка свободна. По моему нормальный вариант использования программы, скачивание же спокойно ставится на ночь и ни у кого вопросов не вызывает.

Умирал не на совсем, проходилось прогонять проверку+восстановление и потом вроде работал. Но сколько оставалось целых тайлов в базе - неизвестно.