GeoCacher

Обсуждение различной информации связанной с картографией, а так же сторонние программные продукты

Модераторы: Tolik, zed

Re: GeoCacher

Сообщение Parasite » 02 июн 2009, 22:49

Настоящим сообщаю, что полностью отвязана от родных серверов версия PLUS 3.0.616 (для любителей раритетов). :)
Ведутся работы над последней, 5й версией ГЕ.

PS: портабельные версии готовятся для выкладывания в паблик, все общие вопросы по сабжу просьба в ветку, не в ПМ.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: GeoCacher

Сообщение temp » 19 июн 2009, 19:46

На одного активного пользователя GeoCachera стало больше :) .
До этого раз попробовал, но решил подождать пока наберется два гига родного кеша и поэтому не использовал.
А несколько дней назад Гугл меня хорошо "кинул". Я обнаружил что у меня файл кеша стал весить не 700 мб, а 450 :shock:

Хорошо что остался архив файла который 700мб.

После этого был плановый снос винды, GE естественно установлен заново.
Создал вирутальный диск, запихнул в него GeoCacher, рядом положил фалик с кешом гугла на 700 мб и проиндексировал.

Запустил GE, все нормально работает, большая часть тайлов берется из старого файла кеша через GeoCacher.

Но есть одна проблема.
Не знаю из-за чего возникает.
При работе GE вместе с GC идет очень большая нагрузка на проц.
GeoCacher кушает около 8-10 %
GE - 10-15 %
Explorer.exe - 30-40 % :shock:

Проц двухядерник, но тормоза чувствуются сильно. Общая нагрузка - 50-60 %

И еще мне кажется что версия GE от 29 января этого года работала лучше чем последняя которая сейчас у меня стоит.
20 минут назад GE так вообще выдал сообщение об ошибке и закрылся...
temp
Советчик
 
Сообщения: 279
Зарегистрирован: 26 мар 2009, 18:26
Откуда: UA
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: GeoCacher

Сообщение Parasite » 19 июн 2009, 20:25

temp писал(а):И еще мне кажется что версия GE от 29 января этого года работала лучше чем последняя которая сейчас у меня стоит.
20 минут назад GE так вообще выдал сообщение об ошибке и закрылся...

Старые версии GC (примерно до конца апреля) были подвержены неприятному глюку, когда отдавали неверные заголовки в клиента, и клиента от этого клинило вплоть до тормозов, зависонов и вылетов.
Поставьте последнюю доступную версию GC (с нею и GE.LOCAL заработает, если что). :)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: GeoCacher

Сообщение zed » 19 июн 2009, 22:26

Создал вирутальный диск, запихнул в него GeoCacher

Кстати, а зачем? У GeoCacher есть продвинутый кэш по типу кэша GE, т.е. одним/несколькими большими файлами (файловый кэш) и такой проблемы с кэшем как у SAS нету.
При работе GE вместе с GC идет очень большая нагрузка на проц.
GeoCacher кушает около 8-10 %
GE - 10-15 %
Explorer.exe - 30-40 %

Почему эксплоер столько жрёт - это вопрос и не уверен, что причиной тому GeoCacher.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: GeoCacher

Сообщение Parasite » 19 июн 2009, 23:14

zed писал(а):Кстати, а зачем? У GeoCacher есть продвинутый кэш по типу кэша GE, т.е. одним/несколькими большими файлами (файловый кэш) и такой проблемы с кэшем как у SAS нету.

Сторонними программами с этого кэша отдельно взятый тайл просто так не взять, как это элементарно можно сделать с кэшем САСа в любое время и с любым отдельно взятым тайлом. Это минус, лично для меня - значительный. :(
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: GeoCacher

Сообщение zed » 20 июн 2009, 02:11

Parasite писал(а):Сторонними программами с этого кэша отдельно взятый тайл просто так не взять

Естественно, так же как и из кэша GE, просто так не взять, но нескольких строк кода (сторонней программе) будет вполне достаточно, чтоб получить доступ к любому тайлу из кэша GC (файлового или GE кэша). Если кому понадобится, могу подробно рассказать как оттуда брать тайлы.
Parasite писал(а):Это минус, лично для меня - значительный.

Я так понимаю, что минус только из-за того, что накопленный кэш предполагается использовать "сторонней программой" и не особо хочется вникать, как же взять тайл из файлового кэша (или имеющегося кэша GE).
А вообще, как говорится: "Каждому - своё" :)
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: GeoCacher

Сообщение temp » 20 июн 2009, 10:52

Parasite писал(а):Старые версии GC (примерно до конца апреля) были подвержены неприятному глюку, когда отдавали неверные заголовки в клиента, и клиента от этого клинило вплоть до тормозов, зависонов и вылетов.
Поставьте последнюю доступную версию GC (с нею и GE.LOCAL заработает, если что). :)


Стоит версия от 15 мая....

zed писал(а):
Создал вирутальный диск, запихнул в него GeoCacher

Кстати, а зачем? У GeoCacher есть продвинутый кэш по типу кэша GE, т.е. одним/несколькими большими файлами (файловый кэш) и такой проблемы с кэшем как у SAS нету.

А где это можно выставить?, в настройках не нашел :roll:
zed писал(а):
При работе GE вместе с GC идет очень большая нагрузка на проц.
GeoCacher кушает около 8-10 %
GE - 10-15 %
Explorer.exe - 30-40 %

Почему эксплоер столько жрёт - это вопрос и не уверен, что причиной тому GeoCacher.

Когда работает один GE - Explorer.exe ест около 10 %, в связке с GC - 30-40 :shock: , что его так нагружает тоже не знаю, работают только GE, GC и TrueCrypt. Можно было бы спихнуть все на TrueCrypt, однако при работе с кешом сас такого не наблюдается.
Вложения
GC.gif
temp
Советчик
 
Сообщения: 279
Зарегистрирован: 26 мар 2009, 18:26
Откуда: UA
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: GeoCacher

Сообщение Parasite » 20 июн 2009, 12:07

zed писал(а):Естественно, так же как и из кэша GE, просто так не взять, но нескольких строк кода (сторонней программе) будет вполне достаточно, чтоб получить доступ к любому тайлу из кэша GC

Да, но с тайловым кэшем этого как раз НЕ требуется. :)
Опять же, при переходе с тайлового на файловый - что делать с уже существующим тайловым? Конвертер бы....

zed писал(а):(файлового или GE кэша). Если кому понадобится, могу подробно рассказать как оттуда брать тайлы.

Применительно к Перлу либо PHP, плз. Спасибо.

zed писал(а):
Parasite писал(а):Это минус, лично для меня - значительный.

Я так понимаю, что минус только из-за того, что накопленный кэш предполагается использовать "сторонней программой" и не особо хочется вникать, как же взять тайл из файлового кэша (или имеющегося кэша GE).

Ну разумеется! :)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: GeoCacher

Сообщение zed » 20 июн 2009, 12:24

temp писал(а):А где это можно выставить?, в настройках не нашел

Вы как раз таки нужный скрин и приаттачили. Вот на этой вкладке и определяется в какой кэш будет идти запись. По дефолту стояла галочка только напротив файлового (на запись), вы же, я смотрю добавили ещё запись и в тайловый кэш... Попробуйте оставить запись только в один кэш (файловый или тайловый), и посмотрите, что будет с загрузкой проца.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: GeoCacher

Сообщение zed » 20 июн 2009, 13:42

Parasite писал(а):Применительно к Перлу либо PHP, плз. Спасибо.

Для начала небольшая вводная. В GC используется индекс на базе SQLite. Индекс состоит из 2-х таблиц: основной и дополнительной.

Основная таблица:
    Table [GCindex]
    Fields: 12
    [ServerType]: TINYINT
    [TileType]: TINYINT
    [TVersion]: TINYINT
    [THistory]: INTEGER
    [TLayer]: INTEGER
    [TZoom]: TINYINT
    [X]: BIGINT
    [Y]: BIGINT
    [CacheID]: BIGINT
    [OffSet]: REAL
    [TSize]: INTEGER
    [CRC]: BIGINT
ServerType - тип сервера. 1 - Земля, 2 - Небо, 3 - Марс, 4- История
TileType - тип тайла
    h80: q2-name-q.ver;
    h81: f1c-name-d.xxxx.ver;
    h82: f1-name-i.ver;
    h83: f1c-name-t.ver;
    h84: f1c-name-d.xxxx.ver (описание 3D текстур - только в кэше GE);
    h85: f1-name-d.xxxxx.ver;
    h86: qp-name-q.ver;
TVersion - версия тайла
THistory - историческое смещение в версии тайла (f1-0123-i.8-f7213 -> TVersion=8, THistory=f7213)
TLayer - номер слоя
TZoom - зум
X,Y - x,y (аналогично GM но с учётом проекции)
CacheID - ID кэша (для поиска по дополнительной таблице)
OffSet - смещение в файле кэша от начала файла до начала тайла
TSize - размер тайла в байтах.
CRC - контрольная сумма тайла (CRC32B).

Дополнительная таблица:
    Table [CacheInfo]
    Fields: 3
    [CacheID]: BIGINT
    [TypeID]: TINYINT
    [FileName]: TEXT
CacheID - ID кэша - порядковый номер кэша
TypeID - тип кэша. 1 - тайловый, 2 - кэш GE, 3 - файловый
FileName - полный/относительный путь к файлу кэша

А теперь, собственно, чтоб получить тайл нужно:
- Из исходного URL выделить: ServerType, TileType, TVersion, THistory, TLayer, TZoom, X, Y. (Если какого-то параметра нет, то его нужно приравнять нулю)
- Выполнить SQL запрос к основной таблице и получить недостающие параметры: CacheID, OffSet, TSize, CRC;
- Выполнить SQL запрос к дополнительной таблице и получить TypeID и FileName;
- Если TypeID=2 или 3, то открыть файл FileName, сместиться на OffSet от начала файла и считать TSize байт - считанные байты и будут искомым тайлом.

При желании, можно подсчитать CRC считанного тайла и сравнить с CRC из индекса, но я обычно такой проверки не выполняю, чтоб не замедлять процесс.
При желании можно подсмотреть в исходниках GC как реализована та или иная функция.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Пред.След.

Вернуться в Другие

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron