Google Earth

Обсуждение различной информации связанной с картографией, а так же сторонние программные продукты

Модераторы: Tolik, zed

Re: Google Earth

Сообщение DeJune » 08 окт 2009, 22:53

zed писал(а):...или у автора банально не хватает рук на всё...

пардон))) фигню сморозил)) но всем понятно, что я имел ввиду. Афтарам респект и уважуха!!!!
DeJune
Новичок
 
Сообщения: 6
Зарегистрирован: 23 авг 2009, 22:45
Благодарил (а): 1 раз.
Поблагодарили: 0 раз.

Re: Google Earth

Сообщение Parasite » 09 окт 2009, 08:21

DeJune писал(а):Можно так сделать, если есть возможность только изменить название папки кэша в другой строго определенной папке?

Можно. Но - ручками... :x
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: Google Earth

Сообщение zed » 01 ноя 2012, 16:46

В недавно-вышедшей GoogleEarth 7 кроме сомнительных плюшек, произошли и глобальные изменения в плане хранения кэша. Теперь у них совершенно новый способ хранения данных. Файла dbCache.dat нету и в помине, а все тайлы, по всей видимости, сохраняются в их БД LevelDB.
Надо расчехлять WinHex с WireShark и смотреть, чего они там нахамутали...

Вот тут немного технической информации об этой базе: http://leveldb.googlecode.com/svn/trunk/doc/impl.html

P.S. И похоже, они таки сняли ограничение на размер кэша. Т.е. в настройках можно спокойно указать 10Гб и GE возражать не станет и после перезапуска настройки сохраняются.
Хитрости GoogleEarth - то, чего вы не знаете о гугле

За это сообщение автора zed поблагодарили: 3
Ivan30 (01 ноя 2012, 17:25) • rass (02 ноя 2012, 00:47) • samsomus (02 ноя 2012, 08:44)
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Google Earth

Сообщение zed » 11 ноя 2012, 14:08

Добрался наконец до кэша и посмотрел более внимательно, и вот что выяснилось:
1. Лимит на размер кэша все ещё действует
2. Тайлы в кэше лежат в оригинальном виде и вполне успешно распаковываются
3. Имена тайлов по-хитрому зашифрованы (см. ниже)
4. Кроме тайлов в кэше лежит ещё какой-то непонятный "мусор" (данные авторизации?)

Поскольку кэш построен на базе LevelDB, и эта самая БД поставляется в исходниках, то не составляет проблем получить кучу key-value данных из базы стандартной либой. Вопрос остаётся только за декодированием key в имена тайлов.

Вот пара примеров ключей (имена получены из сравнения value с тайлами из кэша GeoCacher-а):
скрытый текст: показать
_http://kh.google.com/flatfile?q2-0-q.541
Код: Выделить всё
Offset      0  1  2  3  4  5  6  7   8  9  A  B  C  D  E  F

00000000   1E 00 00 0B D2 1F 70 EC  4C 45 56 4C 4C 20 68 74       Ò pìLEVLL ht
00000010   74 70 3A 2F 2F 6B 68 2E  67 6F 6F 67 6C 65 2E 63   tp://kh.google.c
00000020   6F 6D 3A 38 30 2F 41 41  41 41 41 41 41 41 41 41   om:80/AAAAAAAAAA
00000030   41 41 41 41 41 41 41 41  41 41 41 42 30 43 67 41   AAAAAAAAAAAB0CgA
00000040   45 41 41 41 41 41 41 41  41 41 41 41 41 41 41 41   EAAAAAAAAAAAAAAA
00000050   41 3D                                              A=

_http://kh.google.com/flatfile?f1-0-i.535
Код: Выделить всё
Offset      0  1  2  3  4  5  6  7   8  9  A  B  C  D  E  F

00000000   1E 00 00 0B D2 1F 70 EF  7C 45 56 4C 4C 20 68 74       Ò pï|EVLL ht
00000010   74 70 3A 2F 2F 6B 68 2E  67 6F 6F 67 6C 65 2E 63   tp://kh.google.c
00000020   6F 6D 3A 38 30 2F 41 41  41 41 41 41 41 41 41 41   om:80/AAAAAAAAAA
00000030   41 41 41 41 41 41 41 41  41 41 41 42 63 43 67 67   AAAAAAAAAAABcCgg
00000040   45 41 41 41 41 41 41 41  41 41 41 41 41 41 41 41   EAAAAAAAAAAAAAAA
00000050   41 3D                                              A=

_http://khmdb.google.com/flatfile?db=tm&qp-0-q.94
Код: Выделить всё
Offset      0  1  2  3  4  5  6  7   8  9  A  B  C  D  E  F

00000000   1E 00 00 0B D2 1F 71 02  E8 45 56 4C 4C 20 68 74       Т q иEVLL ht
00000010   74 70 3A 2F 2F 6B 68 6D  64 62 2E 67 6F 6F 67 6C   tp://khmdb.googl
00000020   65 2E 63 6F 6D 3A 38 30  2F 3F 64 62 3D 74 6D 41   e.com:80/?db=tmA
00000030   41 41 41 41 41 41 41 41  41 41 41 41 41 41 41 41   AAAAAAAAAAAAAAAA
00000040   41 41 41 41 46 34 41 68  67 45 41 41 41 41 41 41   AAAAF4AhgEAAAAAA
00000050   41 41 41 41 41 41 41 41  41 41 3D                  AAAAAAAAAA=

key.zip
(605 байт) Скачиваний: 5

Делитесь, если у кого появятся мысли, как превратить эти AAAAAAAAAAA в нормальные имена тайов и что это может быть за бинарь перед текстом EVLL?

В аттаче утилита для распаковки key-value значений кэша GE 7.x (положить в папку c:\Users\%UserName%\AppData\LocalLow\Google\GoogleEarth\). Кэш должен быть в папке ./unified_cache_leveldb_leveldb2, распакованный вариант появится в ./level_db_key_value_raw.

level_db_extract.zip
Распаковщик key-value значений из кэша GE 7.x
(160.46 KiB) Скачиваний: 8
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Google Earth

Сообщение Parasite » 11 ноя 2012, 17:02

zed писал(а):Делитесь, если у кого появятся мысли, как превратить эти AAAAAAAAAAA в нормальные имена тайов

скрытый текст: показать
http://kh.google.com/flatfile?q2-0-q.541
AAAAAAAAAAAAAAAAAAAAAB0CgAEAAAAAAAAAAAAAAAA=
=> Decode_Base64 =>
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 1D 02 80 01 00 00 00 00 00 00 00 00 00 00 00 00
=>
1D 02 = 541
80 = тип тайла q2q?
01 = УРЛ?

http://kh.google.com/flatfile?f1-0-i.535
AAAAAAAAAAAAAAAAAAAAABcCggEAAAAAAAAAAAAAAAA=
=> Decode_Base64 =>
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 17 02 82 01 00 00 00 00 00 00 00 00 00 00 00 00
=>
17 02 = 535
82 = тип тайла f1i?
01 = УРЛ?

http://khmdb.google.com/flatfile?db=tm&qp-0-q.94
AAAAAAAAAAAAAAAAAAAAAF4AhgEAAAAAAAAAAAAAAAA=
=> Decode_Base64 =>
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 5E 00 86 01 00 00 00 00 00 00 00 00 00 00 00 00
=>
5E 00 = 94
86 = тип тайла qpq?
01 = УРЛ?

для определения поля УРЛ - надо бы больше примеров разных урлов но с одинаковой версией и типом тайлов. Дай кучку логов укачиваемого Q2 дерева на разных зумах?
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: Google Earth

Сообщение zed » 11 ноя 2012, 17:24

Parasite писал(а):=> Decode_Base64 =>

Ё-маё, я ж первым делом попробовал Base64, но получил невнятную коротенькую текстовую строку и сник :(
Parasite писал(а):80 = тип тайла q2q?

Похоже. В старом кэше были такие типы:
Код: Выделить всё
Q2TREE   = $80; // dec = 128
LAYER    = $81; // dec = 129
IMAGE    = $82; // dec = 130
HISTORY  = $82; // dec = 130 - same TID as IMAGE, but ULR's differets!
TERRAIN  = $83; // dec = 131
TEXTURE_TREE = $84; // dec = 132 - present in GE cache only! From internet this data url detected as LAYER
TEXTURE  = $85; // dec = 133
QPTREE   = $86; // dec = 134

Parasite писал(а):01 = УРЛ?

Скорее всего зум. А имя в следующих 8-ми байтах, как было в старом кэше.
Parasite писал(а):Дай кучку логов укачиваемого Q2 дерева на разных зумах?

Это достаточно затруднительно дать тебе именно q2, их же ещё сдетектить сперва нужно. Попробую с Base64 поиграться.
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Google Earth

Сообщение Parasite » 11 ноя 2012, 17:32

zed писал(а):
Parasite писал(а):=> Decode_Base64 =>

Ё-маё, я ж первым делом попробовал Base64, но получил невнятную коротенькую текстовую строку и сник :(
Попробую с Base64 поиграться.

Я обычно играюсь вот с этим урлом - http://www.motobit.com/util/base64-decoder-encoder.asp
Там можно ввести сабж и получить как текст (причем в настраиваемых чарсетах), так и качабельный файл с бинарью. Работает в обе стороны (энк\дек).
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Пред.

Вернуться в Другие

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1