Объем данных на Google Earth v2

Обсуждаем сервисы Google Maps и Google Earth™

Модераторы: Tolik, zed

Объем данных на Google Earth v2

Сообщение gpsMax » 26 май 2012, 20:10

По мотивам малопонятной темы. А, действительно, попробуем посчитать объём всех гуглоснимков на пальцах.

Тайлов каждого следующего зума ровно в 4 раза больше предыдущего. То есть,
N(1)=1 (4^0)
N(2)=4 (4^1)
...
N(14)=4^13=2^26=64M
...
(кстати, здесь и далее я буду пользоваться номерами зумов, используемыми в САС.Планете - просто для удобства)

Для размера одного тайла гугловских снимков, на мой взгляд, неплохой оценкой будет 10 кБ. Заодно и круглой.

Дальше, надо сказать про различное разрешение снимков:
- Базовое покрытие (Ландсат). Этими снимками покрыта вся площадь планеты. Имеет смысл качать до 14-го зума.
- Снимки среднего качества. В качестве примера далеко ходить не надо, это большая часть территории Украины и Белоруссии. Имеет смысл качать до 16-го зума
- Снимки высокого качества. Ну, посморите, вон, на Москву. Имеет смысл качать до 18-го зума
- Снимки сверхвысокого качества. Например, Нью-Йорк, остающийся чётким до 20-го зума

Итак, базовое покрытие всей площади Земли будет занимать
z14: 4^13*10к = 2^26*10к = 2^36*10 = 640 ГБ
Плюс учтём все вышележащие слои для комплекта, это третья часть - около 210 ГБ. Всего в сумме получается 850 ГБ
Еще терпимо, но это только начало. Дальше области среднего качества. Ну, возьмём, навскидку, что это процентов так 20 покрытия.
z15: 0,2*4^14*10к = 2^29к = 512 ГБ
z16: 0,2*4^15*10к = 2*2^30к = 2 ТБ
А впереди еще высокое разрешение - скажем, 5% покрытия
z17: 0,05*4^16*10к = 0,5*2^32к = 2*2^30к = 2 ТБ
z18: 0,05*4^17*10к = 0,5*2^34к = 8*2^30к = 8 ТБ
Долю снимков со сверхвысоким разрешением оценить не возьмусь, поскольку они меня как-то никогда особо не интересовали.

В общем, вывод: полный объём спутниковых снимков гугла укладывается в полтора десятка терабайт. Ну, плюс-минус.

Уточнения и дополнения приветствуются :-)
gpsMax
Постигающий Дао
 
Сообщения: 142
Зарегистрирован: 02 апр 2010, 23:58
Благодарил (а): 44 раз.
Поблагодарили: 9 раз.

Re: Объем данных на Google Earth v2

Сообщение zed » 26 май 2012, 20:31

На поверхности Земли суша занимает 29% от всей поверхности. Поэтому предлагаю, каждую цифру ещё умножить на 0,3 :)
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Объем данных на Google Earth v2

Сообщение gpsMax » 26 май 2012, 23:08

Кстати, да, упустил этот момент. Причём, гугл хитрый, для морей и океанов у него вообще даже 14-го зума нет, оказывается. Ну, тогда поправка: 4-5 терабайт на всю Землю. Цифра уже интереснее получается :-)
gpsMax
Постигающий Дао
 
Сообщения: 142
Зарегистрирован: 02 апр 2010, 23:58
Благодарил (а): 44 раз.
Поблагодарили: 9 раз.

Re: Объем данных на Google Earth v2

Сообщение Parasite » 27 май 2012, 07:27

gpsMax писал(а):По мотивам малопонятной темы. А, действительно, попробуем посчитать объём всех гуглоснимков на пальцах.
Для размера одного тайла гугловских снимков, на мой взгляд, неплохой оценкой будет 10 кБ. Заодно и круглой.
Итак, базовое покрытие всей площади Земли будет занимать
z14: 4^13*10к = 2^26*10к = 2^36*10 = 640 ГБ
Плюс учтём все вышележащие слои для комплекта, это третья часть - около 210 ГБ. Всего в сумме получается 850 ГБ
Еще терпимо, но это только начало. Дальше области среднего качества. Ну, возьмём, навскидку, что это процентов так 20 покрытия.
z15: 0,2*4^14*10к = 2^29к = 512 ГБ
z16: 0,2*4^15*10к = 2*2^30к = 2 ТБ
А впереди еще высокое разрешение - скажем, 5% покрытия
z17: 0,05*4^16*10к = 0,5*2^32к = 2*2^30к = 2 ТБ
z18: 0,05*4^17*10к = 0,5*2^34к = 8*2^30к = 8 ТБ

Непонятно с какого отдельно взятого пальца эти цифры были высосаны, когда в малопонятной теме есть уже конкретные данные о том что 14й зум по космоснимкам весит вполне конкретные 8 595 804 тайлов\97.69Gb (по состоянию на версию 403) безо всяких виляний предположениями по мутной воде домыслов. Ан нет, надо было открыть еще более малопонятную и намного менее точную тему....
Отсюда, умножая на 4 - с достаточно высокой точностью получаем зумы 15...19, ибо то что есть на 14м - практически гарантированно идет по 19й (Океаны кончаются на 9м зуме, тянутый Ландсат на 12м. В статистике соседней темы прекрасно видно изменение соотношения числа тайлов - между 9м и 10м зумами, оно резко "проваливается" и уже не соответствует "z10=z9*4", это как раз отсутствие океанов на 10м и ниже. В новых версиях из-за переделанной раскраски - хайреса на начальных зумах уже не видно глазками но он по-прежнему есть внизу, и совершенно непонятно с какого перепугу он начался у Вас только с 17го уровня и по 19й, хотя по идее его надо считать с 12го. То, что он перекрашен сверху в зеленый цвет - еще не показатель того, что это надо игнорировать в расчетах. Это все те же тайлы, которые все так же занимают свое место).
А вот 20++ - уже весьма и весьма точечно, и ими можно пренебречь.
Суммируя - получаем нужное.

То же самое - и по другим данным (бо в той малопонятной теме представлены данные не только по космоснимкам, и например ландшафта в том же гугле ничуть не меньше чем картинок).

Да, и кстати - особое внимание надо обращать на число тайлов, а не на размер оных. Если выкачать гигабайт одним файлом займет не слишком большое время (минуты, в моем случае) - то тот же гигабайт в виде миллионов запросов\ответов\сохранений мелких файлов занимает гораздо более долгое время еще задолго до того как скукожится винда от такого числа мелких файлов в $MFT. Например даже дерево 16го уровня ((z12 = 1 950 585 тайлов\372.20 Mb) * 4 * 4 * 4 * 4) в моем случае НЕ УСПЕВАЕТ выкачиваться даже за 2 недели (а потом это дерево полностью меняется и надо начинать качать сначала), хотя по данным там всего 81гиг, которые при их гугловой скорости - вполне могли бы вынуться даже за сутки, но вот число файлов и соответственно I\O операций по ним попробуйте посчитать сами... Это основная проблема при скачке ВСЕГО гугла с его долбаными темпами обновлений. :(

В общем и целом, необходимости в этой малопонятной теме - не вижу, всё что тут пытается посчитаться - давно есть в конкретной статистике соседней темы и во встроенном виндовом калькуляторе - sapienti sat.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: Объем данных на Google Earth v2

Сообщение gpsMax » 27 май 2012, 09:08

Та тема малопонятна, поскольку неясно, что лежит на диске выкачанного, а что в целом на серверах гугла. Интересно именно второе, как более общий случай. Если есть точная статистика - хорошо, но надо указывать, что вот это я выкачал, а это предположительно всего.

Отсюда, умножая на 4 - с достаточно высокой точностью получаем зумы 15...19, ибо то что есть на 14м - практически гарантированно идет по 19й (Океаны кончаются на 9м зуме, тянутый Ландсат на 12м.

А вот и нет. Тянутый Ландсат виден до 15-го зума, как несложно убедиться. Я взял в качестве базового 14-й, ибо на нём появляются области высокого разрешения, это ценно в плане их определения и дальнейшей закачки. У яндекса, например, это 11-й, но тема здесь про гугл.

В общем и целом, необходимости в этой малопонятной теме - не вижу

Вот только не надо её удалять, как ты сделал с моим комментарием там. Что за административное недержание такое? Кстати, я своих пользователей никогда не называл хомячками, во многих областях знания большинство из них разбираются куда как лучше меня.

Суммируя - получаем нужное.

Так сколько и с какой точностью?
gpsMax
Постигающий Дао
 
Сообщения: 142
Зарегистрирован: 02 апр 2010, 23:58
Благодарил (а): 44 раз.
Поблагодарили: 9 раз.

Re: Объем данных на Google Earth v2

Сообщение Parasite » 27 май 2012, 09:32

gpsMax писал(а):Та тема малопонятна, поскольку неясно, что лежит на диске выкачанного, а что в целом на серверах гугла. Интересно именно второе, как более общий случай. Если есть точная статистика - хорошо, но надо указывать, что вот это я выкачал, а это предположительно всего.

Вам разжевать оборот "Обьем считается по всем возможным\всем имеющимся на данном уровне данным (т.е. весь мир", использованном в шапке малопонятной Вам темы "Объемы данных на Google Earth"?
Вы где-то в подчеркнутом видите слова "что лежит на диске выкачанного", или Вы просто не потрудились прочитать и осмыслить шапку?

gpsMax писал(а):
Отсюда, умножая на 4 - с достаточно высокой точностью получаем зумы 15...19, ибо то что есть на 14м - практически гарантированно идет по 19й (Океаны кончаются на 9м зуме, тянутый Ландсат на 12м.

А вот и нет. Тянутый Ландсат виден до 15-го зума, как несложно убедиться.

Меня не интересует, насколько и где что там кому видно. Растянуть Ландсат можно и до 24го, и до 124го включительно - интерполяцию еще никто не отменял, и клиент ею занимается часто и с наслаждением.
Провалы по числу тайлов на 10...12м уровнях (вызванные переходом с ландсата на хайрес) тоже вполне присутствуют в статистике той темы точно так же, как провалы при "отмене" океанов.

Да, и кстати на погоны - океаны "отменяются" не резко и по всей площади, а оставлены горизонтальными\вертикальными полосками в 1-2 тайла более высокого разрешения ("разлинованы в клеточку", где в самих клеточках тайлов уже нет - а границы еще есть. А на другом зуме - уже другая картина (в другом месте разлиновка, но с тем же смыслом). Это сделано для того, чтобы клиент интерполировал не 9й-10й зум, а данные более верхней\более соседней разлиновки (без необходимости хранения "полной версии" океанов, ибо монотонный синий квадрат с минимумом мелких деталей без визуальных искажений можно тянуть намного сильнее, чем тот же Ландсат).
Наличие этих тайлов Вам тоже придется учесть и приплюсовывать, и никакой приблизительной логикой Вы их количество заранее не предскажете.

gpsMax писал(а):
В общем и целом, необходимости в этой малопонятной теме - не вижу

Вот только не надо её удалять, как ты сделал с моим комментарием там. Что за административное недержание такое? Кстати, я своих пользователей никогда не называл хомячками, во многих областях знания большинство из них разбираются куда как лучше меня.

Удаленный комментарий не нес никакой смысловой нагрузки в свете обсуждаемой там темы (как и данная часть вот этого вот комментария - тоже).
Правила, 3.1+3.5. Ближе к теме, как говорил Мопассон.
Да, кстати - "хомячки" от слова "home[page]", а не от названия животного (как раз оно-то тут и ни при чем). В общем и целом, это собирательное название постоянных посетителей\комментаторов чьей-то страницы\сайта - щоб Вi знали. Никакого оскорбительного подтекста оно не несет - я вот тоже хомячок на не принадлежащем лично мне домене sasgis (причем похомячней многих, судя по количеству псто), и чо?

gpsMax писал(а):
Суммируя - получаем нужное.

Так сколько и с какой точностью?

На 100% точно можно будет сказать лишь выкачав оный и посчитав статистику пофайлово (и не забывая, что в следующей версии цифирки могут\будут изменяться, а версии у гугла идут 2 раза в неделю, то есть для полной актуальности всю задачу надо будет выполнять с нуля каждые 3.5 дня). Именно для того и была открыта ТА тема, и если у Вас возникли непонимания по приведенным ТАМ данным или интерпретации оных - то надо было и задать вопрос ТАМ.
А для чего открыта вот эта вот тема? Для упражнений в предсказаниях и домыслах, с мерой конкретики стремящейся к нулю? Проверить-то можно будет только выкачав - а как только выкачается, то оно будет достойно ТОЙ темы а не этой.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: Объем данных на Google Earth v2

Сообщение Parasite » 02 июн 2012, 17:53

Кстати, уточненные данные после перекраски GE гулом:
z14: 8 640 628 тайлов \ 91.35Gb (версия GE 497). Можно сравнить с 8 595 804 тайлов \ 97.69Gb в 403й (задолго до перекраски - коя была в 465й версии).
z15 - 32 476 756 тайлов, z16 - 85 832 896 тайлов.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.


Вернуться в Google Maps + Google Earth™

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3

cron