ESRI (arcgisonline.com)

Модераторы: Tolik, zed

ESRI (arcgisonline.com)

Сообщение vasketsov » 07 авг 2012, 02:55

Тема касается скачки покрытия и его метаданных с сервиса
http://server.arcgisonline.com/ArcGIS/r ... apServer/0

Скачка сделана через перловый скрипт. Параметрами скрипта можно рулить в рамках собственных способностей.
Скачка идёт по годам. Если за год получается более 500 объектов - качается помесячно.
Если в месяце более 500 - будет облом, но пока такого не было, если не жадничать ))).
Перл забирается с сайта activestate.com (любая новая версия ActivePerl).

Вызывается он батником в виде
perl.exe esri_downloader.pl 1 26 40 74 80
для скачивания участка, ограниченного прямоугольником,
или
perl.exe esri_downloader.pl 0
для скачивания по "имени".

esri_downloader.pl (с батниками) лежит тут
http://narod.ru/disk/58993474001.542f28 ... r.rar.html

Результат скачки в пямоугольнике 26 40 74 80 (это lon lat min max) лежит тут (дабы всем не насиловать сервис):
http://narod.ru/disk/58993566001.c1d3a1 ... 8_06_(4087).rar.html
Там лежит кучка kmz + лог, всего 4087 объектов с метаданными, но при закгрузке в сас их будет больше ем 4087 по причине деления многокомпонентных мультиполигонов.
После того как я только что переделал импорт kmz, все эти объекты могут быть легко загружены в сас импортом всей кучи.
vasketsov
Специалист
 
Сообщения: 727
Зарегистрирован: 25 июл 2009, 21:15
Благодарил (а): 0 раз.
Поблагодарили: 153 раз.

Re: ESRI (arcgisonline.com)

Сообщение vasketsov » 07 авг 2012, 13:11

Наблюдать сие в онлайне можно либо на портале
http://www.arcgis.com/home/webmap/viewer.html
если там выбрать "Базовая карта" - "Изображение" (самый первый пункт)
либо
на портале росреестра, если в качестве подложки включить ESRI.

зы. Для труъ-хакеров и прочих специалистов вопрос: какого фига обрезано покрытие примерно чуть севернее Омутнинска ровно по параллели, хочу выше что-нибудь ))))).
vasketsov
Специалист
 
Сообщения: 727
Зарегистрирован: 25 июл 2009, 21:15
Благодарил (а): 0 раз.
Поблагодарили: 153 раз.

Re: ESRI (arcgisonline.com)

Сообщение Papazol » 07 авг 2012, 14:25

vasketsov писал(а):perl.exe esri_downloader.pl 0
для скачивания по "имени".

Что в данном случае считается "именем"?
Аватара пользователя
Papazol
Гуру
 
Сообщения: 1210
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 29 раз.
Поблагодарили: 147 раз.

Re: ESRI (arcgisonline.com)

Сообщение vasketsov » 07 авг 2012, 15:48

Под именем понимается параметр NICE_NAME.
То есть формируется строка where типа "(NICE_NAME like '%Europe%')".
Для примера - открываем страничку Query (линк вверху темы), там вбиваем (NICE_NAME like '%Europe%') в поле where и звёздочку в поле Return Fields (Comma Separated), после жмакаем на GET - ждём и получаем не более 500 объектов.

Но так как не у всех "европейских" снимков параметр NICE_NAME включает в себя Europe - это осталось не более чем стартовой опцией на поиграться (и соответственно имя не вынесено в параметры скрипта).
Для выкачивания kmz рекомендуется выкачивать по прямоугольным координатам.
vasketsov
Специалист
 
Сообщения: 727
Зарегистрирован: 25 июл 2009, 21:15
Благодарил (а): 0 раз.
Поблагодарили: 153 раз.

Re: ESRI (arcgisonline.com)

Сообщение Parasite » 07 авг 2012, 16:37

А как быть если объектов больше 500?
Это, как я понимаю - сабжево:
Код: Выделить всё
ERROR: 544 objects for 201102
ERROR: 732 objects for 201103
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: ESRI (arcgisonline.com)

Сообщение vasketsov » 07 авг 2012, 16:39

Parasite писал(а):А как быть если объектов больше 500?
Это, как я понимаю - сабжево:
Код: Выделить всё
ERROR: 544 objects for 201102
ERROR: 732 objects for 201103

Да. Это оно и есть.
Уменьшить площадь например.
vasketsov
Специалист
 
Сообщения: 727
Зарегистрирован: 25 июл 2009, 21:15
Благодарил (а): 0 раз.
Поблагодарили: 153 раз.

Re: ESRI (arcgisonline.com)

Сообщение Parasite » 07 авг 2012, 16:44

vasketsov писал(а):Уменьшить площадь например.

Ну я ж в своем репертуаре - недолго думая дал perl esri_downloader 1 -180 -90 180 90 :oops:
Пока что тянет (исключая нечастые ошибки "over 500"), как утащит - разберусь с ошибочными и вывалю все это оптом на торренты. Чего сервис насиловать...
The only difference between me and a mad man is that I am not mad. /Salvador Dali/

За это сообщение автора Parasite поблагодарил:
Dima2000 (07 авг 2012, 17:13)
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: ESRI (arcgisonline.com)

Сообщение vasketsov » 07 авг 2012, 17:10

Лучше б в несколько потоков квадратами градусов по 40 запустил бы )))
Потом замучаешься разбираться, если всё целиком, ну не по дням же качать.
Или например "полосками" по тому же делению, что и высоты ты накачал.
Кроме того, там же всё равно периодически обновления бывают, отслеживать их проще небольшими кусками.
vasketsov
Специалист
 
Сообщения: 727
Зарегистрирован: 25 июл 2009, 21:15
Благодарил (а): 0 раз.
Поблагодарили: 153 раз.

Re: ESRI (arcgisonline.com)

Сообщение Parasite » 07 авг 2012, 18:16

Та я сугубо в тестовом режиме пока что. :)

Но вот что-то оно как-то хитро качает. Вот например про 2012 - вообще ни одного файла не скачало и ошибок не дало, хотя даже в твоем архиве в первом посте - они есть. А на 2011й - скачало кучку здоровенных КМZ (то есть, по идее - таки работает). То ли оно еще и сервером обрезается при больших размерах, то ли еще как...
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: ESRI (arcgisonline.com)

Сообщение Papazol » 08 авг 2012, 01:34

Parasite писал(а): и вывалю все это оптом на торренты.

Есть ли смысл качать ВСЁ? Как разбираться потом, что нужно, что нет? Разбивка по датам, а не по местностям. Проще скачивать каждому для интересующего района. А то marks.sml весьма разрастается, ворочать его тяжело.
Аватара пользователя
Papazol
Гуру
 
Сообщения: 1210
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 29 раз.
Поблагодарили: 147 раз.

След.

Вернуться в Другие сервисы

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 11

cron