Вернемся к Mysql

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модераторы: Tolik, zed

Вернемся к Mysql

Сообщение rokki » 14 янв 2009, 14:52

Вчера объединил все кеши которые у меня были. Итого - 214 Гб. Позиционировал область карты на 11 уровне и включил построение карты тайлов на 19 уровень. Итог - чтение с диска тайлов для построения карты заняло 9 минут. Жесть!
Резюме - надо делать индекс кеша и хранить его в локальной базе Mysql.
Для создания общего кеша в SAS заложена возможность использовать ФТП. Интересно, сколько времени займет сия операция при чтении тайлов по FTP?
Можно будет застрелиться сразу....
Итого- надо делать хранение индекса кеша локально и удаленно + писать механизм синхронизации индексов.
rokki
Соображающий
 
Сообщения: 68
Зарегистрирован: 28 ноя 2008, 21:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Вернемся к Mysql

Сообщение svp » 14 янв 2009, 15:12

rokki писал(а):Итого- надо делать хранение индекса кеша локально и удаленно + писать механизм синхронизации индексов.

+1

rokki писал(а):Резюме - надо делать индекс кеша и хранить его в локальной базе Mysql.

Надо делать индекс и хранение в Беркли. ИМХО. Мультибазовость взачтке, вроде, уже где-то продвигалась. А она тоже нужна. Ибо отделять фрагменты кеша сейчас -- это очень долго и напряжно. особенно на слабых компах, которые часто юзаются как серверы.
Аватара пользователя
svp
Советчик
 
Сообщения: 446
ICQ: 204094886
Зарегистрирован: 26 авг 2008, 11:14
Откуда: Белгород
Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Re: Вернемся к Mysql

Сообщение rokki » 14 янв 2009, 15:18

svp писал(а):
rokki писал(а):Итого- надо делать хранение индекса кеша локально и удаленно + писать механизм синхронизации индексов.

+1

rokki писал(а):Резюме - надо делать индекс кеша и хранить его в локальной базе Mysql.

Надо делать индекс и хранение в Беркли. ИМХО. Мультибазовость взачтке, вроде, уже где-то продвигалась. А она тоже нужна. Ибо отделять фрагменты кеша сейчас -- это очень долго и напряжно. особенно на слабых компах, которые часто юзаются как серверы.


Базовый индекс надо делать исключительно на Mysql как наиболее распространенной базе, которую можно интегрировать в веб проект.

А Беркли я бы использовал для экспорта кусков кеша в файл по выделенной области. Выделяем область на карте также как и для закачки только в диалоге есть дополнительная вкладка-экспорт в Беркли. Соответственно в программе должен быть импорт из беркли в основной кеш. А делать весь кешь и индекс на беркли - неразумно. База неизвестная, поддержки нет, код закрыт...

Экспорт в беркли нужен для обмена конкретными областями, например в оффлайне, для записи на ДВД или переносе на другой комп.
rokki
Соображающий
 
Сообщения: 68
Зарегистрирован: 28 ноя 2008, 21:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Вернемся к Mysql

Сообщение svp » 14 янв 2009, 15:57

rokki писал(а):Базовый индекс надо делать исключительно на Mysql как наиболее распространенной базе, которую можно интегрировать в веб проект.

Судя по описанию беркли интегрируется в веб-проект не хуже. Там есть примеры скриптов для перла и пхп в частности.

rokki писал(а):А Беркли я бы использовал для экспорта кусков кеша в файл по выделенной области. Выделяем область на карте также как и для закачки только в диалоге есть дополнительная вкладка-экспорт в Беркли. Соответственно в программе должен быть импорт из беркли в основной кеш. А делать весь кешь и индекс на беркли - неразумно.

Неразумно делать одно и то же дважды! Если будет беркли, то нафиг mysql?
А mysql не решает всех проблем.

250 гигов в него не зальёшь. А использовать такую многошерстность смысла я не вижу.
rokki писал(а):База неизвестная, поддержки нет, код закрыт...

Код открытый! Компиль кто хочешь. В поставке есть примеры для всего (кроме дельфи).

rokki писал(а):Экспорт в беркли нужен для обмена конкретными областями, например в оффлайне, для записи на ДВД или переносе на другой комп.

А так его можно было бы и хранить и одновременно использовать не вынимая из беркли. То есть. например, весь крым в отдельном файле, москва в отдельном, отдельные города и детальные области в отдельных больших файлах. Нужен конкретный город -- взял файл и ничего никуда вливать/переливать не надо.
Аватара пользователя
svp
Советчик
 
Сообщения: 446
ICQ: 204094886
Зарегистрирован: 26 авг 2008, 11:14
Откуда: Белгород
Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Re: Вернемся к Mysql

Сообщение rokki » 14 янв 2009, 16:23

svp писал(а):
rokki писал(а):Базовый индекс надо делать исключительно на Mysql как наиболее распространенной базе, которую можно интегрировать в веб проект.

Судя по описанию беркли интегрируется в веб-проект не хуже. Там есть примеры скриптов для перла и пхп в частности.


Это знаете вы. А 90% других юзеров про беркли слыхом не слыхивали.... Мускл подключается к аппачу через пхп одной dll-кой . У вас есть модуль Беркли к аппачу? Нету. Каким макаром вы будете интегрировать в SAS поддержку беркли баз? Вы хотите ковыряться в библиотеках беркли и писать все с нуля на АПИ? Похвально...Осталось попробовать ))) А для Mysql есть компоненты. ГОТОВЫЕ. и для Дельфи в том числе...для подключения к базе НАПРЯМУЮ из кода минуя ODBC драйвер.
Резюме - писать поддержку беркли для хранения кеша в этой базе - извращение для кодера и геморрой для юзера. Крякнется ваша база и трындец всему кешу (как у моего товарища 200 гиг в беркли ушло в корзину)
svp писал(а):
rokki писал(а):А Беркли я бы использовал для экспорта кусков кеша в файл по выделенной области. Выделяем область на карте также как и для закачки только в диалоге есть дополнительная вкладка-экспорт в Беркли. Соответственно в программе должен быть импорт из беркли в основной кеш. А делать весь кешь и индекс на беркли - неразумно.

Неразумно делать одно и то же дважды! Если будет беркли, то нафиг mysql?
А mysql не решает всех проблем.


Не дважды и не одно и тоже. Я предлагаю хранить только индекс тайлов в базе а не сами картинки. Сами картинки лежат на диске. Программа к ним обращается только когда нужно склеить файл. Во всех остальных случаях программа читает индекс и оперирует этими данными. Беркли можно просто прикрутить как плагин экспорта физического кеша в один файл для удобства транспортировки )))

svp писал(а):250 гигов в него не зальёшь. А использовать такую многошерстность смысла я не вижу.
rokki писал(а):База неизвестная, поддержки нет, код закрыт...

Код открытый! Компиль кто хочешь. В поставке есть примеры для всего (кроме дельфи).

rokki писал(а):Экспорт в беркли нужен для обмена конкретными областями, например в оффлайне, для записи на ДВД или переносе на другой комп.

А так его можно было бы и хранить и одновременно использовать не вынимая из беркли. То есть. например, весь крым в отдельном файле, москва в отдельном, отдельные города и детальные области в отдельных больших файлах. Нужен конкретный город -- взял файл и ничего никуда вливать/переливать не надо.


см. выше.

MODERATED BY SVP: Используйте, пожалуйста, цитирование корректно.
rokki
Соображающий
 
Сообщения: 68
Зарегистрирован: 28 ноя 2008, 21:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Вернемся к Mysql

Сообщение svp » 14 янв 2009, 16:51

rokki писал(а):А 90% других юзеров про беркли слыхом не слыхивали..

Юзерам знать не положено. Они будут иметь файл-хранилище участка кеша.

rokki писал(а):У вас есть модуль Беркли к аппачу?

Тоже подключается одной ДЛЛ-кой. И Апи есть для php, перла и иже с ними.
Нет только под дельфи и это, конечно, неудобно.

rokki писал(а):как у моего товарища 200 гиг в беркли ушло в корзину

Спроектирована было, значит, косо. Не использованы мощные механизмы восстановления, встроенные в беркли.

rokki писал(а):Сами картинки лежат на диске.

Недостатки хранения тайлов в файловой системе я уже описал здесь.

rokki писал(а):Программа к ним обращается только когда нужно склеить файл. Во всех остальных случаях программа читает индекс и оперирует этими данными.

Вы в который раз решаете за всех что уонкретно им нужно от Планеты. Мне клеить карты вообще никогда не нужно. Мне и многим Планета нужна для навигации, изучения и прокладки маршрутов.

rokki писал(а):Беркли можно просто прикрутить как плагин экспорта физического кеша в один файл для удобства транспортировки

Это решает только Ваши проблемы. Не будьте эгоистом.
Аватара пользователя
svp
Советчик
 
Сообщения: 446
ICQ: 204094886
Зарегистрирован: 26 авг 2008, 11:14
Откуда: Белгород
Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Re: Вернемся к Mysql

Сообщение rokki » 14 янв 2009, 17:22

Юзерам знать не положено. Они будут иметь файл-хранилище участка кеша.


Не надо решать за юзеров. Хранение тайлов на удаленном сервере в 1 файле беркли - интеграция этой базы в сайт - сбой базы на записи - до свиданья кеш. Вы это проходили? Думаю нет. А мы проходили. Прикручивали уже базы наработанные в ES.

Недостатки хранения тайлов в файловой системе я уже описал здесь.


Недостатков хранения в 1 файле гораздо больше. Вероятность потери всего кеша - гораздо худшее событие чем неприятное ожидание при копировании фрагмента на другой комп. Посему я и предложил использовать беркли для локальных целей - функция экспорта в файл. Функция импорта из файла. Все. У вас есть кеш на диске - режьте из него фрагменты и пишите куда хотите, храните его на разных компах и тд. В чем проблема то ? Не храните яйца в одной корзине...

Вы в который раз решаете за всех что уонкретно им нужно от Планеты. Мне клеить карты вообще никогда не нужно. Мне и многим Планета нужна для навигации, изучения и прокладки маршрутов.


И что это меняет ? Я ничего не решаю за других. У вас есть возможность выкачивать тайлы с карт сервисов? Есть. Вам лень придумать способ перенести кеш? Планета занимается выкачкой, навигацией, маршрутизацией и склейкой карт. А не транспортировкой кеша. Вам нужно куда то что то носить? Придумайте способ.


----------
Вот опять пришел rokki и все опошлил...©
[!]MODERATED:OFFTOPIC
rokki
Соображающий
 
Сообщения: 68
Зарегистрирован: 28 ноя 2008, 21:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Вернемся к Mysql

Сообщение zed » 14 янв 2009, 20:58

rokki писал(а):Не надо решать за юзеров. Хранение тайлов на удаленном сервере в 1 файле беркли - интеграция этой базы в сайт - сбой базы на записи - до свиданья кеш. Вы это проходили? Думаю нет. А мы проходили. Прикручивали уже базы наработанные в ES.

Не подскажите как вы прикручивали базы Беркли? Хочется попробовать что это за зверь :)
Хитрости GoogleEarth - то, чего вы не знаете о гугле
Аватара пользователя
zed
Гуру
 
Сообщения: 1519
ICQ: 357167611
Зарегистрирован: 16 авг 2008, 20:21
Откуда: Беларусь, Могилёв
Благодарил (а): 37 раз.
Поблагодарили: 177 раз.

Re: Вернемся к Mysql

Сообщение rokki » 15 янв 2009, 16:12

zed писал(а):
rokki писал(а):Не надо решать за юзеров. Хранение тайлов на удаленном сервере в 1 файле беркли - интеграция этой базы в сайт - сбой базы на записи - до свиданья кеш. Вы это проходили? Думаю нет. А мы проходили. Прикручивали уже базы наработанные в ES.

Не подскажите как вы прикручивали базы Беркли? Хочется попробовать что это за зверь :)




Надо моего кодера спросить.
А тут сорцы есть
http://www.oracle.com/technology/softwa ... index.html

Кстати Мускл поддерживает работу с таблицами беркли баз
rokki
Соображающий
 
Сообщения: 68
Зарегистрирован: 28 ноя 2008, 21:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Вернемся к Mysql

Сообщение rokki » 15 янв 2009, 16:17

http://ace.florin.ru/doc/perl/lib/DB_Fi ... keley_DB_v

Доступ к базе беркли перлом
rokki
Соображающий
 
Сообщения: 68
Зарегистрирован: 28 ноя 2008, 21:57
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 19

cron