Решение проблемы перемещения кэша

Обсуждение различной информации связанной с картографией, а так же сторонние программные продукты

Модераторы: Tolik, zed

Re: Решение проблемы перемещения кэша

Сообщение vdemidov » 23 дек 2009, 15:44

На самом деле, эти полумеры, скорее всего, ничего не решают. Ибо ОС как лазила по куче мелких файлов так и продолжить лазить. Еще и добавяться ограничения самого контейнера. А единственный плюс что можно это все как единый объект скопировать.
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1166
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 92 раз.
Поблагодарили: 52 раз.

Re: Решение проблемы перемещения кэша

Сообщение ZmeiGorinich » 23 дек 2009, 16:00

Ребят, такой нескромный вопрос - а у вас цель - скачать всю Землю? ;) Вот у меня есть моя область, плюс пару городов, которые мне нужны. И всё.
Это я вот к чему - а какой объём кэша лично вы хотите набрать? 10 гигов, 100 гигов, терабайт? Может и не надо придумывать базы данных - и так всё хорошо работает, даже с пресловутым TrueCrypt'ом.
Боюсь, что попытка сделать некую базу и прикрутить к Планете сделает эту самую Планету несколько неповоротливой. Она ведь сейчас такая "легкая и пушистая" :) Может не надо БД, а? ;)
Аватара пользователя
ZmeiGorinich
Соображающий
 
Сообщения: 68
ICQ: 341401656
Зарегистрирован: 07 дек 2009, 02:43
Откуда: Тверь
Благодарил (а): 0 раз.
Поблагодарили: 1 раз.

Re: Решение проблемы перемещения кэша

Сообщение vdemidov » 23 дек 2009, 16:12

Спокойствие, только спокойствие. База если и будет (а она рано или поздно таки будет), то как отдельно подключаемая альтернатива. Так что желающие ганяться за терабайтами кеша смогут на нее переключиться, а все остальные будут пользоваться так же как и пользовались :)
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1166
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 92 раз.
Поблагодарили: 52 раз.

Re: Решение проблемы перемещения кэша

Сообщение Papazol » 26 дек 2009, 20:58

Сегодня замыслил перенести накачанное на ноутбук, чтобы можно было ездить с ним. Использовал два способа: простое копирование на SD-карту, вставленную в картридер, и архиватор bsdtar. Результаты неутешительные: оба способа оказались весьма долгими. Причём просто копирование понятно, почему долгое. А вот с таром... Да, создаёт он архив очень быстро. Например, около 90 тысяч тайлов запаковал минут за 5. А вот обратный процесс... На воссоздание этих 90 тыс. файлов ушло часа 3. И это всё из-за того, что на карту разархивировал. И есть ещё один недостаток, резко ограничивающий применение tar: он требует, чтобы и архив, и место назначения лежали в одной папке. А если там не хватает места для обоих? Что-то я не обнаружил способа указать, что разархивировать надо в другую папку. Если такой существует, может, нацелите меня?
Аватара пользователя
Papazol
Гуру
 
Сообщения: 1210
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 29 раз.
Поблагодарили: 147 раз.

Re: Решение проблемы перемещения кэша

Сообщение vdemidov » 26 дек 2009, 21:08

Ну, если намерены использовать именно с CD-карточки на ноуте, то я бы очень порекомендовал какой-нибудь контейнер. Например тот же трукрипт. Флешка не расчитана на такое количество файлов.
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1166
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 92 раз.
Поблагодарили: 52 раз.

Re: Решение проблемы перемещения кэша

Сообщение Parasite » 27 дек 2009, 19:12

Papazol писал(а):На воссоздание этих 90 тыс. файлов ушло часа 3.

Скорость обмена с флешкой (особенно по RANDOM_WRITE) - в студию. Не удивляйтесь, если она окажется В РАЗЫ ниже скорости современных винчестеров.
Ну и плюс общую сабжевую геморройность работы оси с кучей мелких файлов.

Papazol писал(а):И есть ещё один недостаток, резко ограничивающий применение tar: он требует, чтобы и архив, и место назначения лежали в одной папке.

Ой какая прэлесть....Это вам tar сказал, или это Вы сами за него придумали? :lol:

tarz <папка_для_переноса> <имя_контейнера.tgz>
где в <имя_контейнера.tgz> использовать абсолютные, а не относительные пути (типа "Z:\gde_to_tam\cache.tgz").

vdemidov писал(а):Флешка не расчитана на такое количество файлов.

Ну на самом-то деле именно флешке все равно - там точно та же ФС что и везде, FAT(32) в подавляющем большинстве случаев.
Другой вопрос - про скорость обмена, и тут уже далеко всё не так радужно.. :x

ZmeiGorinich писал(а):Ребят, такой нескромный вопрос - а у вас цель - скачать всю Землю?

Ну разумеется. Причем по всем доступным сервисам. Да еще и чтобы свободное место после этого осталось.
А Вы, собственно - против? :ugeek:
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: Решение проблемы перемещения кэша

Сообщение vdemidov » 27 дек 2009, 19:41

Parasite писал(а):
vdemidov писал(а):Флешка не расчитана на такое количество файлов.

Ну на самом-то деле именно флешке все равно - там точно та же ФС что и везде, FAT(32) в подавляющем большинстве случаев.
Другой вопрос - про скорость обмена, и тут уже далеко всё не так радужно.. :x

тут я не совсем согласен. На чтение да, без разницы, а вот запись.... Просто запись в флешке идет сразу большими блоками, а при записи любомго мелкгого файла на FAT32 операционной системе необходимо записать собственно запись в FAT. И после каждого файла этот сектор флешки перезаписывается. Вот и выходит, что линейная скорость записи на флешку может быть большой, но скорость записи одного файла включает время на перезапись FAT. И оно отнють немаленькое.
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1166
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 92 раз.
Поблагодарили: 52 раз.

Re: Решение проблемы перемещения кэша

Сообщение Parasite » 27 дек 2009, 21:10

vdemidov писал(а):тут я не совсем согласен. На чтение да, без разницы, а вот запись.... Просто запись в флешке идет сразу большими блоками, а при записи любомго мелкгого файла на FAT32 операционной системе необходимо записать собственно запись в FAT.

И флешка, и винт (и дискета, и сидюк, итд) - это всё блочные девайсы, и принципы работы с ними по большому счету одинаковы. И там, и там внесение записи в ФАТ при добавлении файла - необходимо.
И если при юзании винта (и другого fixed storage) область FATа как правило несколько раз буферизируема (в кэше оси, в кэше драйвера, во внутреннем кэше винта итд - в никсах например можно отдать всю доступную физ.память под volume cache например, и это включено по умолчанию) - то в случае removable volume чем больше буфер, тем больше потери и повреждения ФС при (случайном) вытыке носителя, и ось старается выбрать оптимальный размер буфера. Для removable volume размер буфера во много раз меньше чем для fixed, чем достигается гораздо более уверенная запись на сменный носитель - но в ущерб скорости, так как меньший буфер подразумевает бОльшую вероятность попадания "в носитель" при рандомном доступе, и где блочный носитель изначально в разы более медленен чем его буфер в памяти, и в те же разы больше по размерам. Интересующимся данным вопросом рекомендую провести сравнительный анализ в однозадачной оси (например ДОСе) со включенной буферизацией носителя в РАМе (например путем smartdrv.exe) и без оного, особенно в плане рандомного доступа.

PS: Лично я например вообще буфер на сьемный носитель отключаю, от греха.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: Решение проблемы перемещения кэша

Сообщение Papazol » 28 дек 2009, 15:19

Parasite писал(а):
Papazol писал(а):И есть ещё один недостаток, резко ограничивающий применение tar: он требует, чтобы и архив, и место назначения лежали в одной папке.

Ой какая прэлесть....Это вам tar сказал, или это Вы сами за него придумали? :lol:

tarz <папка_для_переноса> <имя_контейнера.tgz>
где в <имя_контейнера.tgz> использовать абсолютные, а не относительные пути (типа "Z:\gde_to_tam\cache.tgz").


Если почитать мой пост внимательно, то можно заметить, что речь шла не о создании архива, а о его распаковке. Так есть способ или нет?
Заранее приношу свои извинения, очень не хочу никого обижать, но масса теоретических положений, высказанных в связи с этой темой, не ведёт к результату. Если есть хорошие практические советы - как говорится, в студию. Многие, и я в их числе, не являются программистами, не используют ничего, кроме детища Б. Гейтса. На форум мы обращаемся за помощью.
Аватара пользователя
Papazol
Гуру
 
Сообщения: 1210
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 29 раз.
Поблагодарили: 147 раз.

Re: Решение проблемы перемещения кэша

Сообщение mansyr » 28 дек 2009, 21:19

Привет feya.
На форуме про генштаб не могу найти. Хотел написать, что у меня есть карта генштабовская 500м. Северного Кавказа, как мне его Вам прислать, у Вас в проге его нету. Мне нужно было его смотреть в САС.Планете.
Извиняюсь, что не по теме.
mansyr
Новичок
 
Сообщения: 16
Зарегистрирован: 31 июл 2009, 17:22
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Пред.След.

Вернуться в Другие

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1