Опция: "Заменять старые файлы - Только при их различии"

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модераторы: Tolik, zed

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Parasite » 02 июл 2011, 20:33

divinets писал(а):
vasketsov писал(а):Весь. Целиком. Полностью. До конца. С начала.

Не совсем верно. Только что затестил, те тайлы, что совпадают, не закачиваются целиком, т.е. экономия все-таки есть.

Это если посылка сервера не лезет в один пакет (гуглить MTU) - анализируя хидер и найдя в нем нужное, нет нужды принимать остаток посылки и можно делать SOCKET_DISCONNECT.
Если же тайл ЛЕЗЕТ в один пакет, либо в хидере нет Content-Lenght или Last-Modified итэдэ - то принимать его необходимо весь, сколько бы сервер ни отдал. Хоть гигабайт...
The only difference between me and a mad man is that I am not mad. /Salvador Dali/

За это сообщение автора Parasite поблагодарили: 2
rsuan (02 июл 2011, 20:35) • vdemidov (02 июл 2011, 21:24)
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Tolik » 02 июл 2011, 20:41

rsuan писал(а):Если, конечно, опять кто-то не будет утверждать, что тайл скачивается весь :)

Я таки буду это утверждать.
Вот вам окно Wireshark. Я, кажется, повторяю это слово уже 3-й раз и, надеюсь, последний.
Вот пакет, которые пришёл на мой комп, когда тайл уже был в кэше и стояла опция "только при различии".
Он пришёл целиком. Может быть, SAS.Planet его проигнорировала, отбросила, не знаю. Но до моей сетевой карты он добрался и счётчик трафика его посчитал.
2011-07-02_203126.gif

В этом примере получилось: png-файл 8553 байта, весь пакет 8798 байт, состоит из 7 TCP-сегментов.

За это сообщение автора Tolik поблагодарил:
rsuan (02 июл 2011, 20:44)
Tolik
Гуру
 
Сообщения: 1624
Зарегистрирован: 28 янв 2011, 10:38
Благодарил (а): 68 раз.
Поблагодарили: 242 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение rsuan » 02 июл 2011, 20:51

Вот же ёлки-палки... Может быть Tolik и divinets тестировали разные карты? Как говорит Parasite, если в заголовке нет данных о размере или дате файла, то файл приходится скачивать весь, может у Tolik'а как раз этот случай, а у divinets - нет? Меня больше интересуют карты Google-Спутник.
У Tolik'а прошу прощения, что не юзаю ещё Wireshark.

Parasite, посмотрел в Википедии про MTU. Для интернета он равен 576 байт, а размеры тайлов у Google-Спутник обычно гораздо больше. Значит если бы Google-Спутник посылал данные файла в заголовке, то выигрыш трафика был бы значительный.
rsuan
Новичок
 
Сообщения: 44
Зарегистрирован: 18 июн 2011, 17:46
Благодарил (а): 32 раз.
Поблагодарили: 2 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Tolik » 02 июл 2011, 21:07

rsuan писал(а):Вот же ёлки-палки... Может быть Tolik и divinets тестировали разные карты? Как говорит Parasite, если в заголовке нет данных о размере или дате файла, то файл приходится скачивать весь, может у Tolik'а как раз этот случай, а у divinets - нет? Меня больше интересуют карты Google-Спутник.
У Tolik'а прошу прощения, что не юзаю ещё Wireshark.

Так поюзайте его, сразу всё будет понятно.
Что за картинку показал divinets - не знаю, жду, когда он объяснит.
Данные о размере в заголовке есть, посмотрите же на скриншот, наконец.
Я думаю, карты ни при чём. Просто SAS.планета так работает. То есть скачивает целиком и не парится.

Да и кто нынче считает трафик? Вам через GPRS всю Россию выкачать надо, что ли?
Tolik
Гуру
 
Сообщения: 1624
Зарегистрирован: 28 янв 2011, 10:38
Благодарил (а): 68 раз.
Поблагодарили: 242 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение divinets » 02 июл 2011, 21:17

С ГуглСАТ в принципе так же, но немного странно. Одни и те же тайлы, то докачиваются до конца, по ним нет дисконнекта, то дисконнектят не докачавшись. Хотя в во всех случаях уже есть в кеше актуальный тайл совпадающего размера. Я пологаю, что полная его скачка или частичная зависит в том числе от пропускной способности и латентности интернета. Т.е. чем лучше интернет, тем больше вероятность, что тайл будет закачан целиком.

Изображение

На скрине лог программы HadyCache.
Столбец размер формируется из ответа сервера по заголовкам, столбец получено - фактически полученные данные.
Если сервер не сообщает размер, то столбец "размер" в момент закачки совпадает со столбцом "получено".
divinets
Новичок
 
Сообщения: 16
Зарегистрирован: 14 май 2011, 14:52
Благодарил (а): 0 раз.
Поблагодарили: 7 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Parasite » 02 июл 2011, 21:35

rsuan писал(а):Для интернета он равен 576 байт

Он зависит не "от интернета", а от железа и осей на обоих сторонах коннекта. И он настраивается по длине (даже в винде), и по пути может биться на несколько или обьединяться из нескольких тем или иным раутером. И его рекомендуется "подкручивать" в сторону увеличения на быстрых коннектах, чтобы число оных MTU было меньше и потерь времени на системные операции тоже.

rsuan писал(а):а размеры тайлов у Google-Спутник обычно гораздо больше.

Тайл GSAT онозначно не влезет в один MTU.
Но гугль вроде же отправляет Last-Modified и Content-Length, если правильно помню.

Tolik писал(а):Он пришёл целиком. Может быть, SAS.Planet его проигнорировала, отбросила, не знаю. Но до моей сетевой карты он добрался и счётчик трафика его посчитал.

Обратите внимание на строчку "Reassebled TCP segments" - это как раз обьединение нескольких MTU (в Вашем случае - 740 байт на тот что на скрине) при анализе всей посылки с сервера.

divinets писал(а):На скрине лог программы HadyCache.

Возьмите же наконец нормальный инструмент. :roll:
The only difference between me and a mad man is that I am not mad. /Salvador Dali/

За это сообщение автора Parasite поблагодарил:
rsuan (03 июл 2011, 16:51)
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Tolik » 02 июл 2011, 21:47

divinets писал(а):С ГуглСАТ в принципе так же, но немного странно. Одни и те же тайлы, то докачиваются до конца, по ним нет дисконнекта, то дисконнектят не докачавшись. Хотя в во всех случаях уже есть в кеше актуальный тайл совпадающего размера. Я пологаю, что полная его скачка или частичная зависит в том числе от пропускной способности и латентности интернета. Т.е. чем лучше интернет, тем больше вероятность, что тайл будет закачан целиком.

Не поверите, решил попробовать медленный интернет. Отключил WiFi, вошёл в сеть через E-GPRS (EDGE), скачал спутник Google.
Не нашёл ни одного пакета на тему disconnect.
SAS.Planet шлёт только HTTP GET, получает тайл, шлёт TCP ACK. Всё.

Не знаю, что значит "Client disconnected" в случае HandyCache. Может, какая-то особенность в работе с прокси. Ставить его и анализировать неохота.

P.S. Кстати, вот что шлёт гугл:
2011-07-02_214955.gif

За это сообщение автора Tolik поблагодарил:
rsuan (03 июл 2011, 16:51)
Tolik
Гуру
 
Сообщения: 1624
Зарегистрирован: 28 янв 2011, 10:38
Благодарил (а): 68 раз.
Поблагодарили: 242 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Parasite » 02 июл 2011, 22:06

Tolik писал(а):SAS.Planet шлёт только HTTP GET, получает тайл, шлёт TCP ACK. Всё.

Уточнение: TCP_ACK шлет система при обработке сокета, а не сам САС. САС с TCP напрямую не работает, насколько я помню.
А вот HTTP - это уже наше все.....
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение divinets » 03 июл 2011, 01:19

Parasite писал(а):
divinets писал(а):На скрине лог программы HadyCache.

Возьмите же наконец нормальный инструмент. :roll:

Например?

Tolik писал(а):Не знаю, что значит "Client disconnected" в случае HandyCache. Может, какая-то особенность в работе с прокси. Ставить его и анализировать неохота.

У HandyCache это означает, что САСпланет отказался от дальнейшей закачки данного тайла.
divinets
Новичок
 
Сообщения: 16
Зарегистрирован: 14 май 2011, 14:52
Благодарил (а): 0 раз.
Поблагодарили: 7 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Parasite » 03 июл 2011, 08:08

divinets писал(а):
Parasite писал(а):
divinets писал(а):На скрине лог программы HadyCache.

Возьмите же наконец нормальный инструмент. :roll:

Например?

Например.

divinets писал(а):
Tolik писал(а):Не знаю, что значит "Client disconnected" в случае HandyCache. Может, какая-то особенность в работе с прокси. Ставить его и анализировать неохота.

У HandyCache это означает, что САСпланет отказался от дальнейшей закачки данного тайла.

...либо данные на промежутке "HC<->SAS" были отправлены одним пакетом (не связанным ограничениями физической сети, если они оба в пределах локалхоста) и SAS оказался более расторопным чем HC и закрыл коннект со своей стороны первым, в то время как HC еще считал статистику (ничто не запрещает при работе с прокси инициализировать дисконнект первым, самостоятельно). Либо если были заюзаны HTTP 1.1, SOCKET_REUSE или Keep_alive и иже с ними (и одному Аллаху известно, как HC с ними работает - это закрытый софт, причем не лишенный багов разумеется). Плюс прокси обычно добавляет\посылает свои собственные заголовки вдогонку к оригинальному пакету. В HC есть отладочный режим с логом - включите его, посмотрите что конкретно с ним происходит. А еще лучше - используйте его по прямому назначению (кэширующий прокси), а не по извращенному (тонкий анализ пакетов и хидеров).
Работа с\через прокси имеет некоторые свои особенности, если что.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Аватара пользователя
Parasite
Администратор
 
Сообщения: 4532
ICQ: 15819243
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 57 раз.
Поблагодарили: 214 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

cron