Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
emerge-webrsync + deltup
View unanswered posts
View posts from last 24 hours

 
Reply to topic    Gentoo Forums Forum Index Russian
View previous topic :: View next topic  
Author Message
J-tu
n00b
n00b


Joined: 28 Dec 2004
Posts: 7
Location: Russia

PostPosted: Mon Jan 31, 2005 12:57 pm    Post subject: emerge-webrsync + deltup Reply with quote

Сижу за проски (MS ISA, приходится изгаляься), траффик не резиновый, поэтому вопрос: как заставить нормально работать связку emerge-webrsync + deltup?

Как я понимаю сегодня последний снапшот от 29 января

Code:

 emerge-webrsync
Fetching most recent snapshot
Attempting to fetch file dated: 20050131
Searching for a previously downloaded file in /usr/portage/distfiles

We have following candidates to choose from
portage-20050108.tar.bz2.md5sum
portage-20050109.tar.bz2.md5sum
portage-20050110.tar.bz2.md5sum
portage-20050111.tar.bz2.md5sum
portage-20050112.tar.bz2.md5sum
portage-20050113.tar.bz2.md5sum
portage-20050114.tar.bz2.md5sum
portage-20050115.tar.bz2.md5sum
portage-20050129.tar.bz2.md5sum

The best of all is ... portage-20050129.tar.bz2.md5sum

Checking if this file is OK.

grep: /digest-*: No such file or directory
Trying to download portage-20050129.tar.bz2.md5sum-portage-20050131.tar.bz2.md5sum.dtu

--15:27:03--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050129.tar.bz2.md5sum&want=portage-20050131.tar.bz2.md5sum&url=&version=0.6
           => `deltup.php?have=portage-20050129.tar.bz2.md5sum&want=portage-20050131.tar.bz2.md5sum&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/INVALID_REQUEST [переход]
--15:27:04--  http://linux01.gwdg.de/%7Enlissne/INVALID_REQUEST
           => `INVALID_REQUEST'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 404 Not Found
15:27:04 ОШИБКА 404: Not Found.

/usr/portage/distfiles /var/tmp/emerge-webrsync
The dtu could not be fetched, downloading full file from original URL

--15:27:04--  http://mirror.aiya.ru/pub/gentoo/snapshots/portage-20050131.tar.bz2.md5sum
           => `portage-20050131.tar.bz2.md5sum'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 404 Not Found
15:27:08 ОШИБКА 404: Not Found.

 --- No md5sum present on the mirror. (Not yet available.)
Attempting to fetch file dated: 20050130
Searching for a previously downloaded file in /usr/portage/distfiles

We have following candidates to choose from
portage-20050108.tar.bz2.md5sum
portage-20050109.tar.bz2.md5sum
portage-20050110.tar.bz2.md5sum
portage-20050111.tar.bz2.md5sum
portage-20050112.tar.bz2.md5sum
portage-20050113.tar.bz2.md5sum
portage-20050114.tar.bz2.md5sum
portage-20050115.tar.bz2.md5sum
portage-20050129.tar.bz2.md5sum

bla bla bla ...

Attempting to fetch file dated: 20050129
Searching for a previously downloaded file in /usr/portage/distfiles

We have following candidates to choose from
portage-20050116.tar.bz2
portage-20050128.tar.bz2

The best of all is ... portage-20050128.tar.bz2

Checking if this file is OK.

grep: /digest-*: No such file or directory
Could not find a digest-file for portage-20050128.tar.bz2. Testing file integrity with tar.

Trying to download portage-20050128.tar.bz2-portage-20050129.tar.bz2.dtu

--15:27:46--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050128.tar.bz2&want=portage-20050129.tar.bz2&url=&version=0.6
           => `deltup.php?have=portage-20050128.tar.bz2&want=portage-20050129.tar.bz2&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/deltup-queued [переход]
--15:27:47--  http://linux01.gwdg.de/%7Enlissne/deltup-queued
           => `deltup-queued'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 36 [text/plain]

100%[===============================================================================>] 36            --.--K/s

15:27:47 (351.56 KB/s) - `deltup-queued' сохранен [36/36]

GOT deltup-queued

destination file: portage-20050129.tar.bz2

The Server creates the dtu-file NOW
--15:28:11--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050128.tar.bz2&want=portage-20050129.tar.bz2&url=&version=0.6
           => `deltup.php?have=portage-20050128.tar.bz2&want=portage-20050129.tar.bz2&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/deltup-queued [переход]
--15:28:15--  http://linux01.gwdg.de/%7Enlissne/deltup-queued
           => `deltup-queued'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 36 [text/plain]

100%[===============================================================================>] 36            --.--K/s

15:28:16 (182.16 KB/s) - `deltup-queued' сохранен [36/36]


destination file: portage-20050129.tar.bz2

The Server creates the dtu-file NOW
--15:29:03--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050128.tar.bz2&want=portage-20050129.tar.bz2&url=&version=0.6
           => `deltup.php?have=portage-20050128.tar.bz2&want=portage-20050129.tar.bz2&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/deltas/portage-20050128.tar.bz2-portage-20050129.tar.bz2.failed [переход]
--15:29:03--  http://linux01.gwdg.de/%7Enlissne/deltas/portage-20050128.tar.bz2-portage-20050129.tar.bz2.failed
           => `portage-20050128.tar.bz2-portage-20050129.tar.bz2.failed'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 46 [application/x-bzip2]

100%[===============================================================================>] 46            --.--K/s

15:29:04 (449.22 KB/s) - `portage-20050128.tar.bz2-portage-20050129.tar.bz2.failed' сохранен [46/46]


The server could not build the dtu-file for portage-20050129.tar.bz2

reason:
sorry, could not get portage-20050128.tar.bz2

/usr/portage/distfiles /var/tmp/emerge-webrsync
The dtu could not be fetched, downloading full file from original URL

--15:29:04--  http://mirror.aiya.ru/pub/gentoo/snapshots/portage-20050129.tar.bz2
           => `portage-20050129.tar.bz2'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 17,770,764 [application/x-bzip2]

100%[===============================================================================>] 17,770,764   951.58K/s    ETA 00:00

15:29:24 (865.06 KB/s) - `portage-20050129.tar.bz2' сохранен [17770764/17770764]

Attempting to fetch file dated: 20050128
Searching for a previously downloaded file in /usr/portage/distfiles

We have following candidates to choose from
portage-20050116.tar.bz2
portage-20050128.tar.bz2
portage-20050129.tar.bz2

The best of all is ... portage-20050129.tar.bz2

Checking if this file is OK.

grep: /digest-*: No such file or directory
Could not find a digest-file for portage-20050129.tar.bz2. Testing file integrity with tar.

Trying to download portage-20050129.tar.bz2-portage-20050128.tar.bz2.dtu

--15:29:47--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6
           => `deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/deltup-queued [переход]
--15:29:47--  http://linux01.gwdg.de/%7Enlissne/deltup-queued
           => `deltup-queued'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 36 [text/plain]

100%[===============================================================================>] 36            --.--K/s

15:29:48 (45.07 KB/s) - `deltup-queued' сохранен [36/36]

GOT deltup-queued

destination file: portage-20050128.tar.bz2

The Server creates the dtu-file NOW
--15:30:05--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6
           => `deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/deltup-queued [переход]
--15:30:06--  http://linux01.gwdg.de/%7Enlissne/deltup-queued
           => `deltup-queued'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 36 [text/plain]

100%[===============================================================================>] 36            --.--K/s

15:30:06 (44.00 KB/s) - `deltup-queued' сохранен [36/36]

destination file: portage-20050128.tar.bz2

The Server creates the dtu-file NOW
--15:30:21--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6
           => `deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/deltup-queued [переход]
--15:30:21--  http://linux01.gwdg.de/%7Enlissne/deltup-queued
           => `deltup-queued'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 36 [text/plain]

100%[===============================================================================>] 36            --.--K/s

15:30:22 (45.42 KB/s) - `deltup-queued' сохранен [36/36]

destination file: portage-20050128.tar.bz2

The Server creates the dtu-file NOW
--15:30:37--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6
           => `deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/deltup-queued [переход]
--15:30:37--  http://linux01.gwdg.de/%7Enlissne/deltup-queued
           => `deltup-queued'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 36 [text/plain]

100%[===============================================================================>] 36            --.--K/s

15:30:37 (46.44 KB/s) - `deltup-queued' сохранен [36/36]

destination file: portage-20050128.tar.bz2

The Server creates the dtu-file NOW
--15:30:52--  http://linux01.gwdg.de/%7Enlissne/deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6
           => `deltup.php?have=portage-20050129.tar.bz2&want=portage-20050128.tar.bz2&url=&version=0.6'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 302 Found
Адрес: http://linux01.gwdg.de/~nlissne/deltas/portage-20050129.tar.bz2-portage-20050128.tar.bz2.failed [переход]
--15:30:53--  http://linux01.gwdg.de/%7Enlissne/deltas/portage-20050129.tar.bz2-portage-20050128.tar.bz2.failed
           => `portage-20050129.tar.bz2-portage-20050128.tar.bz2.failed'
Установка соединения с 127.0.0.1:30675... соединились.
Запрос Proxy послан, ожидание ответа... 200 OK
Длина: 46 [application/x-bzip2]

100%[===============================================================================>] 46            --.--K/s

15:30:53 (449.22 KB/s) - `portage-20050129.tar.bz2-portage-20050128.tar.bz2.failed' сохранен [46/46]


The server could not build the dtu-file for portage-20050128.tar.bz2

reason:
sorry, could not get portage-20050129.tar.bz2

/usr/portage/distfiles /var/tmp/emerge-webrsync
Attempting to fetch file dated: 20050127
Searching for a previously downloaded file in /usr/portage/distfiles

We have following candidates to choose from
portage-20050116.tar.bz2
portage-20050128.tar.bz2
portage-20050129.tar.bz2

The best of all is ... portage-20050129.tar.bz2

Checking if this file is OK.

grep: /digest-*: No such file or directory
Could not find a digest-file for portage-20050129.tar.bz2. Testing file integrity with tar.

Trying to download portage-20050129.tar.bz2-portage-20050127.tar.bz2.dtu

bla bla bla



emerge-webrsync без deltup работает нормально
deltup также работает нормально


Last edited by J-tu on Fri Feb 04, 2005 10:47 am; edited 3 times in total
Back to top
View user's profile Send private message
fank
l33t
l33t


Joined: 16 Oct 2004
Posts: 794
Location: Minsk, Belarus

PostPosted: Mon Jan 31, 2005 4:13 pm    Post subject: Reply with quote

ты б ещё больше лог вывел...
и так ясно, что не удалось тебе взять дельту по вполне понятной причине...
скорее всего, и не удастся это сделать ибо каждый день делать дельту - это ладно, но представь, сколько их комбинаций для разных дней недели (не говоря уже об ОДНОМ месяце -!!! ) будет

так что никто там такой хернёй маяться не будет
используй туннелирование или цепочки проксей для обхода ограничений
Back to top
View user's profile Send private message
_Sir_
Guru
Guru


Joined: 17 Jan 2005
Posts: 337
Location: Russia, Togliatti

PostPosted: Tue Feb 01, 2005 2:06 pm    Post subject: Reply with quote

Я думаю, можно в /etc/make.conf прописать и закомментировать переменную окружения FETCHCOMMAND (по памяти пишу) с вызовом не getdelta, а нормального wget и портежи обновлять, переставляя знак комментария, ну или скрипт-обертку на вызов emerge-webrsync написать, чтобы он работал _не_ через дельту. Не настолько snapshot большой, это во-первых, ну и во-вторых, тебе что, каждый день дерево портежей обновлять надо?

Второй вариант -- использовать протокол rsync, но через хитрые прокси, типа connect -- поищи в инете, у меня нет урлы сейчас.

:!: Отредактируй свой пост и сократи его.
_________________
(Sir) * Life is placeholder for Love *
Back to top
View user's profile Send private message
J-tu
n00b
n00b


Joined: 28 Dec 2004
Posts: 7
Location: Russia

PostPosted: Tue Feb 01, 2005 9:35 pm    Post subject: Reply with quote

Quote:

скорее всего, и не удастся это сделать ибо каждый день делать дельту - это ладно, но представь, сколько их комбинаций для разных дней недели (не говоря уже об ОДНОМ месяце -!!! ) будет


1) Ядра не намного реже выходят, и проблем нет.
2) Дельты налету разве не делают?

И ещё, xdelta умеет делать нормальные дельты (с распаковкой) из *.tar.bz архивов?

Quote:
Я думаю, можно в /etc/make.conf прописать и закомментировать переменную окружения FETCHCOMMAND (по памяти пишу) с вызовом не getdelta, а нормального wget и портежи обновлять, переставляя знак комментария, ну или скрипт-обертку на вызов emerge-webrsync написать, чтобы он работал _не_ через дельту.

Так и делаю сейчас

Quote:
Не настолько snapshot большой, это во-первых,

16-17 Мб это 1 час по модему

Code:
xdelta portage-20050116.tar portage-20050129.tar t.dtu
stat -c %s t.dtu
1 684 202

т. е. экомомия 90%

Quote:
и во-вторых, тебе что, каждый день дерево портежей обновлять надо?

Раз в пару недель неплохо было бы

Quote:
Второй вариант -- использовать протокол rsync, но через хитрые прокси, типа connect -- поищи в инете, у меня нет урлы сейчас.

В плане траффика, emerge sync ,помоему, не очень экономный способ.
Или я не прав?
_________________
~`
Back to top
View user's profile Send private message
viy
Veteran
Veteran


Joined: 03 Jul 2004
Posts: 1580
Location: Riga, Latvia

PostPosted: Tue Feb 01, 2005 9:39 pm    Post subject: Reply with quote

J-tu wrote:
В плане траффика, emerge sync ,помоему, не очень экономный способ.
Или я не прав?

Не прав. Качаются только измененные файлы, и, возможно, на уровне изменений в виде патчей.
Back to top
View user's profile Send private message
Nelud
Apprentice
Apprentice


Joined: 08 Oct 2004
Posts: 271

PostPosted: Wed Feb 02, 2005 5:55 am    Post subject: Reply with quote

Очень даже прав! Где вы видели, чтобы emerge --sync при обновлении через полмесяца всего 1,5 мега тянул??? Всё-таки мне кажется,что при emerge --sync компрессия не работает...
Back to top
View user's profile Send private message
viy
Veteran
Veteran


Joined: 03 Jul 2004
Posts: 1580
Location: Riga, Latvia

PostPosted: Wed Feb 02, 2005 6:58 am    Post subject: Reply with quote

Хм...
Там копрессия идет на уровне данных для 1 единицы, т.е. файла. Учитывая относительно маленький размер файлов, то компрессия с высоким сжатием просто невозможна.

И естественно, что bzip2-ованный срез дерева с разницей в месяц даст всего 1Mb прироста в объеме --- там есть пространство для сжатия.

В любом случае, что мешает просто очередной срез залить?
Мне не понятны одновременное стремление быть "на грани" новых поступлений и борьба за каждый лишний байт. Согласен, модем не такая быстрая штука, домашние на занятую линию ворчат. Но зачем тогда каждый день обновлять дерево? А раз в месяц (или как узнаешь, что вышла новая версия любимой проги) можно и emerge --sync сделать.
Back to top
View user's profile Send private message
_Sir_
Guru
Guru


Joined: 17 Jan 2005
Posts: 337
Location: Russia, Togliatti

PostPosted: Wed Feb 02, 2005 3:21 pm    Post subject: Reply with quote

J-tu :!:
Сократи свой лог в посте, пожалей читателей. Мы-то не можем твои посты редактировать.

Насчет экономности: невозможно никогда и рыбку съесть и ... Можно вырезать из дерева огромные куски не нужные никогда, чтобы они по rsync не обновлялись. Но есть риск -- задеть зависимости :) Т.е. есть механизм "маскирования" ebuild's от обновления. Есть вроде еще какой-то. Сам я пока не разобрался.

Для домашнего использования дерево портежей нет смысла чаще раз в месяц обновлять. ebuild на отдельную программу (если ты для какого-то пакета _вынужден_ использовать только самую последнюю версию) можно и руками вытащить. Так же, как с delup/getdelta делали... Смысл системы в том, чтобы она отвечала твоим нуждам, а не блистала мифической новизной. Ведь и что-то полезное иногда хочется поделать :))
_________________
(Sir) * Life is placeholder for Love *
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Russian All times are GMT
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum