75% weniger Download beim Update von Paketen

Message

koelle · Post by **koelle** » Sat Oct 16, 2004 9:40 pm

Hi,

das ist ja wirklich ein tolles Programm. Schonend für meinen Volumentarif. Eine Frage habe ich aber. Wo kann ich nachschaun, wieviel ich gespart hab?

mfg kölle

Arudil · Post by **Arudil** » Sun Oct 17, 2004 7:43 am

Wüsste ned, dass es sowas eingebaut gibt.

Ich mach das z.Zt so:
"emerge -uDav" und les unten wieviel MB runtergeladen werden sollen, dann mach ich "iptraf" auf und schau wieviel MB gesaugt wird. Is ne recht ungenaue Sache, weil manche keine MB Angabe haben, andere Programme was ziehen, usw.

nochwas:
3. Kann man die Meldungen vielleicht zusammenfassen, also ohne jede Menge Leerzeilen dazwischen?

koelle · Post by **koelle** » Sun Oct 17, 2004 8:48 am

Hi,

ts77 wrote:Wow, auch mit DSL und Volumentarif lohnt sich das:

perl-5.8.4.tar.gz-perl-5.8.5.tar.gz.dtu
Size: 202.5 kB
Orig-Size: 11.4 MB
Efficiency: 98.26%
Saved: 11.2 MB

Hab dem Cache gerade ein paar mehr Einträge beschert .

Es scheint also irgendwie die Möglichkeit zu geben das zu checken oder? Aber wo?

mfg koelle

ts77 · Post by **ts77** » Sun Oct 17, 2004 9:06 am

man lese einfach die zugehörige webseite:
http://linux01.gwdg.de/~nlissne/deltup- ... atime.html

koelle · Post by **koelle** » Sun Oct 17, 2004 9:09 am

Hi,

dankeschön.

mfg koelle

zerwas · Post by **zerwas** » Sun Oct 17, 2004 10:59 am

Hallo,

So wie ich das jetzt verstanden habe, spart das ganze aber keine Zeit?
Wenn ich mir die Files da so ansehe, sieht mir das aber eigentlich nach einer dicken Zeitersparnis aus (X11R6.7.0-src1 3,6MB anstatt 29,1MB).
Ich frage mich das eigentlich nur, weil ich ISDN-User bin und darum natürlich nur einen Zeittarif habe.
Oder gibt es sonst noch ein Projekt, dass darauf aus ist, möglichst wenig Internetzeit mit emergen zu verwenden?

Gruß,
zerwas

Wiebel · Post by **Wiebel** » Sun Oct 17, 2004 11:43 am

@ zerwas:

Naja zun in einer Vielzahl von Fällen spart das natürlich sehr viel Zeit, nämlich auf jeden Fall dann wenn das von dir geforderte DTU bereits vorhanden ist. Ansonsten muss man natürlich schon warten bis das DTU gebaut ist, was u.U. etwas dauert, aber auch hier wartest du im normalfall nicht so lange wie du auf die ursprüngliche Datei warten würdes, sofern es halbwegs effizient ist. Es läuft aber alles darauf hinaus, dass diese Wartezeit masgeblich von der Leistund des DDS abhängt, und da diese Leistung im Moment, gelinde gesagt, nicht berauschend ist, kannst du hoffen dass sich diese Situation dramatisch verändert, sobald ein DDS auf starker HW läuft, was imho nicht mehr alzu lange dauern wird, also Kopf hoch das wird schon alles.

Sas · Post by **Sas** » Sun Oct 17, 2004 12:00 pm

Funktioniert das Abschalten der Farben vom getdelta.sh bei euch eigentlich auch seit der vorletzten Version nicht mehr?

tuxian · Post by **tuxian** » Sun Oct 17, 2004 1:33 pm

Wiebel wrote:Und euer distfiles - Verzeichnis kann es auch gleich sauberhalten.

Ich persönlich schätze die Option REMOVE_OLD=true sehr. Diese Option bewirkt, dass das jeweils alte Archiv nach dem erstellen des neuen auch gleich gelöscht wird, und das Hält euer disfiles Verzeichniss hervorragend sauber, da im Idealfall nur die aktuell benötigten Archive da sind und nicht, wie sonst, alle möglichen Generationen ein und seselben Paketes.
Das dürfte vor allem diejenigen interessieren, die bisher mit allen möglichen und unmöglichen Scripten versucht haben ihr distfiles Verzeichnis halbwegs ordentlich zu halten.

Wollt ich nur noch gesagt haben.

Wo schreibe ich die Option "REMOVE_OLD=true" rein?

zielscheibe · Post by **zielscheibe** » Sun Oct 17, 2004 1:48 pm

@ tuxian

Die Antwort wurde im Thread schon gegeben, alternativ kannst du dich ja mal nach den Konfigdateien für deltup umschauen.

tuxian · Post by **tuxian** » Sun Oct 17, 2004 1:51 pm

zielscheibe wrote:@ tuxian

Die Antwort wurde im Thread schon gegeben, alternativ kannst du dich ja mal nach den Konfigdateien für deltup umschauen.

In die make.conf, oder?

ts77 · Post by **ts77** » Sun Oct 17, 2004 2:33 pm

naja, gelesen hast aber nix, oder?

/etc/deltup/getdelta.rc

Eglathôlion · Post by **Eglathôlion** » Mon Oct 18, 2004 6:34 pm

Hallo zusammen,

ich habe mir heute deltup installiert und ich bin begeistert, wie viel
MBs an Downloads man offenbar sparen kann; als ISDNler sehr nützlich!

Aber es scheint noch nicht ganz zu funktionieren, verhält sich komisch.
Mache ich irgendwas falsch? Hier ein Auszug von meinem ersten Test -
einem emerge -u world --fetchonly

und ein paar Fragen zu einzelnen Zeilen...

Code: Select all


[...]
>>> Downloading ftp://gentoo.inode.at/source/distfiles/bash30-001
Searching for a previosly downloaded file in /usr/portage/distfiles

We have following candidates to choose from
bash30-002
bash30-003
bash30-004
bash30-005
bash30-006
bash30-007
bash30-008
bash30-009
bash30-010
bash30-011
bash30-012
bash30-013

The best of all is ... bash30-013

Checking if this file is OK.

Trying to download bash30-013-bash30-001.dtu

/usr/portage/distfiles/.getdelta-896418000-tmp /usr/portage/distfiles
/root--15:50:14-- 
http://linux01.gwdg.de/%7Enlissne/deltup.php?have=bash30-013&want=bash30-001&url=ftp://gentoo.inode.at/source/distfiles/bash30-001&version=0.6
           =>
`deltup.php?have=bash30-013&want=bash30-001&url=ftp:%2F%2Fgentoo.inode.
at%2Fsource%2Fdistfiles%2Fbash30-001&version=0.6' Resolving
linux01.gwdg.de... 134.76.13.21 Connecting to
linux01.gwdg.de[134.76.13.21]:80... connected. HTTP request sent,
awaiting response... 302 Found Location:
ftp://134.102.120.44/deltup/bash30-013-bash30-001.dtu
[following]--15:50:15-- 
ftp://134.102.120.44/deltup/bash30-013-bash30-001.dtu
           => `bash30-013-bash30-001.dtu'
Connecting to 134.102.120.44:21... connected.
Logging in as anonymous ... Logged in!
==> SYST ... done.    ==> PWD ... done.
==> TYPE I ... done.  ==> CWD /deltup ... done.
==> PASV ... done.    ==> RETR bash30-013-bash30-001.dtu ... done.

    [  <=>                                                              
                                                                    ]
2,079          7.34K/s

15:50:16 (7.32 KB/s) - `bash30-013-bash30-001.dtu' saved [2079]

GOT bash30-013-bash30-001.dtu

Yes, we got the dtu-file now let's build bash30-001...

soweit sogut... Er hat sich das dtu-File gezogen. Aber jetzt...

Code: Select all


bash30-013 -> bash30-001: sh: /tmp/.6pqHZz/tmp/.6pqHZz/000003: No such
file or directory cat: write error: Broken pipe
mv: cannot stat `/tmp/.6pqHZz/000003': No such file or directory
OK
cleaning up
mv: cannot stat `bash30-001': No such file or directory
/usr/portage/distfiles /root
The dtu could not be fetched, downloading full file from original URL

[...]

Was ist passiert?

1. Was macht er in /tmp/? Ich habe weder in der /etc/make.conf noch in
der /etc/deltup/getdelta.rc etwas gefunden, das auf /tmp/ deutet. /tmp/
ist bei mir nur eine 64 MB RAM-Disk. Da kann er nicht viel machen. Daher
der Fehler?

2.
mv: cannot stat `bash30-001': No such file or directory
/usr/portage/distfiles /root

Was sucht /root/ da?

3.
The dtu could not be fetched, downloading full file from original URL

Er hat's doch gefetched!?

Im folgenden zieht er dann den bash-Patch von der original URL - wie
angekündigt...

Dann kommt gettext, das er schon hat und dann...

Code: Select all


[...]
>>> emerge (3 of 134) sys-kernel/linux26-headers-2.6.8.1-r1 to /
>>> Downloading
>ftp://gentoo.inode.at/source/distfiles/linux-2.6.8.1.tar.bz2
Searching for a previosly downloaded file in /usr/portage/distfiles

We have following candidates to choose from
links-2.1pre11.tar.bz2
links-2.1pre15.tar.bz2
linux-2.4.22.tar.bz2
linux-2.4.25.tar.bz2
linux-2.4.26.tar.bz2
linux-2.4.27.tar.bz2
linux-2.6.5.tar.bz2
linux-2.6.7.tar.bz2
linux-509.tar.gz

The best of all is ... linux-2.6.7.tar.bz2

Checking if this file is OK.

Trying to download linux-2.6.7.tar.bz2-linux-2.6.8.1.tar.bz2.dtu

/usr/portage/distfiles/.getdelta-995332000-tmp /usr/portage/distfiles
/root--15:50:25-- 
http://linux01.gwdg.de/%7Enlissne/deltup.php?have=linux-2.6.7.tar.bz2&want=linux-2.6.8.1.tar.bz2&url=ftp://gentoo.inode.at/source/distfiles/linux-2.6.8.1.tar.bz2&version=0.6
           =>
`deltup.php?have=linux-2.6.7.tar.bz2&want=linux-2.6.8.1.tar.bz2&url=ftp
:%2F%2Fgentoo.inode.at%2Fsource%2Fdistfiles%2Flinux-2.6.8.1.tar.bz2&ver
sion=0.6' Resolving linux01.gwdg.de... 134.76.13.21
Connecting to linux01.gwdg.de[134.76.13.21]:80... connected.
HTTP request sent, awaiting response... 302 Found
Location:
ftp://134.102.120.44/deltup/linux-2.6.7.tar.bz2-linux-2.6.8.1.tar.bz2.dtu
[following]--15:50:25-- 
ftp://134.102.120.44/deltup/linux-2.6.7.tar.bz2-linux-2.6.8.1.tar.bz2.dtu
           => `linux-2.6.7.tar.bz2-linux-2.6.8.1.tar.bz2.dtu'
Connecting to 134.102.120.44:21... connected.
Logging in as anonymous ... Logged in!
==> SYST ... done.    ==> PWD ... done.
==> TYPE I ... done.  ==> CWD /deltup ... done.
==> PASV ... done.    ==> RETR
linux-2.6.7.tar.bz2-linux-2.6.8.1.tar.bz2.dtu ... done.

    [                                                                   
                             <=>                                    ]
3,190,332      7.37K/s

15:57:28 (7.37 KB/s) - `linux-2.6.7.tar.bz2-linux-2.6.8.1.tar.bz2.dtu'
saved [3190332]

GOT linux-2.6.7.tar.bz2-linux-2.6.8.1.tar.bz2.dtu

Yes, we got the dtu-file now let's build linux-2.6.8.1.tar.bz2...

Super, freue ich mich... Nur 3MB Differenz bei diesem 35 MB Paket!

aber leider...

Code: Select all


linux-2.6.7.tar.bz2 -> linux-2.6.8.1.tar.bz2: previous package is
corrupt cleaning up
mv: cannot stat `linux-2.6.8.1.tar.bz2': No such file or directory
/usr/portage/distfiles /root
The dtu could not be fetched, downloading full file from original URL

--15:59:05-- 
ftp://gentoo.inode.at/source/distfiles/linux-2.6.8.1.tar.bz2
           => `linux-2.6.8.1.tar.bz2'
Resolving gentoo.inode.at... 81.223.20.162
Connecting to gentoo.inode.at[81.223.20.162]:21... connected.
Logging in as anonymous ... Logged in!
==> SYST ... done.    ==> PWD ... done.
==> TYPE I ... done.  ==> CWD /source/distfiles ... done.
==> PASV ... done.    ==> RETR linux-2.6.8.1.tar.bz2 ... done.
Length: 35,628,066 (unauthoritative)
[...]

An der Stelle hab ich dann erstmal abgebrochen.

Diesmal steht dort nichts von /tmp/. Dafür aber die o.a. Fehlermeldung.
Ich verstehe das nicht. Erst saugt er erfolgreich die dtu-Datei, dann
sagt er aber

The dtu could not be fetched, downloading full file from original URL

Aber er hat sie doch erfolgreich gezogen!? :-\

Außerdem meint er
linux-2.6.7.tar.bz2 -> linux-2.6.8.1.tar.bz2: previous package is
corrupt cleaning up

corrupt? Glaub ich irgendwie nicht. und was bedeutet in dem Fall
"cleaning up" ?

Was passiert da? Was mache ich falsch?

Achso:
deltup ist von heute frisch gezogen - Version 0.4.2
und getdelta-0.6

Beides als ebuild gezogen und installiert.

Was braucht Ihr ggf. noch für Informationen?

Danke schonmal und bis dann.

LG,
Ace

Update 2004-10-20: Habe nach Diskussion in der Gentoo User-de Mailingliste TMPDIR="/var/tmp" in /etc/deltup/getdelta.rc hinzugefügt.

Hat leider nichts gebracht.

Code: Select all

[...]

GOT binutils-2.15.90.0.1.1.tar.bz2-binutils-2.15.92.0.2.tar.bz2.dtu

Yes, we got the dtu-file now let's build binutils-2.15.92.0.2.tar.bz2...

binutils-2.15.90.0.1.1.tar.bz2 -> binutils-2.15.92.0.2.tar.bz2: previous package is corrupt
cleaning up
mv: cannot stat `binutils-2.15.92.0.2.tar.bz2': No such file or directory
/usr/portage/distfiles /root
The dtu could not be fetched, downloading full file from original URL

[...]

HÜLFÄÄÄÄÄ!!!

LG,
Ace

Vollkorn · Post by **Vollkorn** » Wed Oct 20, 2004 10:29 am

Hallo,

ich habe eine kleine Idee für ein "Konsistenz"-Feature. Und zwar habe ich mit einigen größeren Paketen wie den OOo-Sourcen und Kernel 2.6.9 Probleme gehabt. Die dtu-Files wurden heruntergeladen aber das Patchen schlug fehl. Das passierte dann drei mal und dann wurde das Originalfile heruntergeladen. Also hatte ich insgesamt 310 MB download anstatt 30 MB bei OOo. Sehr ärgerlich. Ähnlich bei Kernel 2.6.9.

Meine Idee: Eine md5sum wird über das File genommen für das die dtu-File gedacht ist. Im Falle des Kernels also wird eine md5sum über linux-2.6.8.tar.bz2 genommen und diese md5sum heruntergeladen und mit der lokal vorhandenen Datei überprüft bevor die linux-2.6.8.tar.bz2-linux-2.6.9.tar.bz2.dtu heruntergeladen wird. Sinnigerweise würde man die passende md5sum dann linux-2.6.8.tar.bz2-linux-2.6.9.tar.bz2.md5 nennen.

So kann man besonders sicher gehen, dass die heruntergeladene dtu-Datei wirklich zur vorhandenen Datei passt, was manchmal einige hundert MB sparen kann.

Denk mal drüber nach, würde mich über eine sinnvolle Diskussion freuen.

Jan

Capitan · Post by **Capitan** » Wed Nov 17, 2004 6:35 pm

irgendwie hab ich seit deltup 0.6x probleme:

ich bekomme das mit dem .ebuild nicht gebacken. wenn ich das ebuild so installieren will (an portage vorbei) geht es nicht

.
vorher ging es ganz problemlos...enfach die getdelta.sh kopieren ausführbar machen und fertig.

könnte mir da vielleicht jemand sagen wie das geht ?

primat · Post by **primat** » Wed Nov 17, 2004 8:04 pm

Also

Code: Select all

1. emerge gentoolkit-dev
2. echo "id=\"deltup\"" >> /etc/gensync/deltup.syncsource
   echo "description=\"deltup and getdelta overlay\"" >> /etc/gensync/deltup.syncsource
   echo "rsync=\"rsync://gentoo.hn.org/deltup\"" >> /etc/gensync/deltup.syncsource
   echo "overlay=\"/usr/local/portage\"" >> /etc/gensync/deltup.syncsource

Hierbei sollte /usr/local/portage das Portage overlay Verzeichnis sein.
dann:

Code: Select all

3. gensync deltup
4. echo "app-portage/getdelta ~x86" >> /etc/portage/package.keywords
5. rm /usr/local/bin/getdelta.sh
6. emerge getdelta

und alles sollte von alleine laufen!
Gruss

Capitan · Post by **Capitan** » Wed Nov 17, 2004 9:51 pm

ich bekomme beim letzten befehl folgende fehlermeldung:

Code: Select all

emerge getdelta
Calculating dependencies ...done!
>>> emerge (1 of 1) app-portage/getdelta-0.6.4 to /
>>> Downloading http://linux01.gwdg.de/~nlissne/getdelta-0.6.4.tar.bz2
[getdelta-0.6.4] bash: line 1: /usr/local/bin/getdelta.sh: No such file or directory
!!! Couldn't download getdelta-0.6.4.tar.bz2. Aborting.

trotzdem thx

edit: problem behoben: ich hab einfach die datei so gezogen und in mein distfiles-verzeichnis kopiert.

primat · Post by **primat** » Wed Nov 17, 2004 11:13 pm

das lag einfach daran, dass Du zum Zeitpunkt des emergens kein getdelta.sh mehr hattest, dieses aber in der make.conf stand. Jetzt sollte alles funktionieren.
Updaten geht jetzt einfach über

Code: Select all

gensync deltup
emerge getdelta

Gruss

lonF · Post by **lonF** » Tue Nov 23, 2004 4:28 pm

Hallo,

ich benutze deltup auch schon erfolgreich. Allerdings gibt es da noch ein kleines Problem.

In der Firma verstecke ich mich hinter einer Firewall und hole mir dort den aktuellen Portage via emerge-webrsync.

Und das funzt net mit dem fetchcommand in der make.conf.

zum einen findet er für das portagefile kein digest-file und beim Proxy-Request bekomme ich dann den 404 Not Found.

Hat da zufällig jemand nen Tip für mich.

MfG lonF[/code]

Giuly · Post by **Giuly** » Wed Apr 20, 2005 11:48 am

Code: Select all

root@goldstueck bin # emerge -u world
Calculating world dependencies ...done!
>>> emerge (1 of 53) sys-process/lsof-4.73 to /
>>> Downloading ftp://sunsite.informatik.rwth-aachen.de/pub/Linux/gentoo/distfiles/lsof_4.73.tar.gz
Searching for a previously downloaded file in /usr/portage/distfiles

We have following candidates to choose from 
lsof_4.71.tar.gz 

The best of all is ... lsof_4.71.tar.gz

Checking if this file is OK.

Trying to download lsof_4.71.tar.gz-lsof_4.73.tar.gz.dtu

--12:23:32--
http://linux01.gwdg.de/%7Enlissne/deltup.php?have=lsof_4.71.tar.gz&want=lsof_4.73.tar.gz&url=\
ftp://ftp.cerias.purdue.edu/pub/tools/unix/sysutils/lsof/lsof_4.73.tar.gz&version=0.6[/url]
           => `deltup.php?have=lsof_4.71.tar.gz&want=lsof_4.73.tar.gz&url=ftp:%2F%2Fftp.cerias.purdue.edu%2Fpub\
%2Ftools%2Funix%2Fsysutils%2Flsof%2Flsof_4.73.tar.gz&version=0.6'
Resolving linux01.gwdg.de... 134.76.13.21
Connecting to linux01.gwdg.de[134.76.13.21]:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: ftp://134.102.3.5/deltup/lsof_4.71.tar.gz-lsof_4.73.tar.gz.dtu [following]
--12:23:39--  ftp://134.102.3.5/deltup/lsof_4.71.tar.gz-lsof_4.73.tar.gz.dtu
           => `lsof_4.71.tar.gz-lsof_4.73.tar.gz.dtu'
Connecting to 134.102.3.5:21... connected.
Logging in as anonymous ... Logged in!
==> SYST ... done.    ==> PWD ... done.
==> TYPE I ... done.  ==> CWD /deltup ... done.
==> PASV ... done.    ==> RETR lsof_4.71.tar.gz-lsof_4.73.tar.gz.dtu ... done.
Length: 48,889 (unauthoritative)

100%[====================================================================>] 48,889         7.21K/s    ETA 00:00

12:24:08 (7.20 KB/s) - `lsof_4.71.tar.gz-lsof_4.73.tar.gz.dtu' saved [48889]

GOT lsof_4.71.tar.gz-lsof_4.73.tar.gz.dtu

Successfully fetched the dtu-file - let's build lsof_4.73.tar.gz...

lsof_4.71.tar.gz -> lsof_4.73.tar.gz: Error applying patch
cleaning up
stat: cannot stat `lsof_4.73.tar.gz': No such file or directory
/usr/bin/getdelta.sh: line 586: let: percent=-48889*100/: syntax error: operand expected (error token is "/")
This dtu-file saved -48889 bytes (%) download size.

mv: cannot stat `lsof_4.73.tar.gz': No such file or directory
The dtu could not be fetched, downloading full file from original URL

--12:24:08--  ftp://sunsite.informatik.rwth-aachen.de/pub/Linux/gentoo/distfiles/lsof_4.73.tar.gz
           => `lsof_4.73.tar.gz'
Resolving sunsite.informatik.rwth-aachen.de... 137.226.34.227
Connecting to sunsite.informatik.rwth-aachen.de[137.226.34.227]:21... connected.
Logging in as anonymous ... Logged in!
==> SYST ...

Weiß jemand was da los sein könnte? versionen sind alle aktuell

mod edit: Ein paar Zeilen wegen Lesbarkeit umgebrochen.
amne

SirPreme · Post by **SirPreme** » Wed Oct 19, 2005 8:01 pm

Gibt es Bestrebungen, das endlich mal in den offiziellen Portage-Tree aufzunehmen?

Sourcecode · Post by **Sourcecode** » Thu Nov 10, 2005 4:45 am

Ist finde ich eine Super Sache und auch für Flat User Interessant ( um die Gentoo Mirror zu Schonen )

Ich bin mal gespannt wie sich das Entwickelt. Aber das ist alles schonmal ein Sehr Guter Ansatz

75% weniger Download beim Update von Paketen

deltup funktioniert nicht richtig

Feature-request