75% weniger Download beim Update von Paketen

Message

deelkar · Post by **deelkar** » Thu Sep 09, 2004 11:20 pm

marder7 wrote:Wirklich tolle Idee! Ich hätte da noch zwei Vorschläge.

Es wartet auf die Erstellung der Differenzdatei und versucht sein Glück so lange, bis diese vorliegt oder verworfen wird (wenn sie größer ausfällt als die Originaldatei), bevor es weitermacht

Ist die Differenzdatei auf dem Rechner, wird erst das neue Paket daraus erstellt, bevor es weitermacht.

Diese Verzögerungen fallen besonders dann ins Gewicht, wenn man ein "emerge -update -fetch world" startet, das viele, zum Teil größere und ggf. auf dem Deltup-Server nicht schon verfügbare Pakete laden soll.

Das Problem ist hier, das das deltup-script lediglich das $FETCHCOMMAND ist, also nichts davon weiss, wieviele Dateien noch kommen, oder schon waren.
Weiterhin muss das script die fertige Datei an Portage weitergeben (also die neue Datei berechnen), sonst würde emerge -f gleich wieder versuchen die kaputte datei zu resumen oder neu zu laden.

Einziger Workaround wäre es, den Fetch für alle Dateien des world-updates manuell qualsiparallel auszuführen.

AustrianCoder · Post by **AustrianCoder** » Fri Sep 10, 2004 1:28 am

Tolle Sache das Teil.

Ich habe das Ebuild so abgeändert, dass nun alles automatisch gemacht wird (die ersten 4 Schritte)
und habegerade eben in den CVS von Gentoo.de geladen. D.h. es ist nun im Portage von Gentoo.de

Wird ein wenig dauern, bis da was zu sehen ist.
http://www.gentoo.de/viewcvs/gentoo-x86/sys-apps/

Wichtig: Habe das Teil noch nicht emerged und kann nicht sagen, ob alles ok ist mit dem geänderten Ebuild.
Falls das Ebuild im Portage von Getnoo.de nicht erwünscht ist - keine Ahung, warum das passieren köntne -, dann werde ich das Ebuild wieder entfernen.

Wiebel · Post by **Wiebel** » Sat Sep 11, 2004 12:03 pm

AustrianCoder:

Zuerstmal ist das ne super Sache, vielen dank dafür

Aber du solltest es irgendwie so machen das getdelta.sh direkt von blackpenguins server gezogen wird, da es ständig weiter entwickelt wird.
Das soll deine Leistung aber keinesfalls schmälern

blackpenguin · Post by **blackpenguin** » Fri Sep 17, 2004 9:25 am

...und weil es ständig weiterentwickelt wird....
...liegt inzwischen die Version 0.5.3.3 auf dem Server:
http://linux01.gwdg.de/~nlissne/getdelta.sh

(nein, das ist *nicht* die gleiche Version, die vor kurzem als Update vom Server erzwungen wurde - in diesem Fall ist es auch nur ein minor-update)

Die wichtigste Neuerung ist, dass nun nicht mehr GENTOO_MIRRORS auf einen leeren Inhalt gesetzt werden muß, da ich die Methode, wie der "Thirdpartymirror" ermittelt wird, grundlegend verändert habe.

Viel Spass damit wünscht

blackpenguin

sarahb523 · Post by **sarahb523** » Fri Sep 17, 2004 10:25 am

geniale sache dieses deltup

Auf der seite http://linux01.gwdg.de/~nlissne/ bekommt man ja das script und auch die status infos. Da die infos sehr groß sind wäre es nicht besser diese in einer eigenen unterseite zu packen? Also von der hauptseite nen link zu den status infos. Fände ich als modem user ein wenig bedienerfreundlicher

ciao

SirPreme · Post by **SirPreme** » Fri Sep 17, 2004 1:05 pm

Wiebel wrote:Und euer distfiles - Verzeichnis kann es auch gleich sauberhalten.

Ich persönlich schätze die Option REMOVE_OLD=true sehr. Diese Option bewirkt, dass das jeweils alte Archiv nach dem erstellen des neuen auch gleich gelöscht wird, und das Hält euer disfiles Verzeichniss hervorragend sauber, da im Idealfall nur die aktuell benötigten Archive da sind und nicht, wie sonst, alle möglichen Generationen ein und seselben Paketes.
Das dürfte vor allem diejenigen interessieren, die bisher mit allen möglichen und unmöglichen Scripten versucht haben ihr distfiles Verzeichnis halbwegs ordentlich zu halten.

Wollt ich nur noch gesagt haben.

Wo stellt man das ein?

blackpenguin · Post by **blackpenguin** » Fri Sep 17, 2004 1:27 pm

@sarahb523:
wie recht du doch hast... ich hab's sofort geändert. natürlich wäre es noch schöner, wenn die status-seite vielleicht auch nicht alle files auf einmal beinhalten würde, sondern vielleicht jeweils nur 30 files oder so... aber zumindest habe ich die index.html mal von der status-seite nun getrennt.

@SirPreme:
im config-file - /etc/deltup/getdelta.rc - es enthält so manche Einstellung, mit der du das Verhalten von getdelta.sh steuern kannst. Die einzelnen Optionen sind darin erklärt...

Freundliche Grüße,
bp

sarahb523 · Post by **sarahb523** » Fri Sep 17, 2004 1:44 pm

die hab ich nich, wo bekomme ich nen example von /etc/deltup/getdelta.rc ? das /etc/deltup war auch nich da

wegen der status site. wie wäre es mit irgendeiner filtermöglichkeit. ka. nach was man da filtern könnte, aber irgendwas wirds da wohl schon geben. hmm ne abfrage ob eine dtu von ebuild A nach ebuild B gibt wäre nich übel. naja aber eigentlich is das sekundär....

ts77 · Post by **ts77** » Fri Sep 17, 2004 2:16 pm

sarah, getdelta.sh einfach einmal starten. dann legt er es mit defaultwerten an (inkl. verzeichnis).

sirro · Post by **sirro** » Fri Sep 17, 2004 2:23 pm

sarahb523 wrote:die hab ich nich, wo bekomme ich nen example von /etc/deltup/getdelta.rc ? das /etc/deltup war auch nich da

Die neue Version (Infomeldungen beachten) erstellt das beim ersten Aufruf automatisch.

Vollkorn · Post by **Vollkorn** » Sat Oct 02, 2004 3:21 pm

Hallo,

habe deltup eingerichtet und bin begeistert. Meine Volumen-Flat wird sich freuen!

ABER: Ich habe beobachtet, dass meine /etc/deltup/do_not_remove nach jedem Aufruf von getdelta bzw. Download durch portage durch das Standardfile ersetzt wird.

Das ist enorm ärgerlich, da ich so die readline-lib nicht ausschliessen kann, welche bei mir mit den Patches Probleme macht.

Habe ich vielleicht eine fehlerhafte Konfiguration?

blackpenguin · Post by **blackpenguin** » Sat Oct 02, 2004 4:38 pm

@Vollkorn
Danke für den Hinweis - jetzt wo du's sagst.... scheint tatsächlich so zu sein - hier auch - es liegt also nicht an dir (was für ein peinlicher fehler

)
Ich schau mal woran das liegt und stelle im Laufe des Abends eine berichtigte Version bereit.
bp

Ergänzung: Das war ja mal leicht zu fixen - in Zeile 168 fehlte ein $ vor dem Variablen-Namen DO_NOT_REMOVE - korrekt muss die zeile also lauten:

if [ ! -e $DO_NOT_REMOVE ]

Auf dem Server liegt nun auch die berichtigte Version

SirPreme · Post by **SirPreme** » Sat Oct 02, 2004 5:02 pm

Nach einiger Zeit als Testphase muss ich sagen: Hervorragend!
So ein nützliches Skript - es wird Zeit, dass es im Standard-Portage Platz findet.

Aber kann es zufällig sein, dass dadurch
emerge sync
langsamer wird? Kann ich mir eigentlich nicht vorstellen, wenn nicht muss das bei mir an was anderem liegen.. auf jeden Fall echt praktisch!

blackpenguin · Post by **blackpenguin** » Sat Oct 02, 2004 5:06 pm

@SirPreme
Nein, das Script hat definitiv *NIX* mit dem sync zu tun und kommt dabei auch nicht zum Zuge. Der einzige Zusammenhang, in dem es aufgerufen wird, ist wirklich der download einer neuen distfiles-Datei beim emerge.

bp

thoand · Post by **thoand** » Sun Oct 03, 2004 9:19 am

Also ich habe jetzt erstmals Probleme durch deltup gehabt. sys-libs/readline-4.3-r5 ließ sich nicht bauen. Ohne ging es dann aber. Der scheint nicht alles runtergeladen zu haben.

Gruß thoand

Hotstuff · Post by **Hotstuff** » Sun Oct 03, 2004 9:28 am

Hallo

Lohnt sich das wirklich auch für einen Breitband Internet Anschluss?

Gruss Dave

thoand · Post by **thoand** » Sun Oct 03, 2004 9:40 am

Ja, natürlich müssen es noch wesentlich mehr nutzen, damit ich nicht immer die .dtu erzeuge

Gruß thoand

b00gy · Post by **b00gy** » Sun Oct 03, 2004 10:33 am

thoand wrote:Also ich habe jetzt erstmals Probleme durch deltup gehabt. sys-libs/readline-4.3-r5 ließ sich nicht bauen. Ohne ging es dann aber. Der scheint nicht alles runtergeladen zu haben.

Gruß thoand

yepp das selbe problem hatte ich auch
es gab nach dem DL probleme beim patchen, desweiteren wurden alle patches, obwohl sie schon vorhanden waren, jedesmal neu gedownloaded
ansonsten funktioniert es wirklich gut
nur leider hat die funktion, sich alle msgs des programms in einem seperaten window anzeigen zu lassen keine funtion bei mir, ausser, das sich jedesmal ein neue terminal oeffnet

gordin · Post by **gordin** » Wed Oct 06, 2004 12:07 am

es wäre eine nette erweiterung wenn man einstellen könnte ab welcher packetgröße deltup verwendet werden soll.
Wenn zum bsp. das packet komplett eh nur 200KB hat, finde ich es etwas nervig und zeitaufwändig wenn dafür extra erst ein dtu gemacht wird
in dem fall wäre ein fallback auf vollpacket download gut
die packetgröße muss ja irgendwo stehen, ein emerge -vp packet zeigt die erwartete packetgröße zumindest an

Arudil · Post by **Arudil** » Wed Oct 06, 2004 12:05 pm

Wenn zum bsp. das packet komplett eh nur 200KB hat, finde ich es etwas nervig und zeitaufwändig wenn dafür extra erst ein dtu gemacht wird

erst checken obs ein gibt - und falls nicht - das normale paket runterladen, fänd ich sinnvoller. nur so am rande

Hotstuff · Post by **Hotstuff** » Thu Oct 14, 2004 6:52 pm

Hallo

Wo und wie kann ich es Testen das es geht. Die neue Software

Frage Ist das richtig mit dem Updaten von Linux emerge -UD

Gruss Dave

_hephaistos_ · Post by **_hephaistos_** » Thu Oct 14, 2004 7:17 pm

dave1986 wrote:Wo und wie kann ich es Testen das es geht. Die neue Software

einfach was emergen... dann siehst du gleich eine farbige ausgabe, dass er nach einer dtu datei sucht...

Frage Ist das richtig mit dem Updaten von Linux emerge -UD

NO: U ist böse

emerge -utDpv world (nehm ich immer her... D mögen manche auch nicht...)

hth,
ciao

Wishmaster · Post by **Wishmaster** » Thu Oct 14, 2004 9:47 pm

Hallo!

Ich würde das ganze auch gerne testen!
Gibt es schon eine Lösung für das gcc-3.4 Problem?
Ich bekomme leider die gleiche Fehlermeldung.

Bye,
Wishmaster

Arudil · Post by **Arudil** » Sat Oct 16, 2004 8:44 am

Morgn,

1. irgendwie scheints ned zu funktionieren dass man die Farbe abschalten kann
2. wird die do_not_remove irgendwie automatisch aktualisiert/gepflegt?

subclasser · Post by **subclasser** » Sat Oct 16, 2004 2:40 pm

Arudil wrote:irgendwie scheints ned zu funktionieren dass man die Farbe abschalten kann

Ich habe dasselbe Problem.

75% weniger Download beim Update von Paketen

Re: Verbesserungsmöglichkeiten

getdelta überschreibt /etc/deltup/do_not_remove

Re: getdelta überschreibt /etc/deltup/do_not_remove