distcc optimieren

Lenz · Posted: Fri Jan 28, 2005 3:23 pm Post subject: distcc optimieren

Hi,

habe gestern distcc installiert und eingerichtet. Funktioniert soweit auch gut, nur wird irgendwie von den Rechnern im Netzwerk immer nur häppchenweise in längeren Abständen (5-10 sec.) kompiliert (-> CPU Auslastung 100%). So richtig effektiv scheint das nicht zu laufen.

Ein zweites Problem ist, dass einige KDE Pakete nach dem Ende des Kompilierens - aber noch vor dem Installieren - mit einem roten Balken abbrechen. Woran könnte das liegen?

Drittens wäre noch eine Frage übrig: Kann man Distcc auch mal eben ausstellen ohne die gesamte Konfiguration abzuändern (in der make.conf)?

-- Lenz
_________________
.:: Lenz' Signature 1.7b ::.

| Gentoo Linux since v1.4 (08-2003) [Screenshot]
| NetHack Highscore: 5.476.380 Pts., Val-Dwa-Fem-Law, ~ ascended to demigoddess-hood ~

redflash · Posted: Fri Jan 28, 2005 4:02 pm Post subject:

Abschalten lässt sich distcc wie folgt.

EliasP · Posted: Sat Jan 29, 2005 9:53 pm Post subject:

Hab es zwar noch nicht ausprobiert, aber ich denke es würde helfen, den MAKEOPTS-Wert überall zu erhöhen, dadurch werden mehr parallele Prozesse gestartet die sich in ihren Pausen beim "Nachschub-holen" dann überlappen und somit sollten die CPUs dann mehr beschäftigt sein.
Sollte so ungefähr funktionieren wie HT bei P4s..

Hab aber auch noch n Problem mit distcc...
Hier stehen mehrere Rechner rum, manche x86, manche ~x86, woraus resultiert, dass die x86 natürlich nen älteren GCC als die ~x86 haben.
Also bricht das kompilieren oft ab, weil ./configure dann Funktionen definiert, die der alte GCC noch gar nicht kennt....
Gibt es hier ne Möglichkeit, auf den x86-ern nen neueren GCC zu installieren (ja, ich weiß, generell über SLOTS kein Problem) und distcc so zu konfigurieren, dass es bei Compiler-Anfragen von ~x86 Rechnern den neuen GCC verwendet??

Würde mein Leben hier deutlich erleichtern

Gruß

Elias P.

misterjack · Veteran Joined: 03 Oct 2004 Posts: 1655

/etc/package.keywords ??
gcc eintragen und neuesten emergen

oder auf ~x86 /etc/portage/package.mask
die ~x86 gcc maskieren und alten mergen

andere möglichkeiten gibts net, bei distcc sollte wirklich absolut die gleiche versionen auf den rechnern installiert sein
_________________
„Meine Meinung steht fest! Bitte verwirren Sie mich nicht mit Tatsachen.“

Jinidog · Guru Joined: 26 Nov 2003 Posts: 593 Location: Berlin

Schon unsauber ist es auch, einfach direkt per Ebuild den benötigen Compiler zu installieren und dann mittels gcc-config immer zwischen den gewünschten hin und her zu schalten.
_________________
Just unused Microsoft-Software is good Microsoft-Software

Lars · Posted: Tue Feb 01, 2005 9:42 am Post subject:

dek · l33t Joined: 16 May 2002 Posts: 657 Location: Germany

Jinidog · Guru Joined: 26 Nov 2003 Posts: 593 Location: Berlin

Ich habe mich auch mit distcc auseinandergesetzt.
Passt auf damit, dass kann die Kompilierzeit nämlich vergrößern.

Bei mir führt es bei bestimmten Konstellationen dazu, dass die schnelle Maschine sekundenweise gar nichts tut, während sie darauf wartet, dass eine andere langsamere Maschine, die auch nicht ausgelastet ist, ihre Ergebnisse zurückschickt.

Wichtig ist es also, auf dem schnellsten Rechner möglich maximal Auslastung zu erreichen.

Ich kenne alle Optimierungen, die genannt wurden.
Bei mir helfen sie recht wenig.

Ich denke, distcc arbeitet erst bei 100 MBit Netzwerken wirklich effizient.
Nicht unbedingt wegen der größeren Bandbreite, sondern vor allem wegen der geringeren Latenz.
Wenn der Server eine Sekunde auf das Ergebniss eines anderen Hosts warten muss, hätte der Server in dieser Zeit Millionen von Rechenoperationen durchführen können.
_________________
Just unused Microsoft-Software is good Microsoft-Software