View previous topic :: View next topic |
Author |
Message |
slick Bodhisattva
Joined: 20 Apr 2003 Posts: 3495
|
Posted: Fri Feb 27, 2004 11:00 am Post subject: [OT] Alle Gentoo User kompilieren zusammen |
|
|
Aufgrund der aufkommenden Diskussion unter https://forums.gentoo.org/viewtopic.php?t=141384 möchte ich hier mal dieses Thema mal extra zur Diskussion stellen.
Sinnvoll?
Praxisnah?
Realisierbar? |
|
Back to top |
|
|
Carlo Developer
Joined: 12 Aug 2002 Posts: 3356
|
Posted: Fri Feb 27, 2004 11:11 am Post subject: |
|
|
Nein, da a) jeder ein anderes System hat und b) keiner dem anderen gegenüber vertrauenswürdig ist. Das Thema ist auch schon mehrfach durchgekaut worden.
Carlo _________________ Please make sure that you have searched for an answer to a question after reading all the relevant docs. |
|
Back to top |
|
|
slick Bodhisattva
Joined: 20 Apr 2003 Posts: 3495
|
Posted: Fri Feb 27, 2004 11:23 am Post subject: |
|
|
Naja, nicht realisierbar in Bezug auf reines kompilieren würde ich ja noch verstehen. Aber ich denke mal wenn man eine Art p2p aufbaut, um kompilierte Files (incl. checksum) zu sharen, das ginge schon. Man müßte parallel dazu natürlich ein trustet-network haben damit nur vertrauenswürde User files einspielen können. Ich gehe mal davon aus das es viele sind, und schon haben wir eine Pool an fertigen Binaries für unterschiedlichste Plattformen. Jeder muss das Binarie mit einem Key signieren, und wer Mist macht dessen Key wird gesperrt. Also in meinem Kopf funktioniert das...
Natürlich muss man die USE-Flags bedenken, aber es gibt ne Menge Pakete wo diese nicht benutzt werden, oder es nur 1 oder 2 gibt... |
|
Back to top |
|
|
Gekko l33t
Joined: 29 Oct 2002 Posts: 773
|
Posted: Fri Feb 27, 2004 11:27 am Post subject: |
|
|
Naja, wenn das in Deinem Kopf so gut funktioniert würde ich mal vorschlagen dass Du ein Testsystem mit sagen wir mal 4-5 Rechnern daheim aufbaust, und das ganze System entwickelst, testest und uns an Deinem Wissen teilhaben lässt
Nee im Ernst: Wer auf sowas steht sollt sich vielleicht doch lieber eine Binärdistro installieren, da gibts die Binaries auf vielen Mirrors und überhaupt...... weis ich nicht was es bringen soll.
LG, Gekko |
|
Back to top |
|
|
sputnik1969 Guru
Joined: 08 Aug 2002 Posts: 401 Location: Berlin / Germany
|
Posted: Fri Feb 27, 2004 11:29 am Post subject: Re: [OT] Alle Gentoo User kompilieren zusammen |
|
|
Sicher nicht, aus mehreren Gründen:
1) Bandbreite. Wenn ich den Source durch meinen DSL-Anschluß "quetsche" ist mein Rechner 5 mal schneller fertig, wenn er den Kram alleine macht, da ich (und die meisten anderen) nur 128kbit Upstream haben.
2) Kompatiblität: Es wäre nötig, das alle die selbe gcc-Version fahren, was jedoch nicht gewährleistet ist. Ein zusätzlicher Mechanismus wäre nötig um das zu gewährleisten
3) Sicherheit: Trau schau wem, mehr gibts da wohl nicht zu sagen
4) Zuverlässigkeit: Selbst wenn ich dem Gegenüber trauen kann, das er sich nicht an meinen Sources vergreift, wer garantiert mit, das sein gcc nicht durch überladene Optimierungen kaputtoptimiert wurde und defekten Code sendet? _________________ 'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford |
|
Back to top |
|
|
Carlo Developer
Joined: 12 Aug 2002 Posts: 3356
|
Posted: Fri Feb 27, 2004 11:36 am Post subject: |
|
|
slick wrote: | Natürlich muss man die USE-Flags bedenken |
Es sind nicht nur die use flags, sondern auch die compiler flags und unterschiedlichen Plattformen. Da gibt's schnell tausende von möglichen unterschiedlichen Kompilaten für ein einziges Ebuild. Wenn man sich auf einen mehr oder weniger gemeinsamen Nenner beschränkt, kann man gleich eine herkömliche Distro nehmen.
Carlo _________________ Please make sure that you have searched for an answer to a question after reading all the relevant docs. |
|
Back to top |
|
|
Gekko l33t
Joined: 29 Oct 2002 Posts: 773
|
Posted: Fri Feb 27, 2004 11:40 am Post subject: |
|
|
Carlo wrote: | slick wrote: | Natürlich muss man die USE-Flags bedenken |
Es sind nicht nur die use flags, sondern auch die compiler flags und unterschiedlichen Plattformen. Da gibt's schnell tausende von möglichen unterschiedlichen Kompilaten für ein einziges Ebuild. Wenn man sich auf einen mehr oder weniger gemeinsamen Nenner beschränkt, kann man gleich eine herkömliche Distro nehmen.
Carlo |
Das meinte ich auch in meinem vorherigen Post hiezu....
Nur hast Du geschrieben was ich gedacht habe
LG, Gekko |
|
Back to top |
|
|
slick Bodhisattva
Joined: 20 Apr 2003 Posts: 3495
|
Posted: Fri Feb 27, 2004 11:57 am Post subject: |
|
|
Versteht mich nicht falsch, aber bin sicher nicht der einzige der hier ein paar Gentoo-Boxen rumstehen hat welche sich zu 99% die Eier schauckeln . SetiAtHome und FoldingAtHome sind aus bekannten Gründen (siehe Link ganz oben) uninteressant. Aber irgentwie möchte ich den Strom nicht fürs Nix-Tun der Kisten bezahlen. (außer den paar kleinen Serverdiensten in LAN). Also wie kann ich die übrige Rechenzeit der Community zugute kommen lassen? (denn wenn man mal die "überschüssige" Leistung der Gentoo-User zusamenziehen könnte, wäre das 'ne gewaltige Ladung...) |
|
Back to top |
|
|
toskala Advocate
Joined: 14 Dec 2002 Posts: 2080 Location: hamburg, germany
|
Posted: Fri Feb 27, 2004 12:09 pm Post subject: |
|
|
du willst es grade nicht verstehen oder?
die probleme die sich aus einem verteilten rechnen ergeben sind mannigfaltig.
wie bereits erwähnt ist eines der hauptprobleme die faktorisierbarkeit der pakete.
das problem ist, das du nicht jedes paket verteilt kompilieren kannst, des weiteren würde ich einen teufel tun um pakete aus unvertrauten umgebungen zu bekommen und des weiteren einen teufel tun meine pakete auf vertrauensunwürdigen maschinen bauen lassen.
du brauchst einen unglaublichen overhead an verwaltung um den ganzen schotter sicherzustellen der daraus entsteht sowas durchzuziehen.
aber mein pers. tip an dich um strom zu sparen. "abschalten"... ist echt super _________________ adopt an unanswered post
erst denken, dann posten |
|
Back to top |
|
|
sputnik1969 Guru
Joined: 08 Aug 2002 Posts: 401 Location: Berlin / Germany
|
Posted: Fri Feb 27, 2004 12:10 pm Post subject: |
|
|
slick wrote: | Versteht mich nicht falsch, aber bin sicher nicht der einzige der hier ein paar Gentoo-Boxen rumstehen hat welche sich zu 99% die Eier schauckeln . SetiAtHome und FoldingAtHome sind aus bekannten Gründen (siehe Link ganz oben) uninteressant. Aber irgentwie möchte ich den Strom nicht fürs Nix-Tun der Kisten bezahlen. (außer den paar kleinen Serverdiensten in LAN). |
Dir ist bewusst, das der Rechner wenn er ein paar Serverdienste im LAN erledigt in etwas 75-85% des Stroms verbraucht, den er verbrauchen würde wenn zusätzlich Seti@Home läuft?? Denn das Mainboard, die CPU, die Disks und der ganze andere Kram schalten sich ja bei "Leerlauf" nicht wirklich ab sondern fressen weiterhin Strom...und nicht zu wenig wenn man die Leckströme mal mit einrechnet...Und die zusätzlichen 15-25W/h, die er für Seti "verschwendet" ist mir mein Hobby schon wert
Ich jedenfalls lasse meinen Router nebenbei SETI@Home machen, wenn es etwas (für mich) sinnvolleres gäbe würde ich aber sicher umschalten..
Aber ein distcc übers netz ist für mich jedenfalls nicht sinnvoll, siehe meinen oberen Beitrag... _________________ 'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford |
|
Back to top |
|
|
slick Bodhisattva
Joined: 20 Apr 2003 Posts: 3495
|
Posted: Fri Feb 27, 2004 12:25 pm Post subject: |
|
|
Quote: | du willst es grade nicht verstehen oder? |
Doch, habs verstanden. Muss ich die Frage umformulieren:
Gibt es irgendetwas außer Seti. und Folding. was ich laufen lassen kann um irgentjemand (bevorzugt Open-Source-Bewegungen) zu unterstützen?
Quote: | Dir ist bewusst, das der Rechner wenn er ein paar Serverdienste im LAN erledigt in etwas 75-85% des Stroms verbraucht, den er verbrauchen würde wenn zusätzlich Seti@Home läuft?? |
Ja |
|
Back to top |
|
|
tacki Guru
Joined: 29 Jun 2002 Posts: 418 Location: Germany
|
Posted: Fri Feb 27, 2004 12:30 pm Post subject: |
|
|
zetagrid? _________________ "Kazaa ist der beste MP3-Player den es gibt!"
.o( ... ) |
|
Back to top |
|
|
sputnik1969 Guru
Joined: 08 Aug 2002 Posts: 401 Location: Berlin / Germany
|
Posted: Fri Feb 27, 2004 12:38 pm Post subject: |
|
|
slick wrote: | Quote: | du willst es grade nicht verstehen oder? |
Doch, habs verstanden. Muss ich die Frage umformulieren:
Gibt es irgendetwas außer Seti. und Folding. was ich laufen lassen kann um irgentjemand (bevorzugt Open-Source-Bewegungen) zu unterstützen?
|
Meines Wissens: NEIN
Davon abgesehen kann so ein Projekt mit OpenSource nicht richtig funktionieren, denn jeder kann an dem Source rumspielen. Das ist zwar Prinzipiell nicht schlecht, aber bedeutet auch, das man sich auf die Ergebnisse nicht verlassen kann, es reicht schon, wenn ich das Projekt mit einem alten GCC und P4-Optimierung compiliere um Müllergebnisse zu erzeugen. Und da man fehlerhafte Ergebnisse bei "nichtüberprüftbaren" Programmen nicht einfach aussortieren kann (wie denn auch? Mit MD5-Summe??? Kaum, selbst das kann ich manipulieren, wenn ich den Source habe) wär so ein Projekt quasi sofort zum scheitern verurteilt, eine "korrupte" Person reicht aus um das Projekt zu sabotieren... _________________ 'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford |
|
Back to top |
|
|
mikkk Tux's lil' helper
Joined: 02 Mar 2003 Posts: 126
|
Posted: Fri Feb 27, 2004 12:59 pm Post subject: |
|
|
Quote: |
1) Bandbreite. Wenn ich den Source durch meinen DSL-Anschluß "quetsche" ist mein Rechner 5 mal schneller fertig, wenn er den Kram alleine macht, da ich (und die meisten anderen) nur 128kbit Upstream haben.
|
Ich hab's mal ausprobiert und kann das leider nur bestätigen :
Ich hab an der Uni einen kleinen distcc-Cluster aus vier Pentium4 3000 gebastelt (man muss dafür zum glück ja nicht root sein ). Dann hab ich versucht per DSL (768/128) das Kompilieren auf meinem Athlon 900 per Internet zu beschleunigen. Und tatsächlich waren die fünf rechner zusammen *wesentlich* langsamer als mein alter Athlon alleine!
Ich denke mal, dass es nicht nur an der Bandbreite liegt (die Leitung war in beide Richtungen nie komplett ausgelastet). Vor allem lange Response-Zeiten im Internet machen hier Probleme (und die sind wichtig, wenn man kleine Datenmengen schnell übertragen will).
Deshalb macht verteiltes Übersetzen ausserhalb von LANs IMHO keinen Sinn.
mikkk |
|
Back to top |
|
|
sputnik1969 Guru
Joined: 08 Aug 2002 Posts: 401 Location: Berlin / Germany
|
Posted: Fri Feb 27, 2004 1:25 pm Post subject: |
|
|
mikkk wrote: | Quote: |
1) Bandbreite. Wenn ich den Source durch meinen DSL-Anschluß "quetsche" ist mein Rechner 5 mal schneller fertig, wenn er den Kram alleine macht, da ich (und die meisten anderen) nur 128kbit Upstream haben.
|
Ich hab's mal ausprobiert und kann das leider nur bestätigen :
....
Ich denke mal, dass es nicht nur an der Bandbreite liegt (die Leitung war in beide Richtungen nie komplett ausgelastet). Vor allem lange Response-Zeiten im Internet machen hier Probleme (und die sind wichtig, wenn man kleine Datenmengen schnell übertragen will).
Deshalb macht verteiltes Übersetzen ausserhalb von LANs IMHO keinen Sinn.
|
Ich habe es mal im LAN mit 10MBit probiert und dabei erfahren dürfen, das selbst das nicht das Gelbe vom Ei ist. Zumindest war das kompilieren auf meinem Notebook (P166) subjektiv nicht wirklich schneller, obwohl mein XP1900+ mitkompiliert hat... Eher meistens mitgewartet hat würde ich sagen _________________ 'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford |
|
Back to top |
|
|
mikkk Tux's lil' helper
Joined: 02 Mar 2003 Posts: 126
|
Posted: Fri Feb 27, 2004 1:52 pm Post subject: |
|
|
Quote: |
Eher meistens mitgewartet hat würde ich sagen
|
So eine Erfahrung hab ich mit einem PentiumPro 200 auch mal gemacht. Für distcc scheint man neben einer flotten Leitung auch eine Mindestleistung des Client-Rechners (damit meine ich den Rechner, auf dem das Übersetzen gestartet wird) zu brauchen:
Wenn ich das richtig verstanden hab, wird ja nur der eigentliche Compilier-Vorgang verteilt. Präprozessor und Linker müssen immer auf dem Client laufen (von "./configure" und "tar xfj ..." mal ganz zu schweigen). Für alte Kisten ist das wohl schon zu viel...
Wenn Netzwerk und Rechenleistung stimmen, hab ich allerdings auch sehr gute Erfahrungen mit dem distcc gemacht. In meinem oben beschriebenen Cluster hab ich z.B. schon mal einen Kernel in ca. 90 Sekunden übersetzt. Das war dann allerdings in einem 100MBit-LAN und ohne "Bremsklötze" im Cluster .
mikkk |
|
Back to top |
|
|
sputnik1969 Guru
Joined: 08 Aug 2002 Posts: 401 Location: Berlin / Germany
|
Posted: Fri Feb 27, 2004 2:03 pm Post subject: |
|
|
mikkk wrote: |
Wenn Netzwerk und Rechenleistung stimmen, hab ich allerdings auch sehr gute Erfahrungen mit dem distcc gemacht. In meinem oben beschriebenen Cluster hab ich z.B. schon mal einen Kernel in ca. 90 Sekunden übersetzt. Das war dann allerdings in einem 100MBit-LAN und ohne "Bremsklötze" im Cluster .
|
Jupp... Wenn die Rechner "was taugen" lohnt sich die Sache schon, mein Duron 700 hat jedenfalls bei einer 100MBit-Anbindung von der Rechenleistung meines XP1900+ profitiert, das kompilieren ging eindeutig schneller... _________________ 'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford |
|
Back to top |
|
|
slick Bodhisattva
Joined: 20 Apr 2003 Posts: 3495
|
Posted: Fri Feb 27, 2004 3:04 pm Post subject: |
|
|
Quote: | z.B. schon mal einen Kernel in ca. 90 Sekunden übersetzt |
Blöde Frage, wie geht as distcc beim Kernel? Habe distcc eingerichtet und läuft auch bei emerge. Im PATH ist der path zu dictcc auch vor dem zum gcc. Und für den kernel reicht dann ein make -jX bzImage ? Hat aber anscheinend nicht gefunzt... |
|
Back to top |
|
|
tacki Guru
Joined: 29 Jun 2002 Posts: 418 Location: Germany
|
Posted: Fri Feb 27, 2004 3:08 pm Post subject: |
|
|
Code: | make modules modules_install bzImage CC=distcc -j5 |
(-j5 = 5 Threads gleichzeitig) _________________ "Kazaa ist der beste MP3-Player den es gibt!"
.o( ... ) |
|
Back to top |
|
|
slick Bodhisattva
Joined: 20 Apr 2003 Posts: 3495
|
Posted: Sat Feb 28, 2004 9:49 am Post subject: |
|
|
wieder was dazugelernt TNX |
|
Back to top |
|
|
lutzlustig Apprentice
Joined: 19 Jul 2002 Posts: 220
|
Posted: Sat Feb 28, 2004 11:02 pm Post subject: |
|
|
tacki wrote: | Code: | make modules modules_install bzImage CC=distcc -j5 |
(-j5 = 5 Threads gleichzeitig) |
Vorher noch:
export DISTCC_HOSTS="localhost host1 host2 host3 host4"
dann klappt auch mit den distcc-nachbarn.
Und ccache emergen und in make.conf bei "features" nicht vergessen, beschleunigt die sache nochmal.
Ciao _________________ Intel Core2Quad@3Ghz, Abit AB9 QuadGT, 8GB RAM, Radeon HD4870, Kernel gentoo-2.6.25-r6, Brenner Asus DRW-1814BLT, 4 HDD je 500GB)
http://strammermax.meinbrutalo.de
http://www.lordofultima.com/ref/2278509259 |
|
Back to top |
|
|
spitzwegerich l33t
Joined: 04 Mar 2003 Posts: 697 Location: Lower Bavaria, Central Europe
|
Posted: Sun Feb 29, 2004 1:52 am Post subject: |
|
|
slick wrote: | Quote: | du willst es grade nicht verstehen oder? | Gibt es irgendetwas außer Seti. und Folding. was ich laufen lassen kann um irgentjemand (bevorzugt Open-Source-Bewegungen) zu unterstützen? |
Mir fällt spontan noch GIMPS (Great Internet Mersenne Prime Search) ein. Das hat zwar nicht direkt was mit Open Source zu tun, aber dafür gibts was zu gewinnen: Wer als erster eine Primzahl mit mehr als 10 Millionen Ziffern findet, kriegt von der EFF 100.000$. Ich geh mal davon aus dass davon die GIMPS-Leute auch was bekommen, aber für denjenigen der das glückliche Los (bzw. den glücklichen Exponenten) gezogen hat, fällt sicher auch ein Batzen ab.
EDIT:
Hab grad entdeckt, dass es genaue Auszahlungsregeln für diese GIMPS-Lotterie gibt. _________________ "Work is the curse of the drinking classes."
-Oskar Wilde |
|
Back to top |
|
|
SnorreDev Apprentice
Joined: 05 Jun 2003 Posts: 246 Location: Valhalla
|
Posted: Sun Feb 29, 2004 3:00 am Post subject: |
|
|
sputnik1969 wrote: | Jupp... Wenn die Rechner "was taugen" lohnt sich die Sache schon, mein Duron 700 hat jedenfalls bei einer 100MBit-Anbindung von der Rechenleistung meines XP1900+ profitiert, das kompilieren ging eindeutig schneller... | Geht mir so mit meinem K6-II / XP2000+ gespann.
Der K6-II hat noch nie so schnell ein Packet erstellt.
Allerdings wenn der Job von meinem Ahlon aus gestartet wird, pennt der oft einfach weg, weil der K6-II einfach lahm ist. Dann nehm distcc aus der make.conf am Athlon raus, bei richtig dicken Packeten, denn da kommt die Gurke ( mein Server ) nicht nach. Wird Zeit fuer meinen Opteron - dann kann der den 3. Distcc Server stellen . _________________ Dieser Beitrag wurde ihnen praesentiert von Krombacher!
Athlon64/3000+, 1GB DDR, GF 6600 GT & Gentoo was sonst! |
|
Back to top |
|
|
|