Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
[OT] Alle Gentoo User kompilieren zusammen
View unanswered posts
View posts from last 24 hours
View posts from last 7 days

 
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German) Diskussionsforum
View previous topic :: View next topic  
Author Message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3464

PostPosted: Fri Feb 27, 2004 11:00 am    Post subject: [OT] Alle Gentoo User kompilieren zusammen Reply with quote

Aufgrund der aufkommenden Diskussion unter https://forums.gentoo.org/viewtopic.php?t=141384 möchte ich hier mal dieses Thema mal extra zur Diskussion stellen.

Sinnvoll?
Praxisnah?
Realisierbar?
Back to top
View user's profile Send private message
Carlo
Developer
Developer


Joined: 12 Aug 2002
Posts: 3356

PostPosted: Fri Feb 27, 2004 11:11 am    Post subject: Reply with quote

Nein, da a) jeder ein anderes System hat und b) keiner dem anderen gegenüber vertrauenswürdig ist. Das Thema ist auch schon mehrfach durchgekaut worden.


Carlo
_________________
Please make sure that you have searched for an answer to a question after reading all the relevant docs.
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3464

PostPosted: Fri Feb 27, 2004 11:23 am    Post subject: Reply with quote

Naja, nicht realisierbar in Bezug auf reines kompilieren würde ich ja noch verstehen. Aber ich denke mal wenn man eine Art p2p aufbaut, um kompilierte Files (incl. checksum) zu sharen, das ginge schon. Man müßte parallel dazu natürlich ein trustet-network haben damit nur vertrauenswürde User files einspielen können. Ich gehe mal davon aus das es viele sind, und schon haben wir eine Pool an fertigen Binaries für unterschiedlichste Plattformen. Jeder muss das Binarie mit einem Key signieren, und wer Mist macht dessen Key wird gesperrt. Also in meinem Kopf funktioniert das... ;-)

Natürlich muss man die USE-Flags bedenken, aber es gibt ne Menge Pakete wo diese nicht benutzt werden, oder es nur 1 oder 2 gibt...
Back to top
View user's profile Send private message
Gekko
l33t
l33t


Joined: 29 Oct 2002
Posts: 773

PostPosted: Fri Feb 27, 2004 11:27 am    Post subject: Reply with quote

Naja, wenn das in Deinem Kopf so gut funktioniert würde ich mal vorschlagen dass Du ein Testsystem mit sagen wir mal 4-5 Rechnern daheim aufbaust, und das ganze System entwickelst, testest und uns an Deinem Wissen teilhaben lässt ;)

Nee im Ernst: Wer auf sowas steht sollt sich vielleicht doch lieber eine Binärdistro installieren, da gibts die Binaries auf vielen Mirrors und überhaupt...... weis ich nicht was es bringen soll.

LG, Gekko
Back to top
View user's profile Send private message
sputnik1969
Guru
Guru


Joined: 08 Aug 2002
Posts: 401
Location: Berlin / Germany

PostPosted: Fri Feb 27, 2004 11:29 am    Post subject: Re: [OT] Alle Gentoo User kompilieren zusammen Reply with quote

slick wrote:
Aufgrund der aufkommenden Diskussion unter https://forums.gentoo.org/viewtopic.php?t=141384 möchte ich hier mal dieses Thema mal extra zur Diskussion stellen.

Sinnvoll?
Praxisnah?
Realisierbar?

Sicher nicht, aus mehreren Gründen:
1) Bandbreite. Wenn ich den Source durch meinen DSL-Anschluß "quetsche" ist mein Rechner 5 mal schneller fertig, wenn er den Kram alleine macht, da ich (und die meisten anderen) nur 128kbit Upstream haben.
2) Kompatiblität: Es wäre nötig, das alle die selbe gcc-Version fahren, was jedoch nicht gewährleistet ist. Ein zusätzlicher Mechanismus wäre nötig um das zu gewährleisten
3) Sicherheit: Trau schau wem, mehr gibts da wohl nicht zu sagen ;)
4) Zuverlässigkeit: Selbst wenn ich dem Gegenüber trauen kann, das er sich nicht an meinen Sources vergreift, wer garantiert mit, das sein gcc nicht durch überladene Optimierungen kaputtoptimiert wurde und defekten Code sendet?
_________________
'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford
Back to top
View user's profile Send private message
Carlo
Developer
Developer


Joined: 12 Aug 2002
Posts: 3356

PostPosted: Fri Feb 27, 2004 11:36 am    Post subject: Reply with quote

slick wrote:
Natürlich muss man die USE-Flags bedenken

Es sind nicht nur die use flags, sondern auch die compiler flags und unterschiedlichen Plattformen. Da gibt's schnell tausende von möglichen unterschiedlichen Kompilaten für ein einziges Ebuild. Wenn man sich auf einen mehr oder weniger gemeinsamen Nenner beschränkt, kann man gleich eine herkömliche Distro nehmen.


Carlo
_________________
Please make sure that you have searched for an answer to a question after reading all the relevant docs.
Back to top
View user's profile Send private message
Gekko
l33t
l33t


Joined: 29 Oct 2002
Posts: 773

PostPosted: Fri Feb 27, 2004 11:40 am    Post subject: Reply with quote

Carlo wrote:
slick wrote:
Natürlich muss man die USE-Flags bedenken

Es sind nicht nur die use flags, sondern auch die compiler flags und unterschiedlichen Plattformen. Da gibt's schnell tausende von möglichen unterschiedlichen Kompilaten für ein einziges Ebuild. Wenn man sich auf einen mehr oder weniger gemeinsamen Nenner beschränkt, kann man gleich eine herkömliche Distro nehmen.
Carlo


Das meinte ich auch in meinem vorherigen Post hiezu....
Nur hast Du geschrieben was ich gedacht habe :lol:

LG, Gekko
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3464

PostPosted: Fri Feb 27, 2004 11:57 am    Post subject: Reply with quote

Versteht mich nicht falsch, aber bin sicher nicht der einzige der hier ein paar Gentoo-Boxen rumstehen hat welche sich zu 99% die Eier schauckeln ;-). SetiAtHome und FoldingAtHome sind aus bekannten Gründen (siehe Link ganz oben) uninteressant. Aber irgentwie möchte ich den Strom nicht fürs Nix-Tun der Kisten bezahlen. (außer den paar kleinen Serverdiensten in LAN). Also wie kann ich die übrige Rechenzeit der Community zugute kommen lassen? (denn wenn man mal die "überschüssige" Leistung der Gentoo-User zusamenziehen könnte, wäre das 'ne gewaltige Ladung...)
Back to top
View user's profile Send private message
toskala
Advocate
Advocate


Joined: 14 Dec 2002
Posts: 2080
Location: hamburg, germany

PostPosted: Fri Feb 27, 2004 12:09 pm    Post subject: Reply with quote

du willst es grade nicht verstehen oder?
die probleme die sich aus einem verteilten rechnen ergeben sind mannigfaltig.

wie bereits erwähnt ist eines der hauptprobleme die faktorisierbarkeit der pakete.

das problem ist, das du nicht jedes paket verteilt kompilieren kannst, des weiteren würde ich einen teufel tun um pakete aus unvertrauten umgebungen zu bekommen und des weiteren einen teufel tun meine pakete auf vertrauensunwürdigen maschinen bauen lassen.

du brauchst einen unglaublichen overhead an verwaltung um den ganzen schotter sicherzustellen der daraus entsteht sowas durchzuziehen.

aber mein pers. tip an dich um strom zu sparen. "abschalten"... ist echt super
_________________
adopt an unanswered post
erst denken, dann posten
Back to top
View user's profile Send private message
sputnik1969
Guru
Guru


Joined: 08 Aug 2002
Posts: 401
Location: Berlin / Germany

PostPosted: Fri Feb 27, 2004 12:10 pm    Post subject: Reply with quote

slick wrote:
Versteht mich nicht falsch, aber bin sicher nicht der einzige der hier ein paar Gentoo-Boxen rumstehen hat welche sich zu 99% die Eier schauckeln ;-). SetiAtHome und FoldingAtHome sind aus bekannten Gründen (siehe Link ganz oben) uninteressant. Aber irgentwie möchte ich den Strom nicht fürs Nix-Tun der Kisten bezahlen. (außer den paar kleinen Serverdiensten in LAN).

Dir ist bewusst, das der Rechner wenn er ein paar Serverdienste im LAN erledigt in etwas 75-85% des Stroms verbraucht, den er verbrauchen würde wenn zusätzlich Seti@Home läuft?? Denn das Mainboard, die CPU, die Disks und der ganze andere Kram schalten sich ja bei "Leerlauf" nicht wirklich ab sondern fressen weiterhin Strom...und nicht zu wenig wenn man die Leckströme mal mit einrechnet...Und die zusätzlichen 15-25W/h, die er für Seti "verschwendet" ist mir mein Hobby schon wert ;)
Ich jedenfalls lasse meinen Router nebenbei SETI@Home machen, wenn es etwas (für mich) sinnvolleres gäbe würde ich aber sicher umschalten..
Aber ein distcc übers netz ist für mich jedenfalls nicht sinnvoll, siehe meinen oberen Beitrag...
_________________
'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3464

PostPosted: Fri Feb 27, 2004 12:25 pm    Post subject: Reply with quote

Quote:
du willst es grade nicht verstehen oder?


Doch, habs verstanden. Muss ich die Frage umformulieren:

Gibt es irgendetwas außer Seti. und Folding. was ich laufen lassen kann um irgentjemand (bevorzugt Open-Source-Bewegungen) zu unterstützen?

Quote:
Dir ist bewusst, das der Rechner wenn er ein paar Serverdienste im LAN erledigt in etwas 75-85% des Stroms verbraucht, den er verbrauchen würde wenn zusätzlich Seti@Home läuft??

Ja
Back to top
View user's profile Send private message
tacki
Guru
Guru


Joined: 29 Jun 2002
Posts: 418
Location: Germany

PostPosted: Fri Feb 27, 2004 12:30 pm    Post subject: Reply with quote

zetagrid?
_________________
"Kazaa ist der beste MP3-Player den es gibt!"
.o( ... )
Back to top
View user's profile Send private message
sputnik1969
Guru
Guru


Joined: 08 Aug 2002
Posts: 401
Location: Berlin / Germany

PostPosted: Fri Feb 27, 2004 12:38 pm    Post subject: Reply with quote

slick wrote:
Quote:
du willst es grade nicht verstehen oder?


Doch, habs verstanden. Muss ich die Frage umformulieren:

Gibt es irgendetwas außer Seti. und Folding. was ich laufen lassen kann um irgentjemand (bevorzugt Open-Source-Bewegungen) zu unterstützen?

Meines Wissens: NEIN
Davon abgesehen kann so ein Projekt mit OpenSource nicht richtig funktionieren, denn jeder kann an dem Source rumspielen. Das ist zwar Prinzipiell nicht schlecht, aber bedeutet auch, das man sich auf die Ergebnisse nicht verlassen kann, es reicht schon, wenn ich das Projekt mit einem alten GCC und P4-Optimierung compiliere um Müllergebnisse zu erzeugen. Und da man fehlerhafte Ergebnisse bei "nichtüberprüftbaren" Programmen nicht einfach aussortieren kann (wie denn auch? Mit MD5-Summe??? Kaum, selbst das kann ich manipulieren, wenn ich den Source habe) wär so ein Projekt quasi sofort zum scheitern verurteilt, eine "korrupte" Person reicht aus um das Projekt zu sabotieren...
_________________
'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford
Back to top
View user's profile Send private message
mikkk
Tux's lil' helper
Tux's lil' helper


Joined: 02 Mar 2003
Posts: 126

PostPosted: Fri Feb 27, 2004 12:59 pm    Post subject: Reply with quote

Quote:

1) Bandbreite. Wenn ich den Source durch meinen DSL-Anschluß "quetsche" ist mein Rechner 5 mal schneller fertig, wenn er den Kram alleine macht, da ich (und die meisten anderen) nur 128kbit Upstream haben.

Ich hab's mal ausprobiert und kann das leider nur bestätigen :-(:
Ich hab an der Uni einen kleinen distcc-Cluster aus vier Pentium4 3000 gebastelt (man muss dafür zum glück ja nicht root sein ;-)). Dann hab ich versucht per DSL (768/128) das Kompilieren auf meinem Athlon 900 per Internet zu beschleunigen. Und tatsächlich waren die fünf rechner zusammen *wesentlich* langsamer als mein alter Athlon alleine!
Ich denke mal, dass es nicht nur an der Bandbreite liegt (die Leitung war in beide Richtungen nie komplett ausgelastet). Vor allem lange Response-Zeiten im Internet machen hier Probleme (und die sind wichtig, wenn man kleine Datenmengen schnell übertragen will).
Deshalb macht verteiltes Übersetzen ausserhalb von LANs IMHO keinen Sinn.

mikkk
Back to top
View user's profile Send private message
sputnik1969
Guru
Guru


Joined: 08 Aug 2002
Posts: 401
Location: Berlin / Germany

PostPosted: Fri Feb 27, 2004 1:25 pm    Post subject: Reply with quote

mikkk wrote:
Quote:

1) Bandbreite. Wenn ich den Source durch meinen DSL-Anschluß "quetsche" ist mein Rechner 5 mal schneller fertig, wenn er den Kram alleine macht, da ich (und die meisten anderen) nur 128kbit Upstream haben.

Ich hab's mal ausprobiert und kann das leider nur bestätigen :-(:
....
Ich denke mal, dass es nicht nur an der Bandbreite liegt (die Leitung war in beide Richtungen nie komplett ausgelastet). Vor allem lange Response-Zeiten im Internet machen hier Probleme (und die sind wichtig, wenn man kleine Datenmengen schnell übertragen will).
Deshalb macht verteiltes Übersetzen ausserhalb von LANs IMHO keinen Sinn.

Ich habe es mal im LAN mit 10MBit probiert und dabei erfahren dürfen, das selbst das nicht das Gelbe vom Ei ist. Zumindest war das kompilieren auf meinem Notebook (P166) subjektiv nicht wirklich schneller, obwohl mein XP1900+ mitkompiliert hat... Eher meistens mitgewartet hat würde ich sagen ;)
_________________
'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford
Back to top
View user's profile Send private message
mikkk
Tux's lil' helper
Tux's lil' helper


Joined: 02 Mar 2003
Posts: 126

PostPosted: Fri Feb 27, 2004 1:52 pm    Post subject: Reply with quote

Quote:

Eher meistens mitgewartet hat würde ich sagen

So eine Erfahrung hab ich mit einem PentiumPro 200 auch mal gemacht. Für distcc scheint man neben einer flotten Leitung auch eine Mindestleistung des Client-Rechners (damit meine ich den Rechner, auf dem das Übersetzen gestartet wird) zu brauchen:
Wenn ich das richtig verstanden hab, wird ja nur der eigentliche Compilier-Vorgang verteilt. Präprozessor und Linker müssen immer auf dem Client laufen (von "./configure" und "tar xfj ..." mal ganz zu schweigen). Für alte Kisten ist das wohl schon zu viel...
Wenn Netzwerk und Rechenleistung stimmen, hab ich allerdings auch sehr gute Erfahrungen mit dem distcc gemacht. In meinem oben beschriebenen Cluster hab ich z.B. schon mal einen Kernel in ca. 90 Sekunden übersetzt. Das war dann allerdings in einem 100MBit-LAN und ohne "Bremsklötze" im Cluster ;-).

mikkk
Back to top
View user's profile Send private message
sputnik1969
Guru
Guru


Joined: 08 Aug 2002
Posts: 401
Location: Berlin / Germany

PostPosted: Fri Feb 27, 2004 2:03 pm    Post subject: Reply with quote

mikkk wrote:

Wenn Netzwerk und Rechenleistung stimmen, hab ich allerdings auch sehr gute Erfahrungen mit dem distcc gemacht. In meinem oben beschriebenen Cluster hab ich z.B. schon mal einen Kernel in ca. 90 Sekunden übersetzt. Das war dann allerdings in einem 100MBit-LAN und ohne "Bremsklötze" im Cluster ;-).

Jupp... Wenn die Rechner "was taugen" lohnt sich die Sache schon, mein Duron 700 hat jedenfalls bei einer 100MBit-Anbindung von der Rechenleistung meines XP1900+ profitiert, das kompilieren ging eindeutig schneller...
_________________
'Cynic' is a word invented by optimists to criticize realists. - Nigel. In the ocean of Night by Gregory Benford
"Zyniker" ist ein Wort das Optimisten erfunden haben um Realisten zu kritisieren. - Nigel. Im Meer der Nacht von Gregory Benford
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3464

PostPosted: Fri Feb 27, 2004 3:04 pm    Post subject: Reply with quote

Quote:
z.B. schon mal einen Kernel in ca. 90 Sekunden übersetzt


Blöde Frage, wie geht as distcc beim Kernel? Habe distcc eingerichtet und läuft auch bei emerge. Im PATH ist der path zu dictcc auch vor dem zum gcc. Und für den kernel reicht dann ein make -jX bzImage ? Hat aber anscheinend nicht gefunzt...
Back to top
View user's profile Send private message
tacki
Guru
Guru


Joined: 29 Jun 2002
Posts: 418
Location: Germany

PostPosted: Fri Feb 27, 2004 3:08 pm    Post subject: Reply with quote

Code:
make modules modules_install bzImage CC=distcc -j5


(-j5 = 5 Threads gleichzeitig)
_________________
"Kazaa ist der beste MP3-Player den es gibt!"
.o( ... )
Back to top
View user's profile Send private message
slick
Bodhisattva
Bodhisattva


Joined: 20 Apr 2003
Posts: 3464

PostPosted: Sat Feb 28, 2004 9:49 am    Post subject: Reply with quote

wieder was dazugelernt :-) TNX
Back to top
View user's profile Send private message
lutzlustig
Apprentice
Apprentice


Joined: 19 Jul 2002
Posts: 220

PostPosted: Sat Feb 28, 2004 11:02 pm    Post subject: Reply with quote

tacki wrote:
Code:
make modules modules_install bzImage CC=distcc -j5


(-j5 = 5 Threads gleichzeitig)


Vorher noch:
export DISTCC_HOSTS="localhost host1 host2 host3 host4"

dann klappt auch mit den distcc-nachbarn. :-)

Und ccache emergen und in make.conf bei "features" nicht vergessen, beschleunigt die sache nochmal.

Ciao
_________________
Intel Core2Quad@3Ghz, Abit AB9 QuadGT, 8GB RAM, Radeon HD4870, Kernel gentoo-2.6.25-r6, Brenner Asus DRW-1814BLT, 4 HDD je 500GB)

http://strammermax.meinbrutalo.de
http://www.lordofultima.com/ref/2278509259
Back to top
View user's profile Send private message
spitzwegerich
l33t
l33t


Joined: 04 Mar 2003
Posts: 697
Location: Lower Bavaria, Central Europe

PostPosted: Sun Feb 29, 2004 1:52 am    Post subject: Reply with quote

slick wrote:
Quote:
du willst es grade nicht verstehen oder?
Gibt es irgendetwas außer Seti. und Folding. was ich laufen lassen kann um irgentjemand (bevorzugt Open-Source-Bewegungen) zu unterstützen?


Mir fällt spontan noch GIMPS (Great Internet Mersenne Prime Search) ein. Das hat zwar nicht direkt was mit Open Source zu tun, aber dafür gibts was zu gewinnen: Wer als erster eine Primzahl mit mehr als 10 Millionen Ziffern findet, kriegt von der EFF 100.000$. Ich geh mal davon aus dass davon die GIMPS-Leute auch was bekommen, aber für denjenigen der das glückliche Los (bzw. den glücklichen Exponenten) gezogen hat, fällt sicher auch ein Batzen ab.


EDIT:
Hab grad entdeckt, dass es genaue Auszahlungsregeln für diese GIMPS-Lotterie gibt.
_________________
"Work is the curse of the drinking classes."
-Oskar Wilde
Back to top
View user's profile Send private message
SnorreDev
Apprentice
Apprentice


Joined: 05 Jun 2003
Posts: 246
Location: Valhalla

PostPosted: Sun Feb 29, 2004 3:00 am    Post subject: Reply with quote

sputnik1969 wrote:
Jupp... Wenn die Rechner "was taugen" lohnt sich die Sache schon, mein Duron 700 hat jedenfalls bei einer 100MBit-Anbindung von der Rechenleistung meines XP1900+ profitiert, das kompilieren ging eindeutig schneller...
Geht mir so mit meinem K6-II / XP2000+ gespann.
Der K6-II hat noch nie so schnell ein Packet erstellt.
Allerdings wenn der Job von meinem Ahlon aus gestartet wird, pennt der oft einfach weg, weil der K6-II einfach lahm ist. Dann nehm distcc aus der make.conf am Athlon raus, bei richtig dicken Packeten, denn da kommt die Gurke ( mein Server ) nicht nach. Wird Zeit fuer meinen Opteron - dann kann der den 3. Distcc Server stellen :-D.
_________________
Dieser Beitrag wurde ihnen praesentiert von Krombacher!

Athlon64/3000+, 1GB DDR, GF 6600 GT & Gentoo was sonst!
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German) Diskussionsforum All times are GMT
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum