gcc-11 brauchte 54 Minuten

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Hallo zusammen,

inzwischen sind mir mehrere Pakete aufgefallen, die sehr lange brauchen bis zur Installation:

gcc-11.1.0 54 Minuten (zum erstenmal genau verfolgt)
clang
llvm

Das ist schon manchmal etwas nervend.

Das nur zur Information.

Keine Kritik, denn wer gentoo nutzt, muss sich damit abfinden.

Bei ArchLinux ist eine Installation vieler Pakete in wenigen Sekunden erledigt.

Bei Gentoo kann das erste große Update einen Nachmittag in Anspruch nehmen.

Gar nicht berücksichtigt ist in diesem Zusammenhang:
libreoffice
qtwebengine

Auch diese Pakete brauche ihre Zeit.

Dennoch bleibe ich gentoo treu, denn ich lerne dabei viel dazu.

Viel Spaß allen auch weiterhin.

Gruß
Manfred

firefly · Watchman Joined: 31 Oct 2002 Posts: 5218

Zeitangaben ohne zu wissen mit welcher CPU und sonstigen Einstellungen die Installation gemacht wurden ist ein Vergleich schwierig.

ein Beispiel
Hinweis: Meine Gentoo-Installation hat schon verschiedene HW Upgrades gesehen.

Die Installation von sys-devel/gcc-4.6.1-r1 hat 2011 ~49 minuten gedauert
2021 die Installation von sys-devel/gcc-10.2.0-r5 dauerte 22,5 minuten

2011 war das, wenn ich mich recht erinnere, ein Laptop mit einer Intel CPU i7 2xxxx und das ganze mit einer SSD auf dem portage-temp lag.
Das 2021 System ist ein Ryzen 9 3900X wo portage-temp in einer RAM-Disk liegt
_________________
Ein Ring, sie zu knechten, sie alle zu finden,
Ins Dunkel zu treiben und ewig zu binden
Im Lande Mordor, wo die Schatten drohn.

mike155 · Posted: Sat May 01, 2021 7:38 pm Post subject:

firefly · Watchman Joined: 31 Oct 2002 Posts: 5218

Ich hab mal auf meinem system gcc-11 installiert.
Gedauert hat das ganze ~26min ~3,5min länger als gcc-10
Was auch verständlich ist. Mit gcc-11 kam für c++ neben dem standard c++20 auch c++ module support hinzu.
_________________
Ein Ring, sie zu knechten, sie alle zu finden,
Ins Dunkel zu treiben und ewig zu binden
Im Lande Mordor, wo die Schatten drohn.

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Hallo zusammen,

da habe ich tatsächlich etwas nicht bedacht: Leistung des PC muss schon gemeldet werden,
um Vergleichsmöglichkeiten zu haben.

Ich werde im Lauf des Vormittags alles melden, wa fehlt, denn an den PC komme ich im Moment noch nicht.

Aber eins kann ich schon mitteilen:
In /etc/portage/make.conf maximal 2 Pakete und -j4, und das sowohl auf dem PC als auch auf dem Notebook.

Alles andere später.

Gruß
Manfred

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Hier nun die Antwort:

mike155 · Posted: Sun May 02, 2021 12:28 pm Post subject:

@ManfredB: Auf meinem Desktop-Rechner mit 4-Kern Intel CPU und 16 GB RAM habe ich ähnliche Zeiten.

Deshalb erscheinen mir Deine Zeiten auf einem ZEN 2 Prozessor mit 6 Kernen zu hoch. Es sollte nur halb so lange dauern. So wie bei @firefly.

Das kann unterschiedliche Ursachen haben:

Lässt Du emerge mehrere Pakete parallel installieren?
Läuft sonst etwas, während Du GCC compilierst?
Möglicherweise hast Du wesentlich mehr USE-Flags beim GCC gesetzt als ich (go, objc, d, ...)
Möglicherweise verwendest Du - im Gegensatz zu mir - "mulitilib". Dann müssten nicht nur die 64-Bit Executables, sondern auch 32-Bit Executables gebaut werden.
Gibt es Extensive Swapping auf Deinem System?
Gibt es Thermal Throtteling auf Deinem System?
Sind Deine CPU Frequency Scaling Einstellungen richtig konfiguriert?

Verwendest Du ein tmpfs unter /var/tmp/portage?

Bitte poste die Ausgabeb vom

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

mike155 · Posted: Sun May 02, 2021 2:22 pm Post subject:

Wenn Du einen 6-Kern Prozessor hast, dann gehe auf

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Was ich ganz vergessen habe zu erwähnen:

Die Zeit von 54 Minuten ist zustande gekommen, als ich gentoo-unstable auf einer USB-SSD installiert habe.
Gedacht war das als Installation für das Notebook.

Ich nehme an, daß durch diese Nachricht sich etwas geändert hat.

Denn wie lange es bei der Installation auf dem PC gedauert hat, habe ich nicht verfolgt.

Aber das zeigt ja die Übersicht über die verschiedenen gcc-Versionen an.

Es hat mich selbst gewundert, daß diese Prozesse so lange dauern, wo ich immer davon ausgegangen bin,
daß mein PC recht leistungsfähig ist.

Daher noch einmal: ich bin zwar ein begeisterter Gentoo-Nutzer, aber was diese Prozesse angeht,
bin ich sozusagen ein Laie und kein Fachmann.

Trotzdem danke ich euch für die Antworten.

Gruß
Manfred

Josef.95 · Advocate Joined: 03 Sep 2007 Posts: 4584 Location: Germany

Hm, beachtet bitte das mit EMERGE_DEFAULT_OPTS="--jobs=2"
sprich wenn 2 Pakete gleichzeitig gebaut werden können, die merge-Zeiten der einzelnen Pakete zum vergleichen wahrscheinlich wenig aussagekräftig sind.

Vorschlag: nimm das --jobs=2 raus,
und gehe mit deinen 16GB RAM (wie von mike schon vorgeschlagen) auf MAKEOPTS="-j6"

Oder/und - falls mal möglich - rüste auf 32 GB RAM auf. Damit könnte man mit deiner 6 Kern-CPU + 6 Threads dann auch gut die volle Power mit
MAKEOPTS="-j12" nutzen :)

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Vielen Dank für die vielen Tipps.

Einen Nachteil hat es, wenn ich die jobs=2 herausnehme:
Dann sehe ich nur noch die irrsinnig vielen Zeilen ablaufen,
was mir noch nie so richtig gefallen hat.

Allerdings gebe ich zu: wenn damit alles schneller läuft, werde ich es so machen,
wie ihr vorgeschlagen habt.

Da bei mir bereits gcc-11 installiert ist, kann ich die Zeit der Installation im Moment nicht messen,
es sei denn, ich entschließe mich zu einer Neuinstallation von gentoo, dann kommt das ja zu dieser Zeitmessung.

Dazu habe ich noch eine Frage: Ich sehe bei der Installation auf einer zweiten Konsole per top immer wieder einmal
ninja auftauchen. Was tut ninja?

Gruß
Manfred

Josef.95 · Advocate Joined: 03 Sep 2007 Posts: 4584 Location: Germany

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Hallo zusammen,

gerade läuft bei mir ein Update bei gentoo-unstable.

Dabei bin ich auf -j6 hochgestiegen und jobs=2 deaktiviert.

Nun verfolge ich nebenbei die Installation von 9 Paketen.

Es geht recht flott vonstatten, außerdem habe ich den Eindruck,
daß die Belastung der CPUs längst nicht so stark ist wie bisher.
Aber das kann auch nur ein Eindruck von mir sein.

Jedenfalls werde ich es wohl in Zukunft doch genau so machen,
damit alles vielleicht doch schneller geht.

Gruß
Manfred

P.S. Ich sehe gerade etwas, das ich bisher gar nicht berichtet habe;

In der top-Übersicht werden 3 Zeilen angezeigt:
CPU(s)
MiB Spch
MiB Swap

Am meisten wird MiB Spch genutzt, Swap kaum, CPUs ein wenig - mal mehr - mal weniger

firefly · Watchman Joined: 31 Oct 2002 Posts: 5218

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Hallo zusammen!

Ich möchte euch allen ganz herzlichen Dank sagen, weil ihr mich sehr unterstützt habt bei der Änderung
meiner bisherigen Gewohnheiten in Bezug auf Ausnutzung der Leistung meines PCs.

Damit habe ich wieder etwas dazu gelernt, nach dem Motto:
"Man kann alt werden wie eine Kuh und lernt immer noch dazu" :-)

Einen schönen Montag, 3. Mai 2021, wünsche ich euch
und grüße euch
Manfred

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Eine zusätzliche Frage habe ich noch:

Wie sieht es aus auf meinem Notebook mit -j4 oder mehr?

Josef.95 · Advocate Joined: 03 Sep 2007 Posts: 4584 Location: Germany

Manfred, (bez. Notebook)
so als Faustformel braucht man etwa 2GB RAM pro CPU-Kern/Thread zum Pakete bauen.
Sprich, mit deiner i5-7200U CPU, mit 2 Kernen plus zwei Threads (=4 Threads insgesamt) mal 2GB sollten die 8GB RAM idR gut ausreichen,
sprich MAKEOPTS="-j4" sollte mit den 8GB RAM gut funktionieren.

Aber auch hier würde ich EMERGE_DEFAULT_OPTS="--jobs=2" eher rausnehmen. Beachte, für zwei emerge Jobs, die beide gleichzeitig mit MAKEOPTS="-j4" bauen können,
kommt man dann auf insgesamt -j8
(für 8 Jobs mit je 2GB RAM bräuchte es also dann schon 16 GB RAM - und die hast du nicht)
Vorschlag: Lasse auf dem Notebook die
MAKEOPTS="-j4"
und tausche im EMERGE_DEFAULT_OPTS=--jobs=2 gegen --quiet-build=y
Ich denke das sollte gut funktionieren :)

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Dann bin ich doch auf dem richtigen Weg gewesen,

ich habe nämlich auf dem Notebook die -j4 schon lange in Betrieb, die jobs=2 rausgenommen und durch die von dir genannte Zeile eingefügt.

Nun bin ich sehr gespannt, wie sich das auswirkt.

Im Moment sitze ich noch am PC und lasse in allen Gentoo-Installationen die Updates durchlaufen.

Gentoo-Kernel-bin 5.11.18 und
Gentoo-Sources 5.12.1

Ca. 15 bis 17 Pakete sind heute dran, da habe ich noch einiges vor mir.

Am Nachmittag kommt dann das Notebook an die Reihe.

Danke auch für diese Information, die für mich von großer Bedeutung ist, um das Notebook vor Überlastung zu bewahren.

Gruß
Manfred

pietinger · Posted: Mon May 03, 2021 11:03 am Post subject:

mike155 · Posted: Mon May 03, 2021 12:51 pm Post subject:

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Neuigkeiten:

Notebook-Update:
33 Pakete (rebuilds) -libressl%
4 binpkgs

Die Temperatur ist trotz einiger etwas umfangreicheren Pakete niedrig geblieben.

So viele Pakate habe ich bisher noch nicht auf meinem Notebook installieren lassen,
sondern auf dem PC als binpkgs erstellt und sie dann auf dem Notebook genutzt.

Nun frage ich mich nur: was ist libressl, das aus den Paketen entnommen wird,
daher die ReInstallation.

Gruß
Manfred

P.S. sys-fs/cryfs ist nun wieder gescheitert.

Child_of_Sun_24 · Guru Joined: 28 Jul 2004 Posts: 579

mike155 · Posted: Mon May 03, 2021 6:16 pm Post subject:

@ManfredB: warum verwendest Du einen GCC Compiler, der gerade erst herausgekommen ist? Es wird Monate dauern, bis alle Gentoo-Pakete so weit angepasst sind, dass sie einwandfrei vom GCC 11 übersetzt werden können. Und auch der GCC 11 wird noch zig oder Hunderte von Patches und Bugfixes bekommen, bis er einwandfrei funktioniert.

ManfredB · Veteran Joined: 27 Dec 2007 Posts: 1630

Hallo mike155,

ich wähle mir den Compiler ja nicht aus, sondern der erscheint als Update.

Bisher hatte ich alle 10er-Versionen in /etc/portage/package.mask/package.mask untergebracht,
aber dann kam die 11, die hatte ich noch nicht drin.

Mir ist schon deutlich geworden, daß diese neueren Versionen von gcc nicht ganz unproblematisch sind,
vor allem, wenn diverse Pakete damit noch nicht zurande kommen.

Doch nun habe ich bei einem letzten Update heute die Erfahrung gemacht, daß sys-fs/cryfs doch installiert wurde.

Als das auf dem Notebook gescheitert ist, vermute ich - auch nachdem ich per top alles verfolgt habe - daß
die Leistung überfordert wurde, denn auf dem PC hat es geklappt.

Auf der Bug-Seite habe ich denselben Eindruck gehabt, daß es um Leistungsschwäche ging, denn cryfs ist sehr
anspruchsvoll, was das Compilieren angeht.
Bei einem laufenden Update nebenbei ist es doch wieder gescheitert.
Dann hat es wohl doch einen anderen Grund, warum es scheitert.

Gruß
Manfred