Hangup beim bauen von dev-libs/boost

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Beim heutigen Versuch das aktuelle dev-libs/boost-1.55.0-r2 zu bauen hat sich mein Laptop komplett aufgehängt, ein abwürgen (Einschaltknopf 5s lang drücken) war die letzte Option. Aber zum Glück zeichnete journald doch noch etwas auf und konnte es sogar auf der Festplatte speichern wodurch das Log noch zur Verfügung steht.

Nun verstehe ich jedoch nicht so ganz wie es dazu kommen konnte, aber vielleicht kann ja einer von euch etwas Licht in die Sache bringen?

mrsteven · Veteran Joined: 04 Jul 2003 Posts: 1938

Bin da auch etwas ratlos: Ich sehe anhand deines Logs, dass dem Kernel der RAM ausgegangen ist und er deswegen den C++-Compiler abgeschossen hat (OOM-Kill). Komplett aufhängen sollte sich der Rechner aber deswegen nicht. Konntest du die Maus noch bewegen? Welche Kernelversion ist das?

So wie es aussieht kompilierst du mehrere Module parallel (MAKEOPTS=-j4 o.ä.). Du könntest mal versuchen das abzustellen (MAKEOPTS=-j1 oder weg damit). Das spart Speicher. Hängen bleiben sollte er aber auch dann nicht, wenn ihm der Speicher ausgeht…
_________________
Unix philosophy: "Do one thing and do it well."
systemd: "Do everything and do it wrong."

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Es ist der Kernel 3.17.3 und nein die Maus lies sich nicht mehr bewegen, er reagierte ja nicht einmal mehr auf den Einschaltknopf (mit Ausnahme vom hardoff mit 5s). Auch ein Zugriff übers Netzwerk via ssh war nicht mehr möglich also muss sich weit mehr als nur der Desktop aufgehängt haben. Und es ist auch nicht reproduzierbar, beim zweiten Versuch boost zu bauen lief alles trotz parallelem compilieren problemlos durch.

Ich verstehe einfach nicht wie sowas zum totalen Hangup führen kann...
_________________
Lenovo - ThinkPad P16s Gen 2 - 21K9CTO1WW

Klaus Meier · Advocate Joined: 18 Apr 2005 Posts: 2908 Location: Bozen

Jetzt wo du eo sagst, ich hatte es auch schon ab und an mal. Es trat immer dann auf, wenn ich mehrere Pakete gleichzeitig kompiliert habe.

Es ging dann gar nichts mehr, nur noch ausschalten. Exakt die gleichen Symptome wie bei dir. Wie viel Speicher hast du denn und was für einen Wert bei -j? In der letzten Zeit ist es mir aber nicht mehr untergekommen. Zum einen bin ich gerade beim gcc 4.9.2 und beim Kernel 3.17.3. Am Kernel wird es dann wohl nicht liegen, den hast du ja auch.

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Bis jetzt ist es nur auf dem Laptop vorgekommen und der hat 4GB RAM nen GCC 4.8.3 und die MAKEOPTS steht auf "-j3".
Aber wenn Systemressourcen das Problem wären müsste der Kernel doch einfach nur den Prozess killen und alles andere normal weiterlaufen oder?
_________________
Lenovo - ThinkPad P16s Gen 2 - 21K9CTO1WW

Klaus Meier · Advocate Joined: 18 Apr 2005 Posts: 2908 Location: Bozen

Na klar sollte das so sein, außer es gibt irgendwo einen Bug. Hast wohl auch keinen großen Bock, es zu reproduzieren. Wenn ja, starte mal emerge mehrfach. Sollten aber schon größere Sachen sein.

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Klaus Meier · Advocate Joined: 18 Apr 2005 Posts: 2908 Location: Bozen

Mit dem gcc 4.9 ist das Problem bei mir nicht mehr aufgetaucht, muss aber nichts heißen, wenn man es nur ab und an mal hat.

mrsteven · Veteran Joined: 04 Jul 2003 Posts: 1938

Es gibt wohl ein paar OOM-bezogene Bugs:
https://bugzilla.kernel.org/buglist.cgi?quicksearch=OOM
Vielleicht werdet ihr ja da fündig. Ich meine mich zu erinnern, dass es mit cgroups auch Freezes geben kann, wenn der Speicher voll läuft.

Eine Idee wäre es, eine minimale VM mit relativ wenig RAM aufzusetzen und zu schauen, ob man es da reproduzieren kann…
_________________
Unix philosophy: "Do one thing and do it well."
systemd: "Do everything and do it wrong."

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Es gibt neue Infos:
Inzwischen kann ich mit Sicherheit sagen das es bei meinem Laptop jedes mal passiert wenn neben dem kompilieren von boost auch der KDE am laufen ist. Sobald der GCC versucht etwas grösseres zu kompilieren Hangt sich der KDE (und/oder eventuell auch der X11) komplett auf und der Laptop reagiert auf keine Eingabegeräte mehr. Auch der Zugriff über das Netzwerk (SSH) ist zu diesem Zeitpunkt nicht mehr möglich.
Beim letzten Hangup bewegte sich allerdings die Maus noch ein bisschen (ganz langsam aber nicht mehr kontrollierbar), fasst so als ob der X11 noch dabei wäre die letzte Eingabe zu verarbeiten.
_________________
Lenovo - ThinkPad P16s Gen 2 - 21K9CTO1WW

Klaus Meier · Advocate Joined: 18 Apr 2005 Posts: 2908 Location: Bozen

Also zum einen kannst du den Wert von -j reduzieren. Aber so eine Idee von mir, versuche es mal mit dem gcc 4.9. Seit dem ich den nutze, ist dieses Problem bei mir nicht mehr aufgetaucht. Wenn das bei dir auch so ist, dann könnte es ein Problem mit der Speicherverwaltung vom gcc 4.8 sein.

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Ist vielleicht doch noch ein bisschen früh für ein Update oder? Der GCC 4.9 hat noch nicht einmal ein keyword:

Josef.95 · Advocate Joined: 03 Sep 2007 Posts: 4549 Location: Germany

Sorry, aber warum stellst du zu deinen 4 GB RAM nicht noch ein wenig SWAP mit bereit? (ich denke 2 GB sollten schon reichen).
boost ist vermutlich nicht das einzige Paket was zum bauen viel virtuellen Speicher benötigt - bei webkit-gtk und qtwebkit:5 wird es dir vermutlich ähnlich ergehen.

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Ich dachte immer das "swap" auf einer SSD keine sonderlich gute Idee wäre, zumindest nicht wenn diese länger leben soll.

EDIT:
Außerdem, früher konnte ich auch im KDE eingeloggt sein und gleichzeitig ein grösseres Paket kompilieren ohne das sich die Kiste aufgehängt hat, schlimmstenfalls wurde der build einfach abgebrochen aber mehr ist nicht passiert. Erst seit kurzem hat dieses Verhalten angefangen, wobei es mir leider absolut nicht möglich ist zu sagen nach welchem Update das anfing da man ja auch nicht jeden Tag ein boost, libreoffice oder auch chromium installiert.
_________________
Lenovo - ThinkPad P16s Gen 2 - 21K9CTO1WW

Klaus Meier · Advocate Joined: 18 Apr 2005 Posts: 2908 Location: Bozen

Ich habe 4GB RAM und 8GB swap und hatte es auch ab und an mal. Hab mir da nur nie viel bei gedacht.

Edit:
Ja, jetzt wo du es sagst, es trat immer auf, wenn ich parallel zu webkit-gtk noch etwas anderes gestartet habe.

franzf · Advocate Joined: 29 Mar 2005 Posts: 4565

Schön dass das auch anderen so geht.
4GB RAM, 4GB SWAP, auf ner 256GB Laptop HDD. Mit gcc-4.8.3 musste ich bei zahlreichen Paketen die MAKEOPTS deutlich runterschrauben. Von -j4 auf -j2, teilweise sogar -j1.
Wo ich früher bei normaler Desktopnutzung (firefox, urxvt+tmux, vim, ...) problemlos alles mit -j4 durchbrachte, habe ich jetzt Probleme. Ich musste für einige Sachen sogar distcc deaktivieren, weil allein der Präprozessor für paar pupsige Files den Rechner in die Knie zwang.
Kandidaten sind z.B. llvm, ldc2, inkscape, webkit-gtk (das geht so gut wie gar nicht mehr...)

Ich warte jetzt noch ein paar Wochen, dann schau ich ob gcc-4.9 was hilft...

Josef.95 · Advocate Joined: 03 Sep 2007 Posts: 4549 Location: Germany

Hm, habt ihr PORTAGE_TMPDIR eventuell im tmpfs mounted?
Das wird bei solch großen Brocken wie boost, webkit usw mit so wenig virtuellen Speicher vermutlich knapp.

Ich hatte bis vor einigen Wochen auf meinem alten Rechner nur 2 GB RAM verfügbar (mehr ging nicht rein), dazu etwa 3GB SWAP,
damit ließen sich Pakete wie boost, und firefox noch einwandfrei bauen - mit gcc-4.8.3, MAKEOPTS=-j3, und PORTAGE_TMPDIR für diese Pakete nicht im tmpfs.
Beim bauen von qtwebkit:5 wurde es aber allmählich auch knapp, da ging viel viel Zeit fürs swappen drauf :-/
Nungut, ich hab mir nun (nach ~7 Jahren) auch mal ein frisches Board mit mehr RAM gegönnt :)

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

SkaaliaN · Veteran Joined: 21 Apr 2005 Posts: 1360 Location: Valhalla

Bei mir hat sich die Kiste ebenfalls aufgehangen.
Ich habe einfach die MAKEOPTS= in der make.conf für den emerge auf j1 eingesetzt.
Daraufhin lief es ohne Probleme durch. Dann wieder anpassen und alles ist gut.
_________________
c'ya !
skaalian

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Bei mir (auf dem Laptop) hilft leider auch kein "-j1", sobald gleichzeitig der KDE-Desktop am laufen ist kommt es mit 100% Wahrscheinlichkeit zum Hangup.

EDIT (13.02.2015):
Da der gcc 4.9 inzwischen zum testen freigegeben wurde habe ich mir den jetzt mal auf meinem Laptop installiert und selbst das mit zwei Hangups.
Hoffentlich bin ich damit dieses überaus lästige Speicherverwaltungsproblem endlich los...
_________________
Lenovo - ThinkPad P16s Gen 2 - 21K9CTO1WW

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Von wegen, besser geworden... So langsam habe ich echt eine Stinkwut auf den GCC.
Ich musste "net-libs/webkit-gtk" mit clang/LLVM bauen weil der GCC jedesmal reproduzierbar sogar meinen großen Rechner mit mehr als genug RAM gekillt hat. Dazu kommt noch das irgendein "conftest"-Teil (vermutlich für gcj) im GCC 4.9 ebenfalls reproduzierbar einen kompletten hangup fabriziert.
_________________
Lenovo - ThinkPad P16s Gen 2 - 21K9CTO1WW

Klaus Meier · Advocate Joined: 18 Apr 2005 Posts: 2908 Location: Bozen

Habe ich letztens in Wiki gelesen, wenn du aus den CFlags -pipe raus nimmst, dann wird weniger Speicher genutzt..

Aber irgendwie ist bei dir etwas anderes faul. Ich habe auch 4GB und bekomme alles mit -pipe und -j3 übersetzt. Gut, ich habe auch noch 8GB Swap. Aber wenn es bei dir nicht mal mit -j1 geht, dann solltest du nicht auf den gcc schimpfen, dann ist bei dir irgend etwas nicht so, wie es sein sollte.

Conftest hatte ich auch mal, dass das geklemmt hat. Habe ich mit kill abgeschossen und dann ging es ohne Probleme weiter.

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

schmidicom · Veteran Joined: 09 Mar 2006 Posts: 1924 Location: Schweiz

Ohne ein "-pipe" in den CFLAGS baut auch der GCC wieder das Paket ohne den Computer zu killen.
Hoffentlich habe ich jetzt wenigstens einen brauchbaren "Workaround"...
_________________
Lenovo - ThinkPad P16s Gen 2 - 21K9CTO1WW

franzf · Advocate Joined: 29 Mar 2005 Posts: 4565

-pipe hat halt den Nachteil, dass er mit temporären Dateien arbeitet, und bei langsamen Festplatten kann sich das schon arg in die Länge ziehen.
Ich verstehe allerdings auch nicht, was bei diesen Hängern am Ende der Auslöser ist. Mir hat vor ein paar Tagen das Bauen kde-plasma/plasma-desktop den Rechner gefreezed. Nur: gcc hat den reproduzierbar mehrmals gebaut, ohne den Desktop in die Knie zu zwingen - sogar mit gleichzeitig geöffnetem firefox. Und dann vom einen zum anderen Mal geht gar nix mehr! clang hat gar keine Probleme: Der kompiliert durchgehend mit weniger Ressourcenverbrauch und gleichzeitig schneller (selbst bei Paketen, die der gcc anstandslos durchbringt).
Auf meinem Laptop kompilier ich mittlerweile alles "mit Anspruch" mit clang: