[Portage] Parallel builds

d2_racing · Posted: Tue Jul 29, 2008 3:02 am Post subject: [Portage] Parallel builds

Vous avez pris connaissance de ça dernièrement ? : http://planet.gentoo.org/developers/zmedico/2008/07/23/portage_parallel_builds

Dismantr · Apprentice Joined: 06 Jun 2007 Posts: 201

Waow, ça a l'air pas mal ! je pense que je vais tester ça bientôt ! Quelqu'un a déjà mis ça en place ?

xaviermiller · Posted: Tue Jul 29, 2008 7:58 am Post subject:

hmm oui j'ai vu, mais il faut alors penser à changer MAKE_OPTS en conséquence
_________________
Kind regards,
Xavier Miller

d2_racing · Posted: Tue Jul 29, 2008 1:12 pm Post subject:

Si quelqu'un test le nouveau truc de Portage, j'aimerais biens savoir si on voit vraiment une différence.

ghoti · Advocate Joined: 30 Dec 2002 Posts: 3634 Location: Belgium

xaviermiller · Posted: Tue Jul 29, 2008 1:48 pm Post subject:

je veux dire que si tu augmentes le nombre de builds parallèles, il faut diminuer le make-opts. Sinon, tu te trouveras avec max (nombre de builds) x (MAKE_OPTS), ce qui va mettre ta machine sur les genoux.
_________________
Kind regards,
Xavier Miller

ghoti · Advocate Joined: 30 Dec 2002 Posts: 3634 Location: Belgium

La charge, oui, ça paraît clair !

(quoique un bon nice ...)
Mais quel est l'intérêt de --jobs ? Quel intérêt d'emerger plusieurs paquets en paralèlle puisque MAKEOPTS permet déjà de lancer des make en paralèlle ?
Bon, MAKEOPTS permet plusieurs processus paralèlles au sein d'un même paquet tandis que --jobs concerne plusieurs paquets (si j'ai bien compris

) mais quel intérêt de privilégier une méthode plutôt que l'autre ?
Le véritable intérêt ne concernerait-il pas surtout les multicores (meilleure répartition de la charge sur les # procs ?)
Ou alors, pour répondre au fait que certaines applications ne supportent pas la compilation multithread ?

Désolé pour ces questions naïves : je suis en pleine découverte !

kopp · Posted: Tue Jul 29, 2008 3:36 pm Post subject:

ghoti · Advocate Joined: 30 Dec 2002 Posts: 3634 Location: Belgium

geekounet · Posted: Tue Jul 29, 2008 11:53 pm Post subject:

Je suis en train d'essayer, avec un MAKEOPTS="-j3" et --jobs=3 --load-average=5.0, et ça tourne plutôt bien. Ce qui est bien avec le --load-average, c'est que bien que j'ai demandé 3 emerge parallèles, il en fera moins si la charge devient trop haute pour mon ptit C2D, plutôt pratique.

C'est passé dans mon EMERGE_DEFAULT_OPTS du coup

Et j'aime bien l'affichage résumé que ça donne, sans les lignes de compilation qui défilent et tout, c'est bien mieux pour suivre le déroulement de tout ça

Et ça affiche tout de même tout le log si jamais une compilation échoue, du coup ya pas de perte en cas de problème.

Dismantr · Apprentice Joined: 06 Jun 2007 Posts: 201

Pourquoi avoir choisi un load-average de 5 ?

xaviermiller · Posted: Wed Jul 30, 2008 8:01 am Post subject:

ah ok, ça m'intéresse !
_________________
Kind regards,
Xavier Miller

geekounet · Posted: Wed Jul 30, 2008 8:54 am Post subject:

Dismantr · Apprentice Joined: 06 Jun 2007 Posts: 201

Je n'ai pas compris comment ça marche ce taux de charge ; ça correspond à quoi exactement (ptite formule mathématique, si possible...) ? C'est le ratio de quelque chose, mais de quoi... :?:

Sinon, quel intéraction y a-t-il entre ce load average et un PORTAGE_NICENESS="10" dans le make ?
Et quel intéraction y a-t-il exactement entre un j5 dans le make et le jobs= de la commande ?

Si je règle le load average, je supprime le niceness ?
Si je règle, comme geekounet, mon j5 sur j3 et jobs=3 ça implique quoi exactement, en terme d'emerge ?

geekounet · Posted: Wed Jul 30, 2008 12:33 pm Post subject:

Dismantr · Apprentice Joined: 06 Jun 2007 Posts: 201

Ok, merci !

Mais alors, pourquoi, si on suit Wikipédia sur le load average, ne pas mettre 2 plutot que 5 ? 5, ça correspond à la charge en simultané que peut support 5 processeurs à un instant donné, non ? Quel intérêt à maintenir une file d'attente ? (2.0=les deux proc pris à 100%, si j'ai bien compris) ?

... Je sais pas si je suis très clair, là...

xaviermiller · Posted: Wed Jul 30, 2008 2:37 pm Post subject:

hmm, pourquoi ne pas déplacer cette section "portage & parallel emerge" dans un vrai sujet, voire TIP ?
_________________
Kind regards,
Xavier Miller

Leander256 · l33t Joined: 05 Jul 2003 Posts: 910 Location: Singapour

Génial! C'est quand même une fonctionnalité que j'attendais depuis des siècles (bien que n'ayant du dual core que depuis un an et demi)! Parce qu'on perd un temps fou dans les parties non parallélisables comme les ./configure, surtout depuis le morcellement du serveur X en dizaines de paquets.

Ce qui me fait un peu peur, c'est la consommation mémoire de g++ sur certaines compilations. J'ai mis à genoux ma machine de 4 Go en compilant kmail avec un azureus bien chargé et un virtualbox faisant tourner une session de 1 Go. Donc si jamais portage a le malheur de compiler kmail en même temps que wesnoth par exemple, ça risque d'être le drame!