Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
[kernel] io en root ralentissent le système
View unanswered posts
View posts from last 24 hours

 
Reply to topic    Gentoo Forums Forum Index French
View previous topic :: View next topic  
Author Message
guilc
Bodhisattva
Bodhisattva


Joined: 15 Nov 2003
Posts: 3326
Location: Paris - France

PostPosted: Mon Jun 09, 2008 7:16 pm    Post subject: [kernel] io en root ralentissent le système Reply with quote

Hello,

Ca fait quelques temps que je me pose des questions sur les IO en root, qui rendent le système lent et a-réactif, alors que je n'avais pas ce problème avant...
La situation de base : typiquement portage qui décompresse un gros tar, type kernel ou gcc par exemple (ou tout simplement root qui fait la même chose).
Pendant cette opération, le système devient très lent, et le user qui fait tourner X voit de fortes lenteurs de rafraichissement de l'affichage entre autres sur toutes les opérations qui demandent des accès disque (cache navigateur, cache mail, etc...).

Je note que :
1) le changement de I/O scheduleur ne change pas le problème (que ce soit CFQ, anticipatory ou deadline)
2) Si un user autre que root fait la même opération, ça ne pose pas ce problème, il ne génère pas de telles latences
3) Dans mon souvenir, avec des kernel 2.6 beaucoup plus vieux, je n'avais pas ce problème
4) J'ai fait quelques tests avec ionice, ça ne change pas le problème, même en passant la tache en idle...
5) Le problème advient avec un 2.6.23, 2.6.24 ou 2.6.25, sans doute avant, mais je me rappelle plus (de toute façon, le downgrade n'est pas une solution)
6) Le FS en change rien (xfs etx ou reiserfs)

Bref, quelqu'un aurait une idée sur ce problème de latence disque clairement causée par des accès root toujours placés en prioritaires ?
Dans mon idée, ionice aurait dû régler le problème de priorisation des accès, or il n'en est rien...

bref, je prends toutes les pistes pour améliorer ça :)

@+
_________________
Merci de respecter les règles du forum.

Mon site perso : https://www.xwing.info
Mon PORTDIR_OVERLAY : https://gentoo.xwing.info ou layman -a xwing
Back to top
View user's profile Send private message
gglaboussole
l33t
l33t


Joined: 17 May 2005
Posts: 641
Location: Monbalen (47),France

PostPosted: Mon Jun 09, 2008 8:01 pm    Post subject: Reply with quote

salut,
Je ne sais pas si cela à un rapport, mais j'ai constaté de grosses pertes de perfs avec le 2.6.24 (mais pas avant) qui était du à l'option Fair group CPU scheduler introduite depuis cette version du kernel , j'avais d'ailleurs fait un post "d'avertissement" https://forums.gentoo.org/viewtopic-t-675590-postdays-0-postorder-asc-highlight-avertissement-start-0.html
J'ai pas constaté spécifiquement de ralentissement sur les I/O, c'était plutôt une impression générale, mais ça ne te coûte rien d'essayer de la desactiver
_________________
On m'a dit que la terre tourne, alors j'attends que ma maison passe par ici...
Back to top
View user's profile Send private message
CryoGen
Veteran
Veteran


Joined: 11 Feb 2004
Posts: 1426
Location: Bamako - Mali - Afrique

PostPosted: Mon Jun 09, 2008 8:11 pm    Post subject: Reply with quote

Tu es en amd64 ?
https://forums.gentoo.org/viewtopic-t-482731.html

J'ai le problème de ce topic ... problème qui date de loinnnnnnnnnnnnn et qui dure toujours et personne ne sait d'où ca vient :/
_________________
- CryoGen` on #gentoofr@irc.freenode.net
- ~amd64 / KDE4
- I'm the bone of my sword...
Back to top
View user's profile Send private message
guilc
Bodhisattva
Bodhisattva


Joined: 15 Nov 2003
Posts: 3326
Location: Paris - France

PostPosted: Tue Jun 10, 2008 5:17 am    Post subject: Reply with quote

gglaboussole wrote:
salut,
Je ne sais pas si cela à un rapport, mais j'ai constaté de grosses pertes de perfs avec le 2.6.24 (mais pas avant) qui était du à l'option Fair group CPU scheduler introduite depuis cette version du kernel , j'avais d'ailleurs fait un post "d'avertissement" https://forums.gentoo.org/viewtopic-t-675590-postdays-0-postorder-asc-highlight-avertissement-start-0.html
J'ai pas constaté spécifiquement de ralentissement sur les I/O, c'était plutôt une impression générale, mais ça ne te coûte rien d'essayer de la desactiver

Ca, déjà désactivé
J'avais effectivement constaté des problèmes de latence pendant les grosses compils à cause de cela ;)

CryoGen wrote:
Tu es en amd64 ?

Non, x86 de base, chipset intel tout ce qu'il y a de plus bête et plutôt très bien supporté par le kernel depuis la nuit des temps...


Bon, quand même un nouvel élément : je viens de tester avec un nouvel utilisateur non-root, et différent de mon user qui fait tourner X => en fait si, le même problème de latence apparait.
Et toujours, si les grosses I/O sont faites avec mon propre user, ça tourne nickel, la latence reste très bonne...
Ca semble bien une histoire de partage des taches i/o entre users.
Mes process se tapent bien du iowait pendant cette opération, dixit dstat et la load qui grimpe...

La ou je coince, c'est que le changement de scheduleur devrait changer la donne ! et bien RIEN...
_________________
Merci de respecter les règles du forum.

Mon site perso : https://www.xwing.info
Mon PORTDIR_OVERLAY : https://gentoo.xwing.info ou layman -a xwing
Back to top
View user's profile Send private message
kopp
Advocate
Advocate


Joined: 09 Apr 2004
Posts: 2885
Location: Grenoble, France

PostPosted: Tue Jun 10, 2008 7:49 am    Post subject: Reply with quote

Je vis dans le même genre de problème quand je compile avec des accès disque, la charge monte beaucoup et le système devient parfois vraiment très peu réactif. J'ai cherché à identifier le problème sans succès. (enfin, pas trop cherché non plus)
Par contre si je compile en tmpfs, plus de soucis. Donc a priori, mon problème vient aussi de l'io.
Back to top
View user's profile Send private message
nonas
Guru
Guru


Joined: 17 Apr 2005
Posts: 328

PostPosted: Tue Jun 10, 2008 10:37 am    Post subject: Reply with quote

J'ai eu ce problème il y a quelques noyaux mais c'est rentré dans l'ordre pour ma part (sans que j'ai eu l'impression de changer quoique ce soit à mon noyau).
x86+ICH.
Ma config : http://nitrotoxine.free.fr/www/libre/Gentoo/config-2.6.25.4-vanille
Back to top
View user's profile Send private message
kopp
Advocate
Advocate


Joined: 09 Apr 2004
Posts: 2885
Location: Grenoble, France

PostPosted: Tue Jun 10, 2008 10:54 am    Post subject: Reply with quote

Ah oui, je précise. Ici aussi x86 et ICH7
Je regarderai ta config, nonas. Mais j'avoue que je ne suis pas fan de la lecture des .config :)

EDIT: après un coup d'oeil vite fait sur un diff, j'ai rien remarqué qui pourrait être une cause de différence ...
Back to top
View user's profile Send private message
gglaboussole
l33t
l33t


Joined: 17 May 2005
Posts: 641
Location: Monbalen (47),France

PostPosted: Tue Jun 10, 2008 6:55 pm    Post subject: Reply with quote

Pour cerner d'ou viennent tes problèmes de latence et ce qui les cause, est ce que cela pourrait te servir ? :
http://lwn.net/Articles/266153/
_________________
On m'a dit que la terre tourne, alors j'attends que ma maison passe par ici...
Back to top
View user's profile Send private message
guilc
Bodhisattva
Bodhisattva


Joined: 15 Nov 2003
Posts: 3326
Location: Paris - France

PostPosted: Tue Jun 10, 2008 7:25 pm    Post subject: Reply with quote

kopp wrote:
Ah oui, je précise. Ici aussi x86 et ICH7
Je regarderai ta config, nonas. Mais j'avoue que je ne suis pas fan de la lecture des .config :)

EDIT: après un coup d'oeil vite fait sur un diff, j'ai rien remarqué qui pourrait être une cause de différence ...

Pareil, rien de significatif.
La seule différence majeure est le support du HT que je n'ai pas... pour le reste, c'est pareil...

Effectivement, vais ptet faire un tour du côté de latencytop, mais je crois pas trop au miracle là...
_________________
Merci de respecter les règles du forum.

Mon site perso : https://www.xwing.info
Mon PORTDIR_OVERLAY : https://gentoo.xwing.info ou layman -a xwing
Back to top
View user's profile Send private message
guilc
Bodhisattva
Bodhisattva


Joined: 15 Nov 2003
Posts: 3326
Location: Paris - France

PostPosted: Thu Jun 12, 2008 6:06 pm    Post subject: Reply with quote

Bon, petite update sur le problème.

Dans le doute, vu que c'est un chipset intel IDE, je viens de faire un test en repassant sur l'ancien support IDE (j'étais en libata), et....... très forte réduction des problèmes de latence...

Première conclusion rapide donc : le problème est dans libata (ou au moins dans le support ICH PATA de libata)...
_________________
Merci de respecter les règles du forum.

Mon site perso : https://www.xwing.info
Mon PORTDIR_OVERLAY : https://gentoo.xwing.info ou layman -a xwing
Back to top
View user's profile Send private message
kopp
Advocate
Advocate


Joined: 09 Apr 2004
Posts: 2885
Location: Grenoble, France

PostPosted: Fri Jun 13, 2008 7:56 am    Post subject: Reply with quote

Après des grandes discussions metaphilosophiques avec geekounet, je contourne le problème par une méthode fourbe
Le /var/tmp/portage monté en tmpfs et roule ma poule ! Bon faut avoir suffisament de ram, mais pour la plupart des paquets, ça passe sans problème :) et mon dieu, non seulement le pc rame carrément moins, mais en plus les compils sont ultra plus rapide (jusqu'à 40% de gagné sur des compiles de plus de 10 minutes...)
Back to top
View user's profile Send private message
nonas
Guru
Guru


Joined: 17 Apr 2005
Posts: 328

PostPosted: Fri Jun 13, 2008 1:59 pm    Post subject: Reply with quote

Beaucoup c'est combien ?
Avec mon Go ça risque de faire juste (en même temps j'ai pas beaucoup de gros paquets). D'ailleurs y'a un moyen rapide de savoir de combien d'espace un paquet a besoin pour builder ?
Back to top
View user's profile Send private message
kopp
Advocate
Advocate


Joined: 09 Apr 2004
Posts: 2885
Location: Grenoble, France

PostPosted: Fri Jun 13, 2008 2:40 pm    Post subject: Reply with quote

Beuh, j'ai deux gigas de ram donc j'en mets 1 pour le tmpfs. Pour le moment j'ai pas eu de gros probleme. Par contre c'est pas suffisant pour gcc apparemment (pas essayé)
sinon tout est passé sans aucune soucis depuis, le plus gros étant certainement xulrunner (et le gain de temps est de l'ordre de 50%)
Back to top
View user's profile Send private message
guilc
Bodhisattva
Bodhisattva


Joined: 15 Nov 2003
Posts: 3326
Location: Paris - France

PostPosted: Fri Jun 13, 2008 3:04 pm    Post subject: Reply with quote

Ouais, sauf que ça, ça contourne le problème pour les compils portage. Pas pour le reste (manipulations de gros tar, copies de gros fichiers, etc...) qui déclenchent aussi le problème.

En tous cas, pour le moment, le retour au bon vieux driver IDE au lieu de libata corrige carrément bien le problème, on ne perd quasiment plus l'interactivité de X pendant ces opérations !
_________________
Merci de respecter les règles du forum.

Mon site perso : https://www.xwing.info
Mon PORTDIR_OVERLAY : https://gentoo.xwing.info ou layman -a xwing
Back to top
View user's profile Send private message
Enlight
Advocate
Advocate


Joined: 28 Oct 2004
Posts: 3519
Location: Alsace (France)

PostPosted: Fri Jun 13, 2008 3:25 pm    Post subject: Reply with quote

Juste une petite question vu que moi aussi je serais parti sur un test ionice, tu as bien testé ionice lorsque tu utilisais le scheduler cfq? Il me semble qu'avec les autres ça ne sert à rien (ou alors ça a changé).
Back to top
View user's profile Send private message
guilc
Bodhisattva
Bodhisattva


Joined: 15 Nov 2003
Posts: 3326
Location: Paris - France

PostPosted: Fri Jun 13, 2008 5:16 pm    Post subject: Reply with quote

Enlight wrote:
Juste une petite question vu que moi aussi je serais parti sur un test ionice, tu as bien testé ionice lorsque tu utilisais le scheduler cfq? Il me semble qu'avec les autres ça ne sert à rien (ou alors ça a changé).

En fait j'ai testé avec/sans ionice sur tous les schedulers, donc oui, cfq entre-autre. J'ignorais que cela avait un effect que sur CFQ (je n'étais pas allé jusqu'à la section "NOTES" de la page man, honte sur moi :lol: )

Maintenant, vais commencer à écumer la lkml à la recherche de problèmes de latence sur libata et/ou son support PATA ICH sur x86. Je sens que c'est pas gagné :)
_________________
Merci de respecter les règles du forum.

Mon site perso : https://www.xwing.info
Mon PORTDIR_OVERLAY : https://gentoo.xwing.info ou layman -a xwing
Back to top
View user's profile Send private message
NEOxAKIRA
Guru
Guru


Joined: 20 May 2007
Posts: 302
Location: France

PostPosted: Sat Jun 14, 2008 9:28 am    Post subject: Reply with quote

quelles sont les variables correspondant à libata et aux vieux drivers IDE dans .config ? SVP
Back to top
View user's profile Send private message
ghoti
Advocate
Advocate


Joined: 30 Dec 2002
Posts: 3580
Location: Belgium

PostPosted: Sat Jun 14, 2008 10:55 am    Post subject: Reply with quote

Dans "Device Drivers" :
Les vieux drivers correspondent à la partie "ATA/ATAPI/MFM/RLL support (IDE)"
Les nouveaux drivers correspondent à "Serial ATA (prod) and Parallel ATA (experimental) drivers (ATA)"
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index French All times are GMT
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum