| View previous topic :: View next topic |
| Author |
Message |
ChrisJumper
Advocate
Joined: 12 Mar 2005
Posts: 2390
Location: Germany
|
 Posted: Tue Jun 19, 2007 8:49 am Post subject: Kopieren und Performance? |
 |
|
Sei gegrüßt lieber Gentooliebhaber,
vor kurzem habe ich mich beim Kopieren wieder gefragt, ob ich da vielleicht doch etwas unvorteilhaft mache, oder machen lasse.
Kopiere ich eine etwas größere Datei (z.B. eine aufgenommene Simpsons-Folge) von einer Partition der SATA-Festplatte auf die andere, landet meine CPU-Auslastung sofort bei 100 Prozent.
Zuerst dachte ich es sei normal. Dann hab ich festgestellt das Windows keine so hohe CPU-Last erzeugt.
Natürlich habe ich bei meinen IDE-Festplatten immer DMA-Aktiviert, und sollte ich mich recht entsinnen dient dies eben dazu Informationen an der CPU vorbei, mehr oder weniger direkt, in den Speicher oder an die andere Festplatte zu schieben.
Ich erinnere mich schwebend, das DMA-Aktivierung bei SATA-Platten nicht ganz so trivial war und ich mich damals noch nicht daran getraut habe, zumal im Gentoo-Wiki einige Warnschilder aufgestellt waren.
- Habt ihr beim Kopieren einer Datei auch 100% CPU-Auslastung?
- Liegt es vielleicht an der Verwendung des Komandozeilen-Programm cp?
- Kennt ihr eine gute Alternative für cp?
- Wie aktiviere ich DMA bei SATA?
So, jetzt versuche ich mal ein paar Informationen dazu zusammenzukratzen. Würde mich aber freuen wenn ihr euren Senf oder Cent dazugebt. :)
Mfg Chris |
|
| Back to top |
|
 |
dakjo
Veteran
Joined: 31 Jan 2004
Posts: 1544
|
| Posted: Tue Jun 19, 2007 9:07 am Post subject: |
|
|
Ich glaube dein Chipsatz wird nicht so hypsch unterstuetzt.
a) SATA hat DMA immer an.
b) Ist es die CPU Auslastung oder die Systemlast?
c) Welchen Chipsatz/SATA-Card verwendest du?
Just my 10 Cent.
_________________
'Dieselben Naturkräfte, die uns ermöglichen, zu den Sternen zu fliegen, versetzen uns auch in die Lage, unseren Stern zu vernichten.' - Wernher von Braun
http://www.mpsna.de |
|
| Back to top |
|
|
ChrisJumper
Advocate
Joined: 12 Mar 2005
Posts: 2390
Location: Germany
|
| Posted: Tue Jun 19, 2007 10:51 am Post subject: |
|
|
| Quote: | | b) Ist es die CPU Auslastung oder die Systemlast? |
Hmm. Interessant. Scheinbar hab ich da doch etwas falsch aufgegriffen.
Die CPU-Auslastung welche mir htop anzeigt ist ist nicht die selbe der Gnome-Systemüberwachung. Bei dieser bleibt der Graph im 40 Prozent bereich, während htop 100 Prozent wiedergibt.
Liegt es daran das htop die kernel Auslastung mit angibt während sich die Gnome-Systemüberwachung auf die Summe der User-Prozesse beschränkt?
Wie genau unterscheidet man eigentlich zwischen Systemlast und CPU-Auslastung?
Entspricht die Systemlast der Summe des Ressourcenverbrauchs (Arbeitsspeicher, SWAP, CPU, Netzwerk...)?
| Quote: | | c) Welchen Chipsatz/SATA-Card verwendest du? |
| Code: | RAID bus controller: VIA Technologies, Inc. VIA VT6420 SATA RAID Controller (rev 80)
|
Bis vor kurzem neigte mein PC beim kopieren noch zum "swapen" da er nur 512MB hatte.
Beim Test von eben (ich hab jetzt wieder 1536MB) funktionierte es dann doch ohne größere Probleme. Ich vermute der wenige Arbeitsspeicher war die Ursache dafür das beim Kopiervorgang sogar die Maus ruckelte. |
|
| Back to top |
|
|
hoschi
Advocate
Joined: 19 Jul 2003
Posts: 2517
Location: Ulm, Germany, Europe
|
| Posted: Tue Jun 19, 2007 11:38 am Post subject: |
|
|
Das sollte eigentlich mit wenig RAM nicht passieren, so ein idiomatisches Verhalten kenne ich ehrlich gesagt nur von Windows-XP (da schleift schnell viel in den Speicher, bis es nicht mehr weitergeht und fangt dann an Rumzukrebsen...).
Kopier mal eine Datei die weit groesser ist als dein jetztiger Speicher, sagen wir 3 GB.
btw. dein Chipsatz ist recht selten, ist kein normales Desktop-Board?
_________________
Just you and me strogg! |
|
| Back to top |
|
|
dakjo
Veteran
Joined: 31 Jan 2004
Posts: 1544
|
| Posted: Tue Jun 19, 2007 11:43 am Post subject: |
|
|
Also entweder ist dann eine der Platten performancetechnisch für Popo,
du benutzt ein SW-Raid,
oder der HW-Treiber ist von der güte einer schnarchbremse.
Es sollte jedenfalls nie dazu kommen, das cp die sachen in den ram schiebt.
Jedenfalls nicht zu so grossen teilen.
Oder du verwendest irgendwelche dateisystem/io-scheduler (optionen) die fuern popo sind.
_________________
'Dieselben Naturkräfte, die uns ermöglichen, zu den Sternen zu fliegen, versetzen uns auch in die Lage, unseren Stern zu vernichten.' - Wernher von Braun
http://www.mpsna.de |
|
| Back to top |
|
|
a.forlorn
Guru
Joined: 12 Aug 2005
Posts: 412
Location: Ulm, Germany
|
| Posted: Tue Jun 19, 2007 1:45 pm Post subject: |
|
|
VIA ist doch für schlechte Performance unter IDE/SATA bekannt. Durchaus möglich, dass sich da ne ganze Menge heap rumtreibt.
_________________
Gentoo update is sometimes harder than it should. |
|
| Back to top |
|
|
boris64
Veteran
Joined: 04 Oct 2003
Posts: 1770
Location: Vechelde/Peine
|
| Posted: Tue Jun 19, 2007 1:56 pm Post subject: |
|
|
| a.forlorn wrote: | | VIA ist doch für schlechte Performance unter IDE/SATA bekannt. Durchaus möglich, dass sich da ne ganze Menge heap rumtreibt. |
Hm, also ich habe ein nVidia (nforce4) Sata Controller, und die Performance ist auch für
den (Zitat) "Popo". Benutzter Scheduler ist zur Zeit der "cfq" IO scheduler
(habe die anderen allerdings auch schon durchprobiert) unter Kernel 2.6.22_rc5.
Und ja, das war schon immer so (unter alten/stabilen Kernelversionen).
Kopiert man mehrere Dateien gleichzeitig, kann es dann durchaus vorkommen,
dass X erstmal komplett stillsteht und lustige weisse/leere Fenster zeigt.
Das ist so unter "meinem" SpieleXP definitiv anders.
PS: Ich habe durchaus auch hohe Kopierraten (40MB/s etc.), doch
blockiert dieser Kopiervorgang meist alles andere.
_________________
boris64.net 200x / visit my desktop / try these tiny kernel patches  |
|
| Back to top |
|
|
ChrisJumper
Advocate
Joined: 12 Mar 2005
Posts: 2390
Location: Germany
|
| Posted: Tue Jun 19, 2007 4:29 pm Post subject: |
|
|
| a.forlorn wrote: | | VIA ist doch für schlechte Performance unter IDE/SATA bekannt. Durchaus möglich, dass sich da ne ganze Menge heap rumtreibt. |
Sehr interessant! Dann kann das durchaus sein.
Ich werde später nochmal mehrere Dateien größeren Umfangs kopieren. Ein möglicherweise schlechter Treiber erklärt mir vielleicht auch das Phänomen.. das beim brennen von der Platte via k3b mein X kurz einfriert. Bisher hat es dadurch aber noch keine CD verbrannt, oder die Tonausgabe via Amarok im Hintergrund gestoppt. :) - Das mag ich an Linux!
Dieses Board war ein AS-ROCK Billigboard. Den Fehlkauf hab ich bestimmt nur einmal begangen, aber deswegen will ich es jetzt bestimmt nicht "Entsorgen".
Ich hab weder einen außergewöhnlichen Scheduler noch einen Software Raid. Ich benutze keinen Raid hab nur eine Platte.
Edit: Also eine SATA-Platte. ;) |
|
| Back to top |
|
|
UTgamer
Veteran
Joined: 10 Aug 2003
Posts: 1326
Location: Troisdorf (Köln) Deutschland
|
| Posted: Tue Jun 19, 2007 7:54 pm Post subject: |
|
|
| boris64 wrote: | | a.forlorn wrote: | | VIA ist doch für schlechte Performance unter IDE/SATA bekannt. Durchaus möglich, dass sich da ne ganze Menge heap rumtreibt. |
Hm, also ich habe ein nVidia (nforce4) Sata Controller, und die Performance ist auch für
den (Zitat) "Popo". Benutzter Scheduler ist zur Zeit der "cfq" IO scheduler
(habe die anderen allerdings auch schon durchprobiert) unter Kernel 2.6.22_rc5.
Und ja, das war schon immer so (unter alten/stabilen Kernelversionen).
Kopiert man mehrere Dateien gleichzeitig, kann es dann durchaus vorkommen,
dass X erstmal komplett stillsteht und lustige weisse/leere Fenster zeigt.
Das ist so unter "meinem" SpieleXP definitiv anders.
PS: Ich habe durchaus auch hohe Kopierraten (40MB/s etc.), doch
blockiert dieser Kopiervorgang meist alles andere. |
Dann hast du irgend etwas falsch eingestellt bei deinem nForce4, wenn ich einen Ordner von 1,8 GB mit vielen Dateien von einer Partition zu einer Anderen auf der gleichen Festplatte kopiere fängt er mit 39 MB/s an und läuft bis auf 18 MB Übertragungsrate herunter, die CPU-Auslastung beträgt dabei zwischen 4 + 8 %.
Ich nutze gerade Kernel 2.6.19-gentoo-r5 und alles auf 64 Bit.
Also auf deinem Rechner verschenkst du viel Leistungspotential. Es steht auch überhaupt nichts still für einen kurzen Augenblick, da ich noch so rund 96% CPU-Zeit auf dieser CPU frei habe merke ich davon auch garnichts.
| ChrisJumper wrote: | | Quote: | | c) Welchen Chipsatz/SATA-Card verwendest du? |
| Code: | RAID bus controller: VIA Technologies, Inc. VIA VT6420 SATA RAID Controller (rev 80)
|
|
Auf meinem Athlon 2400+ Rechner habe ich einen VIA VT82C586A Chipsatz, der ist sowas von instabil da kann ich bei größeren Kopieraktionen weder 3D Grafik noch Ton nebenbei haben ohne das das System so abstürzt das ich den Rechner nur noch über den Ausschalter neu starten kann.
(1* VIA und nie wieder!)
_________________
AMD Phenom II x4 >> CFLAGS="-march=amdfam10 -O2 -mmmx -msse3 -mfpmath=sse,387 -pipe -ffast-math" is stable and here in use.
Did Intel produce at any time bugfree HW?
http://www.urbanmyth.org/microcode/
http://www.heise.de/newsticker/meldung/91748 |
|
| Back to top |
|
|
py-ro
Veteran
Joined: 24 Sep 2002
Posts: 1734
Location: Velbert
|
| Posted: Tue Jun 19, 2007 8:11 pm Post subject: |
|
|
Natürlich belegt der Kopiervorgang auf der gleichen Platte RAM, irgendwo müssen die daten ja zwischengespeichert werden und Linux neigt dazu dafür eine Menge RAM zu verwenden, wenn er dann Programme aus dem Speicher in den Swap schiebt wirds nochmal langsamer.
Das mit der CPU Last bei 40%beobachte ich bei meinem nforce Board übrigens auch, besserung würde ich auch gerne haben.
Py |
|
| Back to top |
|
|
misterjack
Veteran
Joined: 03 Oct 2004
Posts: 1655
|
| Posted: Tue Jun 19, 2007 8:23 pm Post subject: |
|
|
| a.forlorn wrote: | | VIA ist doch für schlechte Performance unter IDE/SATA bekannt. Durchaus möglich, dass sich da ne ganze Menge heap rumtreibt. |
In meinen Augen grober Unfug, um VIA mal in Schutz zu nehmen:
| Code: | | 00:0f.0 RAID bus controller: VIA Technologies, Inc. VIA VT6420 SATA RAID Controller (rev 80) |
Hab ich ebenfalls, so selten ist der nicht.
Mittels mc eine 1,5GB große Datei von einer Partition auf eine andere verschoben mit ~18,50 MB/s
| Code: | | Cpu(s): 6.0%us, 12.3%sy, 0.0%ni, 0.0%id, 80.1%wa, 0.3%hi, 1.3%si, 0.0%st |
Mit cp sieht die Auslastung gleich aus. Meine Vermutung, dein System ist einfach falsch eingestellt 
@ChrisJumper, die üblichen Informationen bitte, wie emerge --info und deine Kernelconfig, wenns geht letztere in nopaste.info oder als Download.
EDIT:
| UTgamer wrote: | | VIA VT82C586A |
Den habe ich im Server, deine Probleme kenne ich ebenfalls nicht.
_________________
„Meine Meinung steht fest! Bitte verwirren Sie mich nicht mit Tatsachen.“
Last edited by misterjack on Tue Jun 19, 2007 8:29 pm; edited 2 times in total |
|
| Back to top |
|
|
UTgamer
Veteran
Joined: 10 Aug 2003
Posts: 1326
Location: Troisdorf (Köln) Deutschland
|
| Posted: Tue Jun 19, 2007 8:27 pm Post subject: |
|
|
| py-ro wrote: | Das mit der CPU Last bei 40%beobachte ich bei meinem nforce Board übrigens auch, besserung würde ich auch gerne haben.
Py |
Ebenfalls falsche Kerneleinstellungen und oder falsches Dateisystem.
Kerneleinstellungen für nForce 4 =
Device drivers >> Serial ATA (...) >> ATA device support >> NVIDIA SATA support + AMD/NVIDIA PATA support (Experimental) + Generic ATA support.
+
Device drivers >> SCSI device support >> legacy /proc/scsi/ support + SCSI disk support (+ SCSI CDROM support) + SCSI generic support (+ Verbose SCSI error reporting (kernel size +=12K))
Sind meine Kerneleinstellungen
Ihr habt wahrscheinlich viel zu viele negative Einstellungen unter euren CPU-Einstellungen, sowas wie die Timing Parameter.
Sowie ich auch reiserfs-v3.6 benutze.
Wen es interressiert wie ich auf nur 4-8% komme, kann gerne meine komplette Kernelkonfig haben, und wer es nicht glaubt der kann auch live über VNC auf meinen Rechner schauen.
_________________
AMD Phenom II x4 >> CFLAGS="-march=amdfam10 -O2 -mmmx -msse3 -mfpmath=sse,387 -pipe -ffast-math" is stable and here in use.
Did Intel produce at any time bugfree HW?
http://www.urbanmyth.org/microcode/
http://www.heise.de/newsticker/meldung/91748 |
|
| Back to top |
|
|
UTgamer
Veteran
Joined: 10 Aug 2003
Posts: 1326
Location: Troisdorf (Köln) Deutschland
|
|
| Back to top |
|
|
py-ro
Veteran
Joined: 24 Sep 2002
Posts: 1734
Location: Velbert
|
| Posted: Tue Jun 19, 2007 8:55 pm Post subject: |
|
|
@UTGamer
Verzeih mir aber Kerneloptionen hab ich in alle kombinationen durch, auf dem A8N-Sli war zumindest bis 2.6.16 nix zu machen unter 40% Last.
Bei meinem neuen hab ich ehrlichgesagt noch nicht drauf geachtet, aber der hat eh ne x2 Cpu, fällt also nicht wirklich auf. |
|
| Back to top |
|
|
UTgamer
Veteran
Joined: 10 Aug 2003
Posts: 1326
Location: Troisdorf (Köln) Deutschland
|
| Posted: Tue Jun 19, 2007 9:02 pm Post subject: |
|
|
| py-ro wrote: | @UTGamer
Verzeih mir aber Kerneloptionen hab ich in alle kombinationen durch, auf dem A8N-Sli war zumindest bis 2.6.16 nix zu machen unter 40% Last.
Bei meinem neuen hab ich ehrlichgesagt noch nicht drauf geachtet, aber der hat eh ne x2 Cpu, fällt also nicht wirklich auf. |
Hab auch einen Dual-Core, und die Werte bezogen sich auf eine CPU davon auf der gerade der Kopiervorgang läuft.
_________________
AMD Phenom II x4 >> CFLAGS="-march=amdfam10 -O2 -mmmx -msse3 -mfpmath=sse,387 -pipe -ffast-math" is stable and here in use.
Did Intel produce at any time bugfree HW?
http://www.urbanmyth.org/microcode/
http://www.heise.de/newsticker/meldung/91748 |
|
| Back to top |
|
|
a.forlorn
Guru
Joined: 12 Aug 2005
Posts: 412
Location: Ulm, Germany
|
| Posted: Tue Jun 19, 2007 9:13 pm Post subject: |
|
|
| misterjack wrote: | | a.forlorn wrote: | | VIA ist doch für schlechte Performance unter IDE/SATA bekannt. Durchaus möglich, dass sich da ne ganze Menge heap rumtreibt. |
In meinen Augen grober Unfug, um VIA mal in Schutz zu nehmen: |
Leider doch, der berühmte bug aus dem KT133 hat sich bis heute in den VIA-boards überlebt. Die Performance einseitig ist recht gut, aber sobald 2 Geräte an einem IDE- Port hängen, oder RW- Vorgänge laufen, wird der extrem instabil.
_________________
Gentoo update is sometimes harder than it should. |
|
| Back to top |
|
|
misterjack
Veteran
Joined: 03 Oct 2004
Posts: 1655
|
| Posted: Tue Jun 19, 2007 9:35 pm Post subject: |
|
|
| UTgamer wrote: |
Auf einem Server laufen auch nicht gleichzeitig noch Sound und OpenGL, ansonsten ist der auch stabil. Sobald ich die nVidia-OpenGL-Treiber für meine Geforce 5900GT aktiviere wird er wieder instabil bei jedweder HD Aktion. Auch ist bekannt das er ein Problem auf dem PCE-Bus hat ganz speziel mit Soundblaster Karten, und ich habe eine Audigy mit da drauf.
|
mmh den Bug kannte ich noch nicht. Ich bin komischerweise von dem Bug verschont. Hab das Mainboard schon sehr lange und damals in meinen Haupt-PC am Laufen gehabt. Habs aus den Gründen der Stabilität weiterverwendet. Hatte auch 2 IDE-Festplatten drin und ne Ti4200 soweit ich mich dran erinnern kann.
| a.forlorn wrote: |
Leider doch, der berühmte bug aus dem KT133 hat sich bis heute in den VIA-boards überlebt. Die Performance einseitig ist recht gut, aber sobald 2 Geräte an einem IDE- Port hängen, oder RW- Vorgänge laufen, wird der extrem instabil. |
Beweise? Meine Recherchen haben nichts ergeben. Habe auch mehrere IDE-Geräte dran und instabil ist da absolut nichts.
_________________
„Meine Meinung steht fest! Bitte verwirren Sie mich nicht mit Tatsachen.“ |
|
| Back to top |
|
|
boris64
Veteran
Joined: 04 Oct 2003
Posts: 1770
Location: Vechelde/Peine
|
| Posted: Wed Jun 20, 2007 1:50 am Post subject: |
|
|
| UTgamer wrote: | | boris64 wrote: | ...
PS: Ich habe durchaus auch hohe Kopierraten (40MB/s etc.), doch
blockiert dieser Kopiervorgang meist alles andere. |
Dann hast du irgend etwas falsch eingestellt bei deinem nForce4, wenn ich einen Ordner von 1,8 GB mit vielen Dateien von einer Partition zu einer Anderen auf der gleichen Festplatte kopiere fängt er mit 39 MB/s an und läuft bis auf 18 MB Übertragungsrate herunter, die CPU-Auslastung beträgt dabei zwischen 4 + 8 %.
Ich nutze gerade Kernel 2.6.19-gentoo-r5 und alles auf 64 Bit.
Also auf deinem Rechner verschenkst du viel Leistungspotential. Es steht auch überhaupt nichts still für einen kurzen Augenblick, da ich noch so rund 96% CPU-Zeit auf dieser CPU frei habe merke ich davon auch garnichts.
|
Ich glaube, das kam falsch rüber. Die CPU-Last beträgt max 10% auf einem Kern (Ich beziehe mich mal auf "kio_file"),
trotzdem hakt es beim Kopiervorgang an allen Ecken (hohe IO-Last o.ä.??).
Man beachte das "${prozent}wa" bei "top"(!).
| Code: |
Cpu(s): 2.9%us, 2.9%sy, 0.0%ni, 13.9%id, 79.4%wa, 0.5%hi, 0.5%si, 0.0%st
|
_________________
boris64.net 200x / visit my desktop / try these tiny kernel patches |
|
| Back to top |
|
|
sewulba
Guru
Joined: 09 Feb 2005
Posts: 517
Location: Heidelberg
|
| Posted: Wed Jun 20, 2007 6:53 am Post subject: |
|
|
Also ich verstehe das nicht ganz, dass es soviel Last macht. Bei mir ist es, dass wenn ich eine 2GB große Datei von einer (Adaptec 29160-Conroller) SCSI160 Platte zur anderen schiebe, dann habe ich einen Datendurchsatz von 68,5MB/s bei einer Last von durchschnittlich 3%!
Ich denke, dass Dein Chipsatz für SATA einfach nicht gut unterstützt wird. Hatte ähnliche Probleme mal mit VIA-Chipsatz. Habe mich von VIA-Chipsätzen komplett getrennt.
Sewulba
Nachtrag:
Eben gerade Last und Durchsatz auf meinem LSI Logic Kontroler gemessen. Hängen 4 SerialATA2 Platten dran (RAID). Last wie bei SCSI bei ungefähr 3%. Datendurchsatz 115MB/s.
_________________
System1:Apple PowerMac Dual G4 @ 1,83GHz with 2GB Ram. 400GB + 80GB HDD, Gentoo 13.0-ppc32
System2:Apple MacIntosh PowerMac Dual G5 @ 2.7 GHz/1,35GHz FSB... 8GB Ram. 250GB SATA. Gentoo 10.0-PPC64-64ul |
|
| Back to top |
|
|
UTgamer
Veteran
Joined: 10 Aug 2003
Posts: 1326
Location: Troisdorf (Köln) Deutschland
|
| Posted: Wed Jun 20, 2007 1:29 pm Post subject: |
|
|
| sewulba wrote: | | Also ich verstehe das nicht ganz, dass es soviel Last macht. Bei mir ist es, dass wenn ich eine 2GB große Datei von einer (Adaptec 29160-Conroller) SCSI160 Platte zur anderen schiebe, dann habe ich einen Datendurchsatz von 68,5MB/s bei einer Last von durchschnittlich 3%! |
Nicht verstanden gehabt? Nicht von einer Platte auf eine andere, sondern auf die gleiche Platte, deine Werte sind nun ohne Vergleich alleinstehend!
_________________
AMD Phenom II x4 >> CFLAGS="-march=amdfam10 -O2 -mmmx -msse3 -mfpmath=sse,387 -pipe -ffast-math" is stable and here in use.
Did Intel produce at any time bugfree HW?
http://www.urbanmyth.org/microcode/
http://www.heise.de/newsticker/meldung/91748 |
|
| Back to top |
|
|
hoschi
Advocate
Joined: 19 Jul 2003
Posts: 2517
Location: Ulm, Germany, Europe
|
| Posted: Wed Jun 20, 2007 5:54 pm Post subject: |
|
|
| ChrisJumper wrote: |
das beim brennen von der Platte via k3b mein X kurz einfriert. |
Davon kann ich mit VIA ein Lied singen.
_________________
Just you and me strogg! |
|
| Back to top |
|
|
hoschi
Advocate
Joined: 19 Jul 2003
Posts: 2517
Location: Ulm, Germany, Europe
|
| Posted: Wed Jun 20, 2007 6:04 pm Post subject: |
|
|
| py-ro wrote: | Natürlich belegt der Kopiervorgang auf der gleichen Platte RAM, irgendwo müssen die daten ja zwischengespeichert werden und Linux neigt dazu dafür eine Menge RAM zu verwenden, wenn er dann Programme aus dem Speicher in den Swap schiebt wirds nochmal langsamer.
Das mit der CPU Last bei 40%beobachte ich bei meinem nforce Board übrigens auch, besserung würde ich auch gerne haben.
Py |
Wie viel Speicher beim Kopieren oder Verschieben genutzt werden kann (!) um Schreib/Lesezugriffe geschickt zu kombinieren hängt wohl am meisten vom Dateisystem ab (sowie Chipsatz und Festplatte - SATA, PATA, NCQ, HDD-Cache, SSD oder HDD), XFS lässt kleinere Dateien gerne mal im Speicher um beendet lieber erstmal ein paar Schreiboperationen um ingesamt schneller voran zu kommen, dass verhindert auch eine schnelle Fragmentierung und CPU-Last (wie man sie von ReiserFS leider kennt).
Linux wird eher mal den Cache oder Buffer swappen, die Programme selber nur im Notfall und schon gar nicht für Dateioperationen.
WindowsXP ist da flexibler, WinXP kann sogar den eigenen Kernel in den SWAP packen 
_________________
Just you and me strogg! |
|
| Back to top |
|
|
py-ro
Veteran
Joined: 24 Sep 2002
Posts: 1734
Location: Velbert
|
| Posted: Wed Jun 20, 2007 10:25 pm Post subject: |
|
|
| Quote: | | Linux wird eher mal den Cache oder Buffer swappen, die Programme selber nur im Notfall und schon gar nicht für Dateioperationen. |
Cache oder Buffer zu swappen macht 0 Sinn und wird auch nicht getan AFAIK, die Dinger sind ja eben dazu da damit er keinen Festplattenzugriff machen muss.
Programme die gerade nicht gebraucht werden, werden da schon eher geswapped, wobei ich schon lange keinen verbrauchten swap speicher mehr gesehen hab und das beim kompilieren auf einer RAMDISK.
Aber unter Umständen rede ich auch nur Müll, nicht so ganz mein spezialgebiet.
Hab jetzt mal ein bissel mit meinem neuen Board rumgespielt, interressanterweise benötigt cp mehr zeit zum kopieren einer 270MB datei als der MC, cp erzeugt auf einem kern bis zu 80% Last, der MC bis zu 40%.
Auf diesem System mitg XFS, bei dem alten war es ext3.
Beim kopieren nach /dev/zero, springt die last am anfang kurz 0.5 sec auf 100% und dann nix mehr, scheint also am schreiben liegen und damit am FS liegen.
Also das ganze mal in ein tmpfs kopiert, 80% Last, allerdings nur für kurze Zeit.
Das sagt dmesg über die Platte:
| Code: |
scsi3 : sata_nv
ata3: SATA max UDMA/133 cmd 0x000109f0 ctl 0x00010bf2 bmdma 0x0001dc00 irq 0
ata4: SATA max UDMA/133 cmd 0x00010970 ctl 0x00010b72 bmdma 0x0001dc08 irq 0
ata3: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
ata3.00: ata_hpa_resize 1: sectors = 390721968, hpa_sectors = 390721968
ata3.00: ATA-7: SAMSUNG SP2004C, VM100-32, max UDMA7
ata3.00: 390721968 sectors, multi 1: LBA48 NCQ (depth 0/32)
ata3.00: ata_hpa_resize 1: sectors = 390721968, hpa_sectors = 390721968
ata3.00: configured for UDMA/133
......
sd 2:0:0:0: [sda] 390721968 512-byte hardware sectors (200050 MB)
sd 2:0:0:0: [sda] Write Protect is off
sd 2:0:0:0: [sda] Mode Sense: 00 3a 00 00
sd 2:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sd 2:0:0:0: [sda] 390721968 512-byte hardware sectors (200050 MB)
sd 2:0:0:0: [sda] Write Protect is off
sd 2:0:0:0: [sda] Mode Sense: 00 3a 00 00
sd 2:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sda: sda1 sda2
sd 2:0:0:0: [sda] Attached SCSI disk
|
anticipatory scheduler ist aktiv.
So, was soll ich noch suchen?  |
|
| Back to top |
|
|
hoschi
Advocate
Joined: 19 Jul 2003
Posts: 2517
Location: Ulm, Germany, Europe
|
| Posted: Thu Jun 21, 2007 9:16 am Post subject: |
|
|
Ich habe 1024 MB und gar keine SWAP und habe auch nie eine gebraucht, als noch eine SWAP-Partition aktiviert war. Ist sowieso etwas, was in der heutigen Zeit einfach nicht mehr noetig sein darf (Speichergroesse und Preise).
_________________
Just you and me strogg! |
|
| Back to top |
|
|
AROK
Guru
Joined: 31 Jul 2006
Posts: 442
Location: D und CH
|
| Posted: Wed Oct 24, 2007 5:09 pm Post subject: |
|
|
Hallo,
Ich nutze einfach mal diesen Theard für mein Problem. Die Kopierperformance meines Systems versteht ich auch nicht:
Alle Platten von Western Digital, sdb ist etwa ein Jahr alt, die anderen erst dieses Jahr gekauft. Alle 16MB Cache, SATA2 (außer sdb).
sda500gb, sdb 160gb, sdc 360gb. Chipsatz ist Intel ICH9R. Prozessor C2D T6750, 2GB RAM. Kernel: 2.6.22-gentoo-r8
kopieren einer 400MB Datei, alles ext3:
von sda9 nach sda2: 33MB/s
von sda2 nach sdc7: 10MB/s
von sda9 nach sdc7: 20MB/s
von sdc7 nach sda2: 65MB/s
von sdc7 nach sda9: 55MB/s
von sdc7 nach sdb1: 35MB/s
von sdb1 nach sdc7: 10MB/s
von sdb1 nach sda2: 75MB/s
von sda2 nach sdb1: 50MB/s
Jeweils ca 100% Last auf CPU0 und etwa 1-2% auf CPU1
| Code: |
/dev/sda:
Timing cached reads: 8526 MB in 2.00 seconds = 4267.34 MB/sec
Timing buffered disk reads: 244 MB in 3.00 seconds = 86.27 MB/sec
/sbin/hdparm -tT /dev/sdb
/dev/sdb:
Timing cached reads: 7696 MB in 2.00 seconds = 3850.88 MB/sec
Timing buffered disk reads: 86 MB in 3.05 seconds = 35.18 MB/sec
/sbin/hdparm -tT /dev/sdc
/dev/sdc:
Timing cached reads: 7944 MB in 2.00 seconds = 3975.97 MB/sec
Timing buffered disk reads: 190 MB in 3.00 seconds = 73.25 MB/sec
|
sdc scheint beim schreiben sehr langsam zu sein, obwohl es fast die gleiche Platte ist, wie sda 
Hat von euch Jemand eine Idee?
aufgefallen ist mir das weil gerade das
von sdb1 nach sdc7: 10MB/s
häufig vorkommt. und 10mb/s nervt natürlich ganz schön.
Danke für Hinweise und Gruß
AROK |
|
| Back to top |
|
|
|
|
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
|
|
Deutsches Forum (German)
