Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
[TIP] migliorare le performance di SGI XFS Filesystem
View unanswered posts
View posts from last 24 hours
View posts from last 7 days

Goto page Previous  1, 2, 3, 4  Next  
Reply to topic    Gentoo Forums Forum Index Forum italiano (Italian) Risorse italiane (documentazione e tools)
View previous topic :: View next topic  
Author Message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Mon Nov 21, 2005 9:33 pm    Post subject: Reply with quote

Prima la root era in reiserfs 3.6 e occupava 3.9 giga
ora in xfs ne occupa 4.6...
E' leggermente meno efficiente come capacità di storaggio dati ma non si notano cali apprezzabili di velocità...
In compenso ora spero di consumare meno batteria in carico pcu dovuto al filesystem :wink:
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
Ic3M4n
Advocate
Advocate


Joined: 02 Nov 2004
Posts: 3489
Location: Bergamo.

PostPosted: Tue Nov 22, 2005 1:53 am    Post subject: Reply with quote

@cazzantonio: io onestamente della quantità di hd occupato ho sempre avuto forti dubbi. soprattutto sulla bontà di reiser sotto questo aspetto. ho provato una volta a formattare una penna usb da 128Mb con reiser e mi diceva che lo spazio libero era di 68M o qualcosa del genere. con xfs invece di 110M (sempre più o meno). onestamente non me la so spiegare, però se anche su xfs un file dovesse occupare di più la dimensione totale della penna in M è maggiore. boh... illuminatemi.
Back to top
View user's profile Send private message
Luca89
Advocate
Advocate


Joined: 27 Apr 2005
Posts: 2107
Location: Agrigento (Italy)

PostPosted: Tue Nov 22, 2005 12:39 pm    Post subject: Reply with quote

Ho notato anche io ciò detto da Ic3m4n, avevo una piccola partizione /boot in reiserfs e massimo vi entravano 2 kernel, dopo averla formattata in ext3 invece ne possono mettere molti di più. Secondo me reiserfs riserva troppo spazio per il journal.
_________________
Running Fast!
Back to top
View user's profile Send private message
Apetrini
Veteran
Veteran


Joined: 09 Feb 2005
Posts: 1158

PostPosted: Tue Nov 22, 2005 8:02 pm    Post subject: Reply with quote

Ho riposto la mia fiudcia in XFS, ma mi ha deluso...
L'ho usato per la root di tutto il sistema...
Poi ho fatto delle prove con dei moduli del kernel che freezavano il sistema, al 10-11 freeze dopo il riavvio molti file erano vuoti o pieni di schifezze...

MI si era corrotto
Code:
 
/etc/fstab
 /etc/mtab
/etc/portage.keywords
/etc/portage.unmask

...
e molti altri...
 


Forse non è il filesystem piu adatto per la root del sistema...
Quando usavo reiser3.6 o anche reiser4 queste cose non succedevano. Magari dovevo perdere 40 minuti per correggere la partizione dopo ogni riavvio forzato, ma poi i miei dati gli avevo indietro tutti integri...

P.s. tutto questo era a patto che non si danneggiasse qualche settore del disco, questa cosa purtroppo reiser non la tollera e io per qualche cluster danneggiato perdevo giga di roba...
_________________
Linux ape 2.6.31-vanilla. Paludis since 0.28.0.
Back to top
View user's profile Send private message
Ic3M4n
Advocate
Advocate


Joined: 02 Nov 2004
Posts: 3489
Location: Bergamo.

PostPosted: Tue Nov 22, 2005 8:24 pm    Post subject: Reply with quote

semplicemente in caso di crash i problemi li hai sui file aperti, che risulteranno corrotti al successivo riavvio. però è anche vero che non tutti ci mettiamo a smadonnare con i moduli del kernel come fai tu. io finora non ho mai avuto problemi, anzi... tra xfs e reiser non c'è paragone. io utilizzo xfs.
Back to top
View user's profile Send private message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Tue Nov 22, 2005 8:33 pm    Post subject: Reply with quote

E' l'unica cosa davvero fastidiosa... per il resto è un ottimo filesystem.
Ora come ora ho la root in xfs e si vedrà.... su un fisso terrei reiser ma visto che ciuccia tanta cpu ed ho un portatile :roll:
Effettivamente il carico di xfs sulla cpu è davvero molto ridotto :wink:
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
nick_spacca
l33t
l33t


Joined: 29 May 2004
Posts: 689
Location: Paris/France

PostPosted: Tue Nov 22, 2005 9:11 pm    Post subject: Reply with quote

Cazzantonio wrote:
(...)
Ora come ora ho la root in xfs e si vedrà.... su un fisso terrei reiser ma visto che ciuccia tanta cpu ed ho un portatile :roll:
(...)


Ah si...e come te ne accorgi????????? Io col portatile (meno potente del tuo...), senza fare nulla ho il proc che AL MASSIMO va a 3/5% di carico....e considerando tutte le cazzate/applet che ho attive (gkrellm &co.) non so quale sia il carico della cpu....raggiungo io max di utlizzo SOLO in compilazione...
(Secondo me reiser e' un ottimo filesystem che uso da + di 3 anni ormai, mi riservo di provare Xfs...)
_________________
I can resist anything but temptation.
(O. Wilde)
Back to top
View user's profile Send private message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Tue Nov 22, 2005 10:28 pm    Post subject: Reply with quote

nick_spacca wrote:
Ah si...e come te ne accorgi????????? Io col portatile (meno potente del tuo...), senza fare nulla ho il proc che AL MASSIMO va a 3/5% di carico....e considerando tutte le cazzate/applet che ho attive (gkrellm &co.) non so quale sia il carico della cpu....raggiungo io max di utlizzo SOLO in compilazione...
(Secondo me reiser e' un ottimo filesystem che uso da + di 3 anni ormai, mi riservo di provare Xfs...)

A parte la potenza (0.16 ghz non mi sembrano questo scarto abissale) te ne acccorgi quando fai operazioni sui files, tipo lettura, scrittura etc...
Comunque ti ripeto... le differenze non sono poi abissali. Penso sostanzialmente che ogni fs abbia buone qualità, non esiste il miglior fs. Esistono fs adatti a quello che vuoi fare ed fs meno adatti.
Per esempio xfs ha tutta una serie di utilities che mi piaccioni molto...
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
nick_spacca
l33t
l33t


Joined: 29 May 2004
Posts: 689
Location: Paris/France

PostPosted: Tue Nov 22, 2005 10:32 pm    Post subject: Reply with quote

Cazzantonio wrote:
A parte la potenza (0.16 ghz non mi sembrano questo scarto abissale) te ne acccorgi quando fai operazioni sui files, tipo lettura, scrittura etc...
Comunque ti ripeto... le differenze non sono poi abissali. Penso sostanzialmente che ogni fs abbia buone qualità, non esiste il miglior fs. Esistono fs adatti a quello che vuoi fare ed fs meno adatti.
Per esempio xfs ha tutta una serie di utilities che mi piaccioni molto...


Io penso che la migliore qualita' che possa avere un fs, sia quella di essere trasparente all'utente....nel senso che meno mi accorgo che c'e' meglio e'...
A questo punto pero' meglio smettere altrimenti si va OT di brutto :wink: ...
_________________
I can resist anything but temptation.
(O. Wilde)
Back to top
View user's profile Send private message
.:deadhead:.
Advocate
Advocate


Joined: 25 Nov 2003
Posts: 2963
Location: Milano, Italy

PostPosted: Tue Nov 22, 2005 11:24 pm    Post subject: Reply with quote

Apetrini wrote:
Ho riposto la mia fiudcia in XFS, ma mi ha deluso...
mi spiace per la perdita dei tuoi dati, ma il problema a monte non è che se risolvi il problema dei freeze magari non sottoponi ad eccessivo stress anche il tuo FS che così potrà lavorare in pace, sia essp xfs reiser o pokemonFS(r) ?
Apetrini wrote:
tutto questo era a patto che non si danneggiasse qualche settore del disco, questa cosa purtroppo reiser non la tollera e io per qualche cluster danneggiato perdevo giga di roba...
8O Mi permetto di avanzare un dubbio: come hai provato a recuperare quei dati? Beninteso, mi spiace che ti sia capitato, ma io ho perso, causa badblock, cluster per circa 80k e dopo aver copiato tramite dd la partizione in questione ho lanciato il mio rebuild_tree . Risultato? nessun file perso. recupero al 100%. Era la mia / e non avevo grossi file sopra, ma credo che il test sia indicativo.

Inizio a pensare che una buona dose di ( | ) sia la miglior soluzione dopo un ups ed un kernel stabile :roll: :lol:
_________________
Proudly member of the Gentoo Documentation Project: the Italian Conspiracy ! ;)
Back to top
View user's profile Send private message
Apetrini
Veteran
Veteran


Joined: 09 Feb 2005
Posts: 1158

PostPosted: Wed Nov 23, 2005 2:05 pm    Post subject: Reply with quote

.:deadhead:. wrote:
mi spiace per la perdita dei tuoi dati, ma il problema a monte non è che se risolvi il problema dei freeze magari non sottoponi ad eccessivo stress anche il tuo FS che così potrà lavorare in pace, sia essp xfs reiser o pokemonFS(r) ?


Il problema non è perdere i dati, perche se voglio avere un sistema stabile lo ottengo con poco sforzo. Il punto è che secondo me è una questione di principio, non capisco come mai XFS corrompe file che ha letto. Al momento del freeze l'hard disk non leggeva piu e le uniche operazioni di scrittura che aveva gia fatto erano su /tmp quindi non trovo tollerabile che corrompa i file aperti dal sistema, visto che al momento dello shutdown forzato non stava neanche facendo operazioni sul disco.
_________________
Linux ape 2.6.31-vanilla. Paludis since 0.28.0.
Back to top
View user's profile Send private message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Wed Nov 23, 2005 3:27 pm    Post subject: Reply with quote

beh si questo è un problema di xfs... se ti può consolare tutti gli fs ne hanno uno... ext3 è stabilissimo ma lento e inefficiente (paragonato agli altri ovviamente... rispetto a vfat è una bomba ;-) ), reiserfs è veloce ma in caso di badblocks ti da moltissimi problemi (e poi anche lui è soggettto a corruzioni... potrei citarti un caso che mi è capitato tempo fa che fa pensare...), jfs non lo conosco ma il fatto che ancora non venga considerato stabilissimo la dice lunga, idem dicasi per reiser4
Si tratta semplicemente di scegliere a seconda dell'utilizzo che si fa della macchina. Oppure inizia a sviluppare xfs e risolvi questi bug... noi te ne saremo grati ;-)
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
Apetrini
Veteran
Veteran


Joined: 09 Feb 2005
Posts: 1158

PostPosted: Wed Nov 23, 2005 4:41 pm    Post subject: Reply with quote

Cazzantonio wrote:
Oppure inizia a sviluppare xfs e risolvi questi bug... noi te ne saremo grati ;-)


Non penso proprio di avere le competenze adatte...mi dispiace.

La storia comincia ad essere un po' complicata...
Infine penso che per il portatile optero' per una configurazione tipo:

/ -> reiser4
/root e /home -> xfs

Almeno cosi ho l'anima in pace, se si corrompe la root e' perche uso un fs troppo "sperimentale" e questo mi sta bene.
Non mi va invece di optare per un fs che ritengo sicuro e poi solo perche maltratto un po' il sistema si corrompono dei file.

Per quanto riguarda il guadagno di "autonomia" devo dire che da XFS a reiser3.6, dalle prove pratiche che avevo fatto l'anno scorso e' emerso che XFS dava un pelo meno autonomia di resier3.6, anche se quest'ultimo consumava piu cpu(comunque poca roba).
_________________
Linux ape 2.6.31-vanilla. Paludis since 0.28.0.
Back to top
View user's profile Send private message
theRealMorpheu5
l33t
l33t


Joined: 26 Feb 2004
Posts: 841
Location: Vicenza, IT

PostPosted: Fri Apr 28, 2006 1:03 pm    Post subject: Reply with quote

Dicono dalla regia che il kernel 2.6.16 ha un driver XFS mooolto migliore. L'ho provato e devo dire che ha quasi dimezzato i tempi di caricamento del sistema e un sacco di altre cose tipo KDE, Firefox...

... inoltre, formattato con
Code:
mkfs.xfs -s size=512 -b size=1s
lo spazio è gestito MOLTO più efficientemente. Basti pensare che coi blocchi di default avevo un Portage in 300 MB circa, ora in 170 MB scarsi.
Back to top
View user's profile Send private message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Fri Apr 28, 2006 4:56 pm    Post subject: Reply with quote

wow prova a far crashare il pc qualche volta e se non ti sparisce nessun file allora lo rimetto su anche io :)
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
.:chrome:.
Advocate
Advocate


Joined: 19 Feb 2005
Posts: 4588
Location: Brescia, Italy

PostPosted: Sun May 07, 2006 3:21 pm    Post subject: Reply with quote

theRealMorpheu5 wrote:
Dicono dalla regia che il kernel 2.6.16 ha un driver XFS mooolto migliore. L'ho provato e devo dire che ha quasi dimezzato i tempi di caricamento del sistema e un sacco di altre cose tipo KDE, Firefox...

mi pare un po' audace come dichiarazione.
tanto per commentare un po' tutto il thread, io devo dire che con XFS non ho mai perso un solo bit, e sono uno che prima di mettere un FS su macchine in produzione ci pensa bene, e bisogna dire anche che il mio portatile non lo tratto benissimo, da quel punto di vista.
posso capire si si parla di kernel precedenti a 2.6.9 e 2.4.27, ma oggi come oggi corrompere un file systema XFS è davvero impossibile.
Back to top
View user's profile Send private message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Sun May 07, 2006 10:43 pm    Post subject: Reply with quote

CI sta e mi piacerebbe davvero usare xfs se non fosse per il fatto che diverse volte consecutive, durante un freeze causato dai terribili driver ati, ho perso diversi file aperti al momento del crash...
Mi riprometto di fare delle nuove prove per vedere se il problema è stato risolto :)
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
sometimes
n00b
n00b


Joined: 25 Jun 2005
Posts: 52

PostPosted: Sun May 07, 2006 10:53 pm    Post subject: Reply with quote

mi date la conferma che

Quote:
mkfs.xfs -varie_opzioni


comporta la perdita di tutti i dati?
Back to top
View user's profile Send private message
Ic3M4n
Advocate
Advocate


Joined: 02 Nov 2004
Posts: 3489
Location: Bergamo.

PostPosted: Mon May 08, 2006 10:00 am    Post subject: Reply with quote

comporta la perdita degli inode. i file sono ancora presenti sul disco, sotto forma di 0 e 1. è differente formattare una partizione da fargli 10-15 passate di /dev/zero. in ogni caso per recuperare un file devi sudare un pochino.
Back to top
View user's profile Send private message
makoomba
Bodhisattva
Bodhisattva


Joined: 03 Jun 2004
Posts: 1856

PostPosted: Tue May 09, 2006 9:20 am    Post subject: Reply with quote

tempo fa, spulciando una ml, mi sono imbattuto in questa interessante divagazione sul tema fs.
la riporto "as is"
Quote:
You see, when you yank the power cord out of the wall, not all parts of the computer stop functioning at the same time. As the voltage starts dropping on the +5 and +12 volt rails, certain parts of the system may last longer than other parts. For example, the DMA controller, hard drive controller, and hard drive unit may continue functioning for several hundred of milliseconds, long after the DIMMs, which are very voltage sensitive, have gone crazy, and are returning total random garbage. If this happens while the filesystem is writing critical sections of the filesystem metadata, well, you get to visit the fun Web pages at http://You.Lose.Hard/ .

I was actually told about this by an XFS engineer, who discovered this about the hardware. Their solution was to add a power-fail interrupt and bigger capacitors in the power supplies in SGI hardware; and, in Irix, when the power-fail interrupt triggers, the first thing the OS does is to run around frantically aborting I/O transfers to the disk. Unfortunately, PC-class hardware doesn't have power-fail interrupts. Remember, PC-class hardware is cr*p.

Why doesn't ext3 get hit by this? Well, because ext3 does physical-block journaling. This means that we write the entire physical block to the journal, and only when the updates to the journal are committed do we write the data to the final location on disk. So, if you yank out the power cord, and inode tables get trashed, they will get restored when the journal gets replayed.

XFS and ReiserFS do what is called logical journaling. This means that if you modify the mod time of an inode, instead of writing the entire inode table block to the journal, they just write a note in the journal stating that "inode X now has a mod time of Y". This takes much less space, so you can pack many more journal updates into a single disk block. For filesystem benchmarks that try to saturate the filesystem's write bandwidth, and/or that also have very high levels of metadata updates, XFS and ReiserFS will tend to do much better than does ext3. Fortunately, many real-world workloads don't have this characteristic, which is why ext3 tends to perform just fine in practice in many applications, despite what would appear to be much worse benchmarks numbers, at least for some benchmarks.

The problem with logical journaling is that if you do have an unexpected power drop, and the storage system scribbles garbage on the inode table, there's no way to recover. In some cases, the only thing that is left to be done is mkfs and restore from backups. (Backups? You do keep backups, right?)

The practical upshot of this is that if you use XFS or ReiserFS, and you are on crappy PC-class hardware, you ***MUST*** have a UPS, and use a serial/USB cable, so that system can do a graceful shutdown when the UPS's batteries are exhausted.


This issue is completely different from the XFS issue of zeroing all open files on an unclean shutdown, of course. Having a UPS won't save you from that particular XFS misfeature. The reason why it is done is to avoid a potential security problem, where a file could be left with someone else's data. Ext3 solves this problem by delaying the journal commit until the data blocks are written, as opposed to trashing all open files. Again, it's a solution that can impact performance, but at least in my opinion, for a filesystem, performace is Job #2. Making sure you don't lose data is Job #1.

_________________
When all else fails, read the instructions.
Back to top
View user's profile Send private message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Tue May 09, 2006 10:06 am    Post subject: Reply with quote

bene allora ho scoperto che è una feature e non un bug quella di cancellare i files aperti :)
Temo che metterò tutto su ext3 (compresa la root che per ora era in reiserfs) :wink:
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
.:deadhead:.
Advocate
Advocate


Joined: 25 Nov 2003
Posts: 2963
Location: Milano, Italy

PostPosted: Tue May 09, 2006 10:16 am    Post subject: Reply with quote

Viva i portatili con le loro batterie :-D
_________________
Proudly member of the Gentoo Documentation Project: the Italian Conspiracy ! ;)
Back to top
View user's profile Send private message
!equilibrium
Bodhisattva
Bodhisattva


Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC

PostPosted: Sun May 21, 2006 7:52 pm    Post subject: Reply with quote

theRealMorpheu5 wrote:
Dicono dalla regia che il kernel 2.6.16 ha un driver XFS mooolto migliore. L'ho provato e devo dire che ha quasi dimezzato i tempi di caricamento del sistema e un sacco di altre cose tipo KDE, Firefox...


non è propriamente il 2.6.16 (anche se da questa versione in poi è possibile ri-utilizzare le 'write barrier' hardware, presenti fin dal kernel 2.4.x ma poi bloccate nel 2.6.x perchè davano problemi), ma il 2.6.17 nel quale sono state tolte gran parte delle parti 'emulate' ivi presenti e sostituite da API migliori e più efficienti e quindi maggiormente performanti; le parti 'emulate' sono in essere da tantissimo tempo ed erano necessarie in quanto il kernel non era in grado di fornirle direttamente o, se presenti, richiedevano una riscrittura delle API (cosa che è avvenuta dalla versione 2.6.14 in avanti). Il risultato ottenuto è una maggiore performance generale, soprattutto nelle scritture parallele e una maggiore affidabilità (non che prima non lo fosse sia ben intenso).

direttamente dal sito SGI (è un super-mini-riassunto-concentrato):
Code:

- Incore extent management rework, more efficiently using memory when working with files with large numbers of extents.
- Per-CPU superblock accounting, improving buffered I/O throughput significantly for parallel I/O workloads.


e per maggiori dettagli, basta dare uno scorcio rapido ai changelog del kernel 2.6.17 presenti su kernel.org, per rendersi conto nell'enormità di patches aggiunte.
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe

all my contents are released under the Creative Commons Licence by-nc-nd 2.5
Back to top
View user's profile Send private message
Dr.Dran
l33t
l33t


Joined: 08 Oct 2004
Posts: 766
Location: Imola - Italy

PostPosted: Sun Jun 11, 2006 9:46 am    Post subject: Reply with quote

Grande !equilibrium questa è una ottima notizia!!! :D
_________________
:: [Dr.Dran] Details ::
- Linux User # 286282
- IT FreeLance Consultant
- President of ImoLUG [Imola & Faenza Linux User Group]
Back to top
View user's profile Send private message
drakkan
Apprentice
Apprentice


Joined: 21 Jun 2004
Posts: 232

PostPosted: Wed Jul 05, 2006 3:50 pm    Post subject: Re: [TIP] migliorare le performance di SGI XFS Filesystem Reply with quote

Ciao,

sto pensando di provare xfs per il mio nuovo pc con tre dischi sata da 250GB (raid software+lvm), ho letto questi tips ma non capisco una cosa

!equilibrium wrote:


se ipotizziamo di avere un array RAID 5 formato da 5 hard disk e uno strip size di 64k:

X = 64*2
Y = 64*4*2

se ipotizziamo un array RAID 0 formato da 3 hard disk con uno strip size di 128K:

X = 128*2
Y = 128*3*2



non mi è chiaro perchè bisogna moltiplicare per 2

riporto quanto scritto nella man page di mkfs.xfs:

Code:

The  sunit  suboption  is  used to specify the stripe unit for a RAID device
.....
The swidth suboption is used to specify the stripe width  for  a RAID  device


da questo mi sembra di capire che la moltiplicazione per due non serva,

grazie per i chiarimenti,

drakkan
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Forum italiano (Italian) Risorse italiane (documentazione e tools) All times are GMT
Goto page Previous  1, 2, 3, 4  Next
Page 2 of 4

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum