Welches Dateiensystem für viele kleine Dateien + kompression

SarahS93 · l33t Joined: 21 Nov 2013 Posts: 693

Welche Dateiensysteme eignen sich für viele kleien Dateien, bieten optionen für Kompression und verkraften es auch wenn das System ausgeschaltet anstatt runtergefahren wird?

oliver2104 · Apprentice Joined: 27 Jul 2004 Posts: 214 Location: Wien

Das ReiserFS wäre vielleicht dafür geignet. Verwende ich auch.
Ist ideal für viele kleine Dateien, verkraftet auch zb. einen plötzlichen Stromausfall.
Habe aber keine Erfahrung betreffend Kompressionsoptionen.
Dieses Problem hatte ich, aufgrund der heutzutage üblichen
Festplatten-Kapazitäten noch nicht.

l3u · Posted: Mon Aug 11, 2014 11:54 am Post subject:

ReiserFS ist veraltet. Ich würd einfach ext4 nehmen.

Child_of_Sun_24 · Guru Joined: 28 Jul 2004 Posts: 578

So gut wie alle Dateisysteme "verkraften" ein plötzliches ausschalten, die Frage ist nur ob die zuletzt getätigten Transaktionen verworfen werden (Womit es schonmal vorkommen kann das Dateiänderungen beim nächsten Neustart wieder den vorherigen Inhalt haben).

Ext2 wäre hier am besten da es kein Journal benutzt und Änderungen sofort gespeichert werden (Könntest du natürlich auch bei ext3 und ext4 so einstellen).

Wenn es um Kompression geht fallen mir nur reiser4 und btrfs ein (Allerdings würde ich beide nicht für die Speicherung von wichtigen Dateien benutzen, zudem nehmen sie dir plötzliches ausschalten mitunter sehr übel).

Aus dem Bauch raus würde ich sagen das für dein Anwendungsgebiet kein Dateisystem mit Kompression zur Verfügung steht.

musv · Advocate Joined: 01 Dec 2002 Posts: 3337 Location: de

ReiserFS hatte zudem das Problem der starken Fragmentierung. Auch wenn das offiziell nicht gegeben haben soll, konnte ich damals feststellen, wie die Platte immer langsamer wurde mit der Zeit.

Reiser4 war da schon besser und auch erstaunlich stabil in Sachen Stromausfall. Auch mit der Kompression konnte das Dateisystem punkten. Reiser4 wurde aber auch mit der Zeit langsamer und ist im Endeffekt mit Kernel-2.6.38 (endgültig?) gestorben.

Aktuell soll wohl BTRFS in Sachen kleine Dateien und Kompression eine ganz gute Wahl sein. Bei der Stabilität vertrau ich BTRFS aber noch nicht 100%-ig. Hab es jetzt schon ein paar Jahre im Einsatz. 1x hatte ich das Dateisystem abgeschossen. Weiß nicht mehr, mit welchem Befehl ich es dann repariert hatte.

Yamakuzure · Posted: Mon Aug 11, 2014 3:04 pm Post subject:

ZFS. Gut mit vielen kleinen Dateien, variable LZ4-Kompression, sehr robust gegen plötzliches Abschalten.
_________________
Important German:

"Aha" - German reaction to pretend that you are really interested while giving no f*ck.
"Tja" - German reaction to the apocalypse, nuclear war, an alien invasion or no bread in the house.

kernelOfTruth · Posted: Mon Aug 11, 2014 4:36 pm Post subject:

SarahS93 · l33t Joined: 21 Nov 2013 Posts: 693

Mit 64 Bit läuft mein System.
Mir fällt es mal wieder schwer auszudrücken und zu beschreiben was ich eigentlich vorhabe.
Ich will um die 10 VM mit qemu laufen lassen. Das ganze muss neben meinem System was derzeit um die 12GB belegt auf die 240GB große SSD passen.
Anfangs dachte ich immer ich halte die VM klein, so um die 2 bis 5 GB je nach dem was das System darin braucht (gui oder keine gui, kde oder xfce usw...)
Weiter dachte ich ok ich lagere alles per smb/nfs auf eine hdd aus (portage, /temp, /usr/src/<kernel>.
Aber das wird alles zu umständlich und dann sind die VM so sehr mit meinem Haupt system durch die Netzwerkfreigaben und UserIDs der Freigaben verknüpft das mir das alles schon nicht mehr gefällt.
Daher will ich glaube ich eher den Weg ansteuern 32GB für jede VM und alles bleibt in der VM. Alles bleibt beisammen.
Nur weiss ich einfach nicht welches Dateiensystem ich den VM geben soll.
Wie halte ich die 10 32GB VM komprimiert so klein das sie auf meine Ca. 200GB freie SSD passen?
Kann Qemu eine VM-ImageDatei komprimieren, lässt diese sich dann aber noch per losetup einfach so einhängen?
Meine CPU ist starkt, daher denke ich schon das diese kompressionssache die beste lösung sein könnte, nur wie sollte ich das angehen?

l3u · Posted: Tue Aug 12, 2014 11:18 pm Post subject:

bell · Guru Joined: 27 Nov 2007 Posts: 510

Im Zusammenhang mit mehreren (ähnlichen) VM's hatte ich mal von "Data Deduplication" bei einem Vortrag gehört. Ich denke Du suchst (ua.) nach so etwas. Die selbe Datei in mehreren VM's belegt am Ende nur 1x den Speicherplatz im Host-Dateisystem. Die VM's sind jedoch komplett unabhängig von einander. Nach einer kurzen Suche fand ich dass ZFS es kann, mit Patches brtfs (oder offline-deduplication) und auch ein "lessfs" welches ich nicht kenne, es kann. Damit also die 320GB Host-HDD formatieren und die technologie benutzen. Welches Dateisystem die VM's selbst haben ist glaube ich egal. Es sollte gleich sein damit gleiche Dateien auch gleich gespeichert werden um als doppelt erkannt zu werden. Das Data Deduplication erfordert jedoch viel RAM, wie ich es lese. Erkundige Dich, ich habe damit auch bisher noch keine praktische Erfahrung, fand aber die Theorie interessant.

musv · Advocate Joined: 01 Dec 2002 Posts: 3337 Location: de

SarahS93 · l33t Joined: 21 Nov 2013 Posts: 693

Das mit dem QCow gefällt mir nicht. Wenn die VM zu gross wird, und ich darain dann Dinge deinstalliere/lösche .. wird sie bestimmt nicht von selbst wieder kleiner?
Die VM Datei soll eine feste Größe haben.
Wie stelle ich mir das mit btrfs, zfs, xfs, und der Datenkompression vor? Ich lege eine z.B, 16GB grosse VM Image-Datei im Host an, in dieser läuft die VM und das Dateiensystem dort ist mit z.B. btrfs formatiert und kompression der Daten. Sieht das System in der VM dann das da 16GB Speicherplatz ist, und es wird je nach kompressionsrate nur langsammer voll beim beschreiben? Habe ich eine übersicht wie gut sich welche Datei/Verzeichniss kompremieren lassen?
Ist brtfs für meine vorhaben das richtige Dateiensystem?

musv · Advocate Joined: 01 Dec 2002 Posts: 3337 Location: de

Hilefoks · Posted: Fri Aug 15, 2014 2:10 pm Post subject:

Christian99 · Veteran Joined: 28 May 2009 Posts: 1668

auch wäre es möglich, die root partition per nfs einzubinden. da hast du dann auch keine image dateien mit vorher festgelegter größe. und du könntest updates auch mit der hostOS machen was, performanter sein sollte als in der VM (wenn du als guest Gentoo nimmst, bei binären distributionen ist es wohl egal)

mv · Watchman Joined: 20 Apr 2005 Posts: 6747

Zunächst Grundsätzliches: Kein Dateisystem kann Dir garantieren, dass es bei plötzlichem Ausschalten keinen Datenverlust gibt.
Nicht zuletzt kann es nämlich passieren, dass beim Zusammenbrechen von z.B. der Prozessorfunktionalität noch zufällige Daten an zufällige Orte der Festplatte (bevorzugt auf Track 0) geschrieben werden. Ist mir schon etliche Male passiert, bis ich mir jetzt endlich eine USV geleistet habe...

Und weil es noch nicht angesprochen wurde: squashmount (also squashfs zusammen mit aufs/overlayfs/unionfs-fuse/unionfs/funionfs zum Schreiben).