Die eierlegende Wollmilchsau von Sun Microsystems
ZFS ist ein recht neues, quelloffenes Dateisystem von Sun Microsystems, dass sich gerade seinen Weg in die verschiedene Betriebssysteme bahnt und mit einer ganzen Reihe von Eigenschaften daherkommt, die es für zahlreiche Anwendungen sowohl im kleinen als auch im großen Rahmen sehr interessant machen. Tim Pritlove und Denis Ahrens vom Chaos Computer Club Berlin schauen in einer gemeinsam hinter die Fassade und zeigen im Dialog auf, was genau im ZFS-Paket steckt und wie man es praktisch zum Einsatz bringen könnte.
Denis Ahrens
Tim Pritlove
Max Merz
Shownotes
Shownotes
- Intro
- CRE Intro
- Begrüßung
- Livestream
Denis Ahrens
- Einstieg
ZFS
FFS, UFS
HFS
XFS
Jeff Bonwick
Sun
Solaris
OpenSolaris
Sun wirbt mit “the last word in filesystems”
- Anspruch von ZFS
- Speicherverwaltung
Festplatte
Dateisystem
- "Tatsächlich ist die Liste an Anforderungen, die man an Filesysteme hat, relativ lang." (Tim) "Länger als man denkt eigentlich." (Denis)
- Geschichte
Betriebssystem
FAT
MS-DOS
USB-Stick
8.3
- Länge der Dateinamen
Unix
.htm
File Type Extensions
BSD
Apple
HFS+
Mac OS 8.1
NTFS
- Ur-Filesystem von Unix
Linux
ext3
POSIX-Standard
Unicode
SGI
- Entwicklungsgeschichte von ZFS
- ZFS Versionsnummer
Abwärtskompatibilität
- ZFS hatte wohl noch nie einen Fehler in der internen Datenstruktur
Continuous Testing
ztest
ReiserFS
- ZFS Adressraum
- Großkunden von Sun werden an die 64bit-Grenze stoßen
- Bestehende Dateisysteme umzuschreiben lohnt sich nicht
- ZFS Datenintegrität
SATA
Firewire
USB
Prüfsummen
Block
- silent errors
MPEG
Buttle-Tuttle-Konfusion
- Variable Blockgröße
Blockdevice
LVM
RAID
Mirror (RAID 1)
RAID 5
RAID-Z
Redundanz
Rampant Layering Violation?
Andrew Morton
Resilvering
- ZFS Storage Pools
ZPool
- ZFS kann man mit Dateien (statt Festplatten) testen
RAID 0 (Striping)
- Festplatten können zur Laufzeit dynamisch hinzugefügt werden
- In Zukunft: Ersatzblöcke freihalten zum Ausweichen
- Beispielsetup
- Pools haben Namen (z.B. “tank”)
Mounten
- ZFS Dateisystem-Verwaltung
- ZFS Quota
Disk Quota
- ZFS Reservation
- Neue Denkweise mit ZFS
- Früher: am Anfang Filesystem-Größen festlegen
/var, /temp
- Mit ZFS: Filesystem-Größe ändert sich dynamisch
- ZFS Lightweight Filesystem Creation
mkdir
- ZFS Filesystem Properties
- Accesstime
- Properties werden vererbt
- Filesysteme werden im Pool erstellt wie Ordner im Filesystem
- ZFS Verschlüsselung
- Schlüsselmanagement
On-Disk-Format
- ZFS Komprimierung
MP3
Lossless-Komprimierung
FLAC
LZJB
Lempel-Ziv-Markow-Algorithmus
Lzip
LZO
- Jeff Bonwick
gzip
- "ZFS ist eigentlich sowieso einzeln betrachtet nichts neues. […] Aber das alles in einen Topf zu packen und als Einheit wirken zu lassen, das gibt es noch nicht." (Denis)
Amiga
- Rampant Layering Violation
- Vergleich von ZFS zu FreeBSDs GEOM
FreeBSD
GEOM
Eierlegende Wollmilchsau
- "ZFS ist eigentlich ein Scheißname." (Tim) "Weil es ist halt nicht nur ein Filesystem." (Denis)
Elevator Algorithmus
- ZFS Snapshots
Snapshot
- Beispiel mit Mails
- Copy on Write
Überblock (0x00bab10c)
Bold Move
- Die Shownotes werden erwähnt. Hallo!
Chaosradio
CRE (früher “Chaosradio Express”)
- Zugriff auf Snapshots
- .zfs Ordner
ls
cd
- alle Operationen am Dateibaum sind grundsätzlich atomar
Atomare Operation
- ZFS Intent Log (ZIL)
PostgreSQL
WAL
Transaktionen
Intent Log
- Inkrementelle Backups
Snapshots verschicken
- zfs send
- zfs receive
- Nachteile von ZFS
- Geschwindigkeit
- ZFS unter FreeBSD
Pawel Jakub Dawidek
- Denis erzählt von seinem Backup-Setup
- ZFS ist sehr speicher- und CPU-hungrig
Logfiles
- Jeder Rechner hat sein eigenes ZFS Filesystem
rsync
- stündliche Backups für eine Woche
FreeBSD 7.0
- Danke an Pawel Jakub Dawidek
ZFS on FUSE
FUSE
CDDL
SSH
FTP
SSHFS
Mozilla Public License
Allwissende Müllhalde
GPL
BSD-Lizenz
FreeBSD
- Die Durchschlagskraft von ZFS
Hans Reiser
- ZFS unter Mac OS X
Apple Looking at ZFS for Mac OS X
Mac OS 10.5 Leopard
- ZFS nur read-only
Case Insensitivity
Kernel Extension
- Denis geht davon aus, dass ZFS dann in 10.5.1 nachgeliefert wird
Mac OS X 10.6
- ZFS um Daten zwischen Betriebssystemen auszutauschen
Apple Partition Map
GUID Partition Table
UEFI
WinFS
- Metadaten
- User Properties für Filesysteme
Extended File Attributes
BFS
Practical File System Design with BFS
BeOS
Spotlight
- RAIDs
Parität
RAID 6
Hot-Spare-Laufwerk
- “Plattenmonkeys” (Denis)
- Abschluss
- Snapshots wiederherstellen
- Livestream ist auf halber Strecke gescheitert
- Kommentaraufruf
- Verabschiedung
- CRE Outro
Pingback: Open Source Storage mit Stil – freeBSD, ZFS, Shellaccess & exzellentes Frontend | .:: querzone
Pingback: MM002 Pwnage | mobileMacs
Ihr redet irgendwann von einem Beetle – Battle (Tattl – Battl?) Problem oder so ähnlich. Was ist das und wo findet man da Infos zu? Danke!
Die Buttle-Tuttle-Konfusion ist das alles auslösende Moment im Film Brazil: http://de.wikipedia.org/wiki/Brazil
Vielen Dank! Wird gleich mal in die 2watch Liste aufgenommen.
Ein sehr interessanter Podcast zu ZFS! Danke
Ich möchte mir ein NAS System bauen und habe mich gefragt, welches Dateisystem das sicherste bzw beste ist.
Ist 2012 das ZFS noch das sicherste/beste Dateisystem? Oder gibt es bessere Alternativen?
Vielen Dank
MFG
Til
Hi,
wenn dein NAS-System auf einen *BSD basieren soll ist ZFS sicherlich
„The way to go“
Wenn es eine Linux Kiste sein soll gibt es wohl Möglichkeiten ZFS darauf
einzusetzen.
http://wiki.gentoo.org/wiki/ZFS
aber ohne etwas Bastelei wird das nicht möglich sein.
Dann wäre da noch BTRFS,
http://en.wikipedia.org/wiki/Btrfs
ein Filesystem für Linux das ähnliche Features wie ZFS implementiert hat, im Moment aber noch nicht in einer entgültigen, stabilen Version vorliegt und daher eher ungeeignet für den produktiven Einsatz ist.
Ich würde daher bei einer Linux Kiste zu ext3/ext4 oder einem anderen gut „abgehangenes“ FS tendieren, oder, falls die
Features von ZFS zwingend sind, eben dieses nach ausgiebigen Tests.
Pingback: Verschlüsseltes NAS selber aufsetzen (Ubuntu, LUKS, ZFS, RAID) | undkonsortenBlog
Hei Tim!
Frage: Wäre es mal möglich, diesen Podcast zu „revisitieren“? Vielleicht etwas weiter gefasst, als „ZFS und seine Alternativen“ oder „top Filesysteme 2013 und wohin die Reise geht“?
Die Übernahme von Sun durch die Orakelfirma hat ja doch gut 2/3 der Links entwertet, OpenSolaris ist verschrottet, die Orakelfirma gluckt und brütet auf ihren ZFS-Patenten…
Servus, Peter
+1
+1
+1
+1
++1
+1
+1
+1
+1
Wir nehmen derzeit omnios als nas system.
Stabil und performant, kann ich nur empfehlen.
Dann gibt es als WebOberfläche dieses napp-it.
Ist wohl für iscsi sehr nützlich.
Sacht mal, lohnt sich es noch, den hier zu hören, oder wurde da inzwischen so viel verändert, dass man eher nur Falsches lernt?
Lohnt sich definitiv! Die Grundkonzepte haben sich nicht geändert, es ging hier ja nicht um Implementierungsdetails, wenn ich mich recht erinnere. Natürlich fehlen die Neuigkeiten zu OpenZFS, aber sonst.. tolle Sendung!
Ich hoffe es kommt bald wieder so ein Thema :)
*mehr technik*
*mehr technik*
:D
Ich wurde gerade an die Sendung erinnert – es wird Zeit für ein Update!
Dennis, Tim bitte macht ein Update zum Thema!
Es hat sich verdammt viel getan in den letzten Jahren – vielleicht auch ein zweiter Gast der was zu Linux und btrfs sagen kann?
Ich würde mich freuen :-)
Oh ja! Es wäre sooo toll, wenn es hier weitergehen würde.
Und es gibt noch so viele tolle Themen: openstack, Perl6, KDE5, systemd, Lumina, wayland… *seufz*
Update wäre Klasse!
Auch eine Neubetrachtung mit ButterFS (BTRFS) und Backupstrategien für den Privathaushalt (Timecapsule/NAS/Synology)
BTRFS/ZFS/OS X
Wie einige hier schon geschrieben haben, das Thema ZFS und auch FreeBSD könnte nochmals aufgelegt werden
bin mittlerweile auch dabei mir HW für ZFS NAS zusammenzustellen und hab auf der metaebene danach gesucht weil ich mich dunkel an diese Folge erinnerte..
Mein Plan ist Proxmox mit einem raid-z2 pool mit 6 Platten und SMB Freigabe direkt auf dem Host… Es gibt bereits ein Proxmox Backup Server (Software Lösung meine ich damit) und es ist open source.