Nur neuesten Snapshot finden und auf 2. Platte kopieren?

[Michael Hagedorn]

Hi.
Ich habe einen kleinen Server, der mit ZFS-Dateisystemen ausgestattet
ist. Dazu nutze ich zfs-auto-snapshot, um regelmäßig Snapshots erstellen
zu lassen. In dem Server hängt eine zweite Platte, die als Backup
gedacht ist. Dorthin würde ich gerne per Script die neuesten Snapshots
automatisch kopieren lassen (den Rest regelt ZFS dann selbst).

Meine Idee dazu war:

zfs list -r -t snapshot -o name

liefert eine Liste wie diese:

rpool/vm-901-disk-***@zfs-auto-snap_daily-2019-09-25-0425
rpool/vm-901-disk-***@zfs-auto-snap_daily-2019-09-26-0425
rpool/vm-901-disk-***@zfs-auto-snap_daily-2019-09-27-0425
.
rpool/vm-902-disk-***@zfs-auto-snap_daily-2019-09-25-0425
rpool/vm-902-disk-***@zfs-auto-snap_daily-2019-09-26-0425
rpool/vm-902-disk-***@zfs-auto-snap_daily-2019-09-27-0425

Da wurde also täglich ein Snapshot von den hier dargestellten zwei virt
HDDs erstellt. Ich benötige aber für das Senden zum zweiten ZFS-Pool
*nur* den Namen des neuesten; in diesem Fall also den vom 27.09.
Eigentlich hatte ich gehofft, dass das mit zfs-Bordmitteln geht -- finde
aber bisher nichts.

Eine Alternative mit awk, die hier aus der Gruppe stammt, war:
zfs list -t snapshot -o name |
awk -F- '{if(m[$3]<$0)m[$3]=$0;}
END {for(x in m){print x " " m[x];}}'

aber das funktioniert auch nicht, da es nur von der letzten Datei die
letzte Fassung ausspuckt. Hat jemand eine gute Idee, wie ich von allen
VMs jeweils nur den letzten Snapshot ausspucken lassen kann? Danach
ginge es dann weiter mit:
zfs send -Rv
rpool/data/vm-902-disk-***@zfs-auto-snap_daily-2019-neuester-Zeitstempel|
zfs receive -Fdus tank
... das funktioniert einwandfrei.

Danke für einen guten Tipp.
Michael

[Ulli Horlacher]

Post by Michael Hagedorn
zfs list -r -t snapshot -o name
.
Da wurde also täglich ein Snapshot von den hier dargestellten zwei virt
HDDs erstellt. Ich benötige aber für das Senden zum zweiten ZFS-Pool
*nur* den Namen des neuesten; in diesem Fall also den vom 27.09.
Eigentlich hatte ich gehofft, dass das mit zfs-Bordmitteln geht -- finde
aber bisher nichts.
letzte Fassung ausspuckt. Hat jemand eine gute Idee, wie ich von allen
VMs jeweils nur den letzten Snapshot ausspucken lassen kann? Danach
zfs send -Rv
zfs receive -Fdus tank
... das funktioniert einwandfrei.

Brauchst du also NUR
rpool/vm-902-disk-***@zfs-auto-snap_daily-2019-09-27-0425
?
Das ist doch trivial:

zfs list -r -t snapshot -o name | tail -1

[Michael Hagedorn]

Hi

Post by Ulli Horlacher
Brauchst du also NUR

Das wäre ja zu einfach -- aber ich brauche das natürlich von JEDER VM ...

Ich denke übrigens, dass ich mit zfs-backup von hier
https://github.com/adaugherity/zfs-backup
viel einfacher ans Ziel komme ...

Michael

[Rupert Haselbeck]

Post by Michael Hagedorn
Hi

Post by Ulli Horlacher
Brauchst du also NUR

Das wäre ja zu einfach -- aber ich brauche das natürlich von JEDER VM ...

Dann macht man halt sowas (ungeprüft):

| for i in vm-902-disk-0 vm-901-disk-1
| do
| zfs list -r -t snapshot -o name | grep "${i}" | tail -1
| done

Post by Michael Hagedorn
Ich denke übrigens, dass ich mit zfs-backup von hier
https://github.com/adaugherity/zfs-backup
viel einfacher ans Ziel komme ...

Tja. Die Qual der Wahl...

MfG
Rupert

[Urs Janßen]

Post by Michael Hagedorn
Das wäre ja zu einfach -- aber ich brauche das natürlich von JEDER VM ...

untested, kein zfs hier
zfs list -r -t snapshot -o name |\
awk -F@ '/rpool/{h[$1]=$2}END{for(i in h)print i":"h[i]}'

evtl. nooch mit sort in der pipe

urs

[Michael Hagedorn]

Super, danke! -- der Befehl spuckt fast das richtige aus. Es tauchen
noch ein paar Snapshots zuviel auf:

rpool/data:zfs-auto-snap_daily-2019-09-29-0425
rpool/ROOT/pve-1:zfs-auto-snap_daily-2019-09-29-0425
rpool/ROOT:zfs-auto-snap_daily-2019-09-29-0425
rpool:zfs-auto-snap_daily-2019-09-29-0425

Kann man die noch herausfiltern?
Schönen Gruß,
Michael

[Urs Janßen]

^^^^^pattern

Post by Michael Hagedorn
rpool/data:zfs-auto-snap_daily-2019-09-29-0425
rpool/ROOT/pve-1:zfs-auto-snap_daily-2019-09-29-0425
rpool/ROOT:zfs-auto-snap_daily-2019-09-29-0425
rpool:zfs-auto-snap_daily-2019-09-29-0425
Kann man die noch herausfiltern?

pattern anpassen?
awk -F@ '/rpool\/vm/{h[$1]=$2}END{for(i in h)print i":"h[i]}'

[Michael Hagedorn]

Hi.

Post by Urs Janßen
pattern anpassen?

Ok!

So klappt's (ist vielleicht nicht super elegant -- aber "works for me"):
Danke!



#!/bin/bash

for i in $(zfs list -r -t snapshot -o name | awk -F@
'/vm-/{h[$1]=$2}END{for(i in h)print i"@"h[i]}'|sort |grep rpool );
do
echo $i
zfs send -Rv $i | zfs receive -Fdus tank
done

[Ulli Horlacher]

Post by Michael Hagedorn
Hi

Post by Ulli Horlacher
Brauchst du also NUR

Das wäre ja zu einfach -- aber ich brauche das natürlich von JEDER VM ...

Also so was?

***@juhu:/tmp: zz
rpool/vm-901-disk-***@zfs-auto-snap_daily-2019-09-25-0425
rpool/vm-901-disk-***@zfs-auto-snap_daily-2019-09-26-0425
rpool/vm-901-disk-***@zfs-auto-snap_daily-2019-09-27-0425
.
rpool/vm-902-disk-***@zfs-auto-snap_daily-2019-09-25-0425
rpool/vm-902-disk-***@zfs-auto-snap_daily-2019-09-26-0425
rpool/vm-902-disk-***@zfs-auto-snap_daily-2019-09-27-0425

***@juhu:/tmp: zz | perl lastss.pl
rpool/vm-901-disk-***@zfs-auto-snap_daily-2019-09-27-0425
rpool/vm-902-disk-***@zfs-auto-snap_daily-2019-09-27-0425

***@juhu:/tmp: cat lastss.pl
#!/usr/bin/perl -w

$last = 0;
while (<>) {
if (/zfs-auto-snap_daily-(.+)/) {
$last = $1 if $1 gt $last;
push @ss,$_;
}
}
print grep /$last/,@ss if $last;

[Michael Hagedorn]

Hi

Post by Ulli Horlacher
Also so was?

Genau so! :)
Mit perl geht's natürlich auch. Jetzt hab' ich die Qual der Wahl

Michael

[Jan Novak]

Post by Michael Hagedorn
Hi.
Ich habe einen kleinen Server, der mit ZFS-Dateisystemen ausgestattet
ist. Dazu nutze ich zfs-auto-snapshot, um regelmäßig Snapshots erstellen
zu lassen. In dem Server hängt eine zweite Platte, die als Backup
gedacht ist. Dorthin würde ich gerne per Script die neuesten Snapshots
automatisch kopieren lassen (den Rest regelt ZFS dann selbst).

Ichnutze auf beiden Seiten (falls es über mehrere Server geht) sanoid -
das macht "alles"

Jan