staging.inyokaproject.org

automatisierte Backups mit rsync laufen nicht

Status: Gelöst | Ubuntu-Version: Kubuntu 16.04 (Xenial Xerus)
Antworten |

Killerkaninchen

Avatar von Killerkaninchen

Anmeldungsdatum:
19. März 2009

Beiträge: 282

Hallo zusammen

Ich habe folgendes Problem: Ich möchte mittels "rsync" und "udev" automatisiert Sicherungen anlegen. Das Skript habe ich aus dem Wiki. Ich habe es nur ein wenig angepasst (s.u.). Diese Variante habe ich gewählt, da sie simpel ist und für mich daher verständlich, was geschieht.

Für das Automatische Backup habe ich dann /media/USB_Backup und die Datei /etc/udev/rules.d/backup.rules mit diesem Inhalt erstellt:

# USB-Festplatte für Backups
KERNEL=="sd?1", SUBSYSTEMS=="usb", ATTRS{idVendor}=="1234", ATTRS{idProduct}=="5678", SYMLINK+="usbbackup", ACTION=="add", RUN+="/usr/local/bin/usbbackup.sh"

Die Rechte des Backupskriptes habe ich zum Schluss zu Testzwecken wie folgt gesetzt:

-rwxrwxrwx  1 killerkaninchen killerkaninchen  417 Aug 17 23:06 usbbackup.sh

...und der Inhalt ist schlicht und ergreifend folgender:

#!/bin/sh

quelle=/home/killerkaninchen/
ziel=/media/USB_Backup/
heute=$(date +%Y-%m-%d)

/bin/mount /dev/usbbackup /media/USB_Backup
/usr/bin/rsync -avR --delete --exclude-from=backupausschluss.txt "${quelle}"  "${ziel}${heute}/" --link-dest="${ziel}last/"
/bin/ln -nsf "${ziel}${heute}" "${ziel}last"
/usr/bin/kdialog --msgbox 'Sicherung des Home-Verzeichnisses beendet!'

exit 0

Nach dem Einstecken der USB-Festplatte wird diese korrekt eingebunden. Dann wird allerdings direkt der Link /media/USB_Backup/last erzeugt. Das heißt, die Befehle "mount" und "ln" werden abgearbeitet und "rsync" ausgelassen. Stoße ich das Backup-Skript nach dem Einbinden der Festplatte manuell an, arbeitet es wie es soll.

Eine Suche hat nur ergeben, dass es mit den Parametern zu "rsync" im Skript zu tun haben könnte. Wenn dies der Fall ist, wie müsste dann die Zeile aussehen, bei gleichem Ergebnis, aussehen?

Vielen Dank im Voraus

Killerkaninchen

Lookbehind

Avatar von Lookbehind

Anmeldungsdatum:
28. Januar 2010

Beiträge: 1070

Ohne das jetzt genauer nachvollzogen zu haben: Ich tippe auf den Klassiker mit den Umgebungsvariablen.

Rufst du dein Script von Hand auf sind Umgebungsvariablen wie das aktuelle Verzeichnis entsprechend gesetzt und funktionieren auch im Script wie sie sollen. Wird es von der Automatik gestartet, sind diese Umgebungsvariablen entweder gar nicht gesetzt, oder enthalten einen anderen Inhalt. Wenn du dann Elemente in deinem Script hast, die auf korrekt gesetzte Umgebungsvariablen angewiesen sind, fliegt dir das um die Ohren.

In deinem Script fällt diesbezüglich die Exclude-Datei auf. Setz die mal mit absolutem Pfad ein und prüfe dann nochmal.

Killerkaninchen

(Themenstarter)
Avatar von Killerkaninchen

Anmeldungsdatum:
19. März 2009

Beiträge: 282

Ich dachte die absoluten Pfade beziehen sich nur auf Programme und ähnliches. Habe das mal geändert. Das Einbinden hat sehr lange gedauert (1Minute?). Hatte vorher eine andere USB-Festplatte dran - vielleicht hat es damit was zu tun. Es scheint auf jeden Fall trotzdem zu funktionieren.

Ich melde mich, wenn ich was genaues weiß...

Syslog:

Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.492795] usb 4-3: new SuperSpeed USB device number 2 using xhci_hcd
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.509599] usb 4-3: New USB device found, idVendor=1234, idProduct=5678
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.509602] usb 4-3: New USB device strings: Mfr=2, Product=3, SerialNumber=1
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.509604] usb 4-3: Product: USB 3.0 device
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.509605] usb 4-3: Manufacturer: Intenso
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.509606] usb 4-3: SerialNumber: 1234567890
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.511477] scsi host6: uas
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.511831] scsi 6:0:0:0: Direct-Access     Intenso  USB 3.0 device   0    PQ: 0 ANSI: 6
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.512273] sd 6:0:0:0: Attached scsi generic sg4 type 0
Aug 18 15:32:43 killerkaninchen-desktop kernel: [ 3749.512360] sd 6:0:0:0: [sdd] Spinning up disk...
Aug 18 15:32:43 killerkaninchen-desktop mtp-probe: checking bus 4, device 2: "/sys/devices/pci0000:00/0000:00:14.0/usb4/4-3"
Aug 18 15:32:43 killerkaninchen-desktop mtp-probe: bus: 4, device: 2 was not an MTP device
Aug 18 15:32:49 killerkaninchen-desktop kernel: [ 3750.512782] ......ready
Aug 18 15:32:49 killerkaninchen-desktop kernel: [ 3755.534286] sd 6:0:0:0: [sdd] 244190646 4096-byte logical blocks: (1.00 TB/932 GiB)
Aug 18 15:32:49 killerkaninchen-desktop kernel: [ 3755.534724] sd 6:0:0:0: [sdd] Write Protect is off
Aug 18 15:32:49 killerkaninchen-desktop kernel: [ 3755.534729] sd 6:0:0:0: [sdd] Mode Sense: 43 00 00 00
Aug 18 15:32:49 killerkaninchen-desktop kernel: [ 3755.534884] sd 6:0:0:0: [sdd] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
Aug 18 15:32:49 killerkaninchen-desktop kernel: [ 3755.553275]  sdd: sdd1
Aug 18 15:32:49 killerkaninchen-desktop kernel: [ 3755.554321] sd 6:0:0:0: [sdd] Attached SCSI disk
Aug 18 15:32:50 killerkaninchen-desktop kernel: [ 3756.076381] EXT4-fs (sdd1): mounted filesystem with ordered data mode. Opts: (null)
Aug 18 15:33:50 killerkaninchen-desktop systemd-udevd[1074]: seq 3213 '/devices/pci0000:00/0000:00:14.0/usb4/4-3/4-3:1.0/host6/target6:0:0/6:0:0:0/block/sdd/sdd1' is taking a long time
Aug 18 15:34:16 killerkaninchen-desktop org.kde.KScreen[4375]: kscreen: Primary output changed from KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" ) to KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" )
Aug 18 15:34:36 killerkaninchen-desktop org.kde.KScreen[4375]: message repeated 15 times: [ kscreen: Primary output changed from KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" ) to KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" )]
Aug 18 15:35:50 killerkaninchen-desktop systemd-udevd[1074]: seq 3213 '/devices/pci0000:00/0000:00:14.0/usb4/4-3/4-3:1.0/host6/target6:0:0/6:0:0:0/block/sdd/sdd1' killed
Aug 18 15:35:50 killerkaninchen-desktop systemd-udevd[1074]: worker [5522] terminated by signal 9 (Killed)
Aug 18 15:35:50 killerkaninchen-desktop systemd-udevd[1074]: worker [5522] failed while handling '/devices/pci0000:00/0000:00:14.0/usb4/4-3/4-3:1.0/host6/target6:0:0/6:0:0:0/block/sdd/sdd1'
Aug 18 15:36:15 killerkaninchen-desktop org.kde.KScreen[4375]: kscreen: Primary output changed from KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" ) to KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" )
Aug 18 15:36:15 killerkaninchen-desktop org.kde.KScreen[4375]: message repeated 7 times: [ kscreen: Primary output changed from KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" ) to KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" )]
Aug 18 15:36:16 killerkaninchen-desktop org.kde.kiod5[4375]: org.kde.kio.kpasswdserver: User = "" , WindowId = 0
Aug 18 15:36:19 killerkaninchen-desktop org.kde.kiod5[4375]: message repeated 2 times: [ org.kde.kio.kpasswdserver: User = "" , WindowId = 0]
Aug 18 15:38:19 killerkaninchen-desktop org.kde.KScreen[4375]: kscreen: Primary output changed from KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" ) to KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" )
Aug 18 15:40:52 killerkaninchen-desktop org.kde.KScreen[4375]: message repeated 31 times: [ kscreen: Primary output changed from KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" ) to KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" )]
Aug 18 15:41:16 killerkaninchen-desktop org.kde.kiod5[4375]: org.kde.kio.kpasswdserver: User = "" , WindowId = 0
Aug 18 15:41:19 killerkaninchen-desktop org.kde.kiod5[4375]: message repeated 2 times: [ org.kde.kio.kpasswdserver: User = "" , WindowId = 0]
Aug 18 15:42:20 killerkaninchen-desktop org.kde.kuiserver[4375]: kuiserver: adding job contact for address:  ":1.26"  objectPath:  "/DataEngine/applicationjobs/JobView_1"
Aug 18 15:42:20 killerkaninchen-desktop org.kde.kuiserver[4375]: kuiserver: making async call of terminate for:  "/DataEngine/applicationjobs/JobView_1"
Aug 18 15:42:20 killerkaninchen-desktop org.kde.kuiserver[4375]: kuiserver: removing jobview from list, it finished
Aug 18 15:42:20 killerkaninchen-desktop org.kde.KScreen[4375]: kscreen: Primary output changed from KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" ) to KScreen::Output(Id: 68 , Name: "HDMI2" ) ( "HDMI2" )

Killerkaninchen

(Themenstarter)
Avatar von Killerkaninchen

Anmeldungsdatum:
19. März 2009

Beiträge: 282

Ich habe auch in dem exclude-Dokument jetzt absolute Pfade angegeben. Aber die Backups bleiben nach einer Weile stehen. Dann tut sich nichts mehr. Das geschieht dann, wenn die USB-Festplatte von KDE eingebunden wird bzw. wenn sie in "zuletzt angeschlossene Geräte" auftaucht. Bis zu dem Zeitpunkt läuft das Backup (die Daten sind auch wirklich auf der Platte zu finden), aber die Platte taucht nicht auf.

Syslog zu dem Zeitpunkt:

4-3/4-3:1.0/host6/target6:0:0/6:0:0:0/block/sde/sde1' killed
Aug 18 17:57:20 killerkaninchen-desktop systemd-udevd[1078]: worker [5959] terminated by signal 9 (Killed)
Aug 18 17:57:20 killerkaninchen-desktop systemd-udevd[1078]: worker [5959] failed while handling '/devices/pci0000:00/0000:00:14.0/usb4/4-3/4-3:1.0/host6/target6:0:0/6:0:0:0/block/sde/sde1'
Aug 18 17:57:20 killerkaninchen-desktop org.kde.kdeconnect[4327]: "/org/freedesktop/UDisks2/block_devices/sde1" has new interfaces: ("org.freedesktop.UDisks2.Block", "org.freedesktop.UDisks2.Filesystem", "org.freedesktop.UDisks2.Partition") 

/dev/sde ist die Festplatte für das Backup.

Bei Bitblokes habe ich unter "Ein Ansatz mit udev" gelesen, dass Befehle / Skripte, die über den Schlüssel "RUN" in udev-Regeln aufgerufen nach einer Weile abgebrochen werden. Dort wird "incron" als Lösung erwähnt. Im Wiki finde ich dazu nichts. Hat damit jemand Erfahrung? Oder liegt das Problem woanders?

Killerkaninchen

(Themenstarter)
Avatar von Killerkaninchen

Anmeldungsdatum:
19. März 2009

Beiträge: 282

Ich habe den Ansatz mit "incron" weiter verfolgt und habe es zum Laufen gebracht! Folgendes habe ich dafür gemacht - ausführlich geschildert für mich zum Nachhalten und wer auch immer das brauchen kann:

Ich habe die Textdatei /media/incronevent.txt mit beliebigem Inhalt erstellt. Dann habe ich eine eigene udev-Regel erstellt, die folgendermaßen aussieht:

# USB-Festplatte für Backups
KERNEL=="sd?1", SUBSYSTEMS=="usb", ATTRS{idVendor}=="1234", ATTRS{idProduct}=="5678", SYMLINK+="usbbackup", ACTION=="add", RUN+="/usr/bin/touch /media/incronevent.txt"

Jedesmal wenn die Festplatte angeschlossen wird, verändert "touch" die Attribute der Textdatei incronevent.txt. Diese wird später benötigt, damit incron erfährt, dass die Festplatte angeschlossen wurde. Und natürlich wird durch diese Regel /dev/usbbackup erstellt.

Anschließend habe ich "incron" installiert. Ähnlich wie bei "cron" gibt es auch bei "incron" eine Tabelle, in der festgelegt wird was wann passiert. Damit auch "root" eine eigene incrontab hat, muss man noch in /etc/incron.allow den Nutzer "root" eintragen. (Ich weiß nicht, ob das wirklich notwendig ist, damit das Skript mit root-Rechten läuft.) Danach habe ich die Tabelle wie folgt befüllt:

killerkaninchen@killerkaninchen-desktop:~$ sudo incrontab -e

/media/incronevent.txt IN_ATTRIB /usr/local/bin/usbbackup.sh

Die Zeile besagt, sobald bei der Textdatei die Attribute (durch "touch") verändert werden, wird das angeführte Skript ausgeführt.

/usr/local/bin/usbbackup.sh:

#!/bin/sh

quelle=/home/<USER>/
ziel=/media/USB_Backup/
heute=$(date +%Y-%m-%d)

/bin/mount /dev/usbbackup /media/USB_Backup
/usr/bin/rsync -avR --delete --exclude-from=/home/<USER>/exclude.txt "${quelle}"  "${ziel}${heute}/" --link-dest="${ziel}last/" >> /home/<USER>/rsync.log                            
/bin/ln -nsf "${ziel}${heute}" "${ziel}last"
/bin/umount /media/USB_Backup                                                                                                                                                   

exit 0

Man könnte natürlich noch Benachrichtigungen mittels "zenity", "kdialog" etc. einbauen. Anschließend muss das Skript noch ausführbar gemacht werden.

Bei der Einrichtung dieses Backups habe ich mich an dem Skript aus dem Wiki orientiert und bei der Einrichtung von "incron" war mir ein Artikel aus dem "Linux Magazin" behilflich.

Grüße Killerkaninchen

EDIT: rsync-Option -L hilft auch die per Symlink eingebundene Fotosammlung mit zu kopieren. Außerdem müssen auch im exclude-Dokument alle Pfade absolut angegeben werden.

Antworten |