staging.inyokaproject.org

rsync: Broken pipe

Status: Gelöst | Ubuntu-Version: Server 14.04 (Trusty Tahr)
Antworten |

bugblatterbeast

Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Hallo,

ich habe leider sehr häufig Abbrüche bei meiner täglichen rsync-Übertragung auf ein Strato HiDrive.

Folgende Fehlermeldung tritt dabei am Häufigsten auf:

Write failed: Broken pipe

rsync: [sender] write error: Broken pipe (32)
rsync error: unexplained error (code 255) at io.c(837) [sender=3.1.0]

etwas seltener kommt es zu dieser Fehlermeldung:

Write failed: Broken pipe
rsync: connection unexpectedly closed (11152736 bytes received so far) [sender]
rsync error: unexplained error (code 255) at io.c(226) [sender=3.1.0]
upload backup finished

Hin und wieder kommt es scheinbar willkürlich zu anderen Fehlermeldungen, die sich auf bestimmte Dateien beziehen und manchmal klappt auch alles problemlos. Es gibt sowieso verschiedene Sicherungen und wenn die Übertragung meistens klappt hin und wieder mal fehlschlägt, ist das kein Grund zur Panik. Im Moment ist es aber so, dass es hin und wieder mal klappt und meistens fehlschlägt.

Dies ist der rsync-Aufruf:

1
/usr/bin/rsync -azP -e 'ssh -i /root/.ssh/public_hidrive' --hard-links --recursive --delete /backup/ username@rsync.hidrive.strato.com:/users/username > /dev/null

Ich habe die Hoffnung, dass das Problem einfach nur an den Provider-Trennungen unses lokalen Zuganges liegt, die ungefähr in den Zeitraum der Übertragung fallen und suche zunächst nach einem Weg, die Übertragung etwas robuster zu machen, damit ein Verbindungsverlust nicht gleich zu einem Abbruch führt. Ich habe mich noch nicht so eingehend mit rsync beschäftigt und bin für alle Ratschläge dankbar.

Gruß, bbb

u1000

Anmeldungsdatum:
2. Oktober 2011

Beiträge: 1850

bugblatterbeast schrieb:

Ich habe die Hoffnung, dass das Problem einfach nur an den Provider-Trennungen unses lokalen Zuganges liegt

Ändert sich deine IP, droppt die ssh Verbindung zu Strato - da kann man erstmal nichts machen.

Meine Erfahrung mit Strato: deren Server lief stabil, meine alte Fritzbox hatte jedoch das Bedürfniss alle paar Stunden DSL zu trennen. Eine andere Firmware/andere Fritzbox hat das Problem bei mir gelöst: nur noch eine Zwangs-Trennung pro Tag.

Was du machen kannst:

  • baue in dein Backupscript eine Log Zeile von deiner öffentlichen IPv4 ein, vor dem rsync.

  • baue in dein Backupscript eine Schleife ein: du wertest den Rsync return code aus, bei nicht ok machst du erneut ein rsync, erst bei "ok" beendest du das Script.

Viele Grüße u1000

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Hallo u1000,

vielen Dank für Deinen Hinweis. Das mit dem loggen der IP-Adresse wäre schon schön, ist aber leider nicht so einfach möglich, weil das Backup nicht vom Gateway aus geht. Ich habe die WAN-IP also nicht so einfach zur Verfügung. Ich habe mein Skript jetzt folgendermaßen umgeschrieben:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
#!/bin/bash

/usr/bin/rsync -azP -e 'ssh -i /root/.ssh/public_hidrive' --hard-links --recursive --delete /backup/ username@rsync.hidrive.strato.com:/users/username > /dev/null
result=$?
while [[ result -ne 0 ]]
do
  echo trying again...
  /usr/bin/rsync -azP -e 'ssh -i /root/.ssh/public_hidrive' --hard-links --recursive --delete /backup/ username@rsync.hidrive.strato.com:/users/username > /dev/null
  result=$?
done

So sehe ich zumindest, ob ein zweiter oder dritter Anlauf notwendig war. Ich muss das Ganze jetzt natürlich erst mal ein paar Tage laufen lassen, bevor ich diesen Thread als gelöst markieren kann.

Danke und Gruß, bbb

u1000

Anmeldungsdatum:
2. Oktober 2011

Beiträge: 1850

bugblatterbeast schrieb:

vielen Dank für Deinen Hinweis. Das mit dem loggen der IP-Adresse wäre schon schön, ist aber leider nicht so einfach möglich, weil das Backup nicht vom Gateway aus geht. Ich habe die WAN-IP also nicht so einfach zur Verfügung.

$ wget checkip.dyndns.org -O- 2>/dev/null | egrep IP 
<html><head><title>Current IP Check</title></head><body>Current IP Address: 94.220.xxx.xxx</body></html>

ggf. den Output per html2text noch vom HTML säubern ☺ (Das ganze geht natürlich bestimmt noch eleganter)

Ich habe mein Skript jetzt folgendermaßen umgeschrieben:

Meins sah etwa so aus, damit brauchst du die rsync Zeile nur 1x:

status_rsync=1
while [ ! "$status_rsync" = "0" ]
do
	wget ... # zum Ausgeben der IP
	rsync ...
	status_rsync="$?"
	print "rsync status:\t$status_rsync"
done

(Auch dies geht natürlich bestimmt noch eleganter)

Das funktionierte so bei mir sehr gut und lief bis rsync fehlerfrei war.

Viele Grüße u1000

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Hallo noch einmal,

ich habe das Ganze jetzt für eine Weile beobachtet und es funkioniert jetzt so, wie ich es mir gewünscht habe. Die zuvor beschriebenen Probleme lagen tatsächlich an der Trennung durch den Provider. In der jetzigen Version meiner Backup-Routine habe ich nun doch auch eine Protokollierung der WAN-IP-Adresse eingebaut. Anstatt den IP-Check von DynDNS zu verwenden, habe ich mich jedoch entschieden, ein eigenes kleines php-Skript auf unseren Server zu installieren (auf diese naheliegende Idee war ich gar nicht gekommen).

1
2
3
<?php
echo $_SERVER['REMOTE_ADDR'] . "\n";
?>

Der eigentliche Ablauf ist jetzt folgendermaßen: 1. rsnapshot macht ein inkrementelles Backup (sowohl vom lokalen File-Server als auch vom entfernten Web-Server) auf einer dafür vorgesehenen lokalen Festplatte 2. rsync synchronisiert einen entfernten Server ("Hidrive") und einen lokalen NAS ("Diskstation") mit der lokalen Backup-Festplatte

Dabei könnte folgendes Problem auftreten: Wenn die lokale Backup-Festplatte ausfällt oder durch eine Fehlbenutzung gelöscht wird, würde der Aufruf von rsync dazu führen, dass bei der Synchronisation auch die Daten auf dem Hidrive und der Diskstation gelöscht werden. Das muss in jedem Fall vermieden werden.

Ich habe mich jetzt dazu entschieden, nach jedem Backup die Statusinformationen des Backup-Laufwerkes zu speichern und vor der nächsten Ausführung zu prüfen, ob das Laufwerk unverändert ist. Wird eine Veränderung der Statusinformationen festgestellt, wird die Synchronisation nicht durchgeführt und der Administrator erhält die Information, dass eine manuelle Überprüfung erforderlich ist. Das Skript wird als Cron-Job ausgeführt. Stdout geht automatisch als Email zum Administrator.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
#!/bin/bash

# aktuelle Statusinformationen des Backup-Laufwerks in Datei speichern
df | grep /backup1 > /var/log/backup_drive2.txt
less /var/log/backup_drive2.txt
date

# rsnapshot starten
echo starting daily snapshot...
echo local:
rsnapshot daily
date
echo remote:
rsnapshot -c /root/server.conf daily
date
day=$(date +%u)
if [ "$day" = "6" ]; then
  echo starting weekly snapshot...
  echo local:
  rsnapshot weekly
  date
  echo remote:
  rsnapshot -c /root/server.conf weekly
  date
fi
day=$(date +%d)
if [ "$day" = "01" ]; then
  echo starting monthly snapshot...
  echo local:
  rsnapshot monthly
  date
  echo remote:
  rsnapshot -c /root/server.conf monthly
  date
fi

# Der absolute Super-GAU waere, wenn die Daten auf der BackUp-Festplatte versehentlich geloescht werden
# und rsync trotzdem die Synchronisation startet. Vor dem Start von rsync wird daher kontrolliert, ob
# sich die Groesse der Backup-Festplatte seit dem letzten Backup veraendert hat.
if [ "$(</var/log/backup_drive.txt)" = "$(</var/log/backup_drive2.txt)" ]; then
  # Keine Veraenderungen an der Festplatte
  # Uebertragung der Daten kann stattfinden


  echo starting upload
  # backup auf hidrive schreiben:
  # Backup-Leitung verwenden
  /sbin/route add rsync.hidrive.strato.com gateway 192.168.2.1 metric 1
  result=1
  while [[ result -ne 0 ]]
  do
    # IP-Adresse ausgeben
    /sbin/route add my.homepage gateway 192.168.2.1 metric 1
    echo WAN-IP:
    wget http://my.homepage/get_ip.php -O- 2>/dev/null
    /sbin/route del my.homepage
    # Backup starten
    /usr/bin/rsync -azP -e 'ssh -i /root/.ssh/public_hidrive' --hard-links --recursive --delete /backup1/ username@rsync.hidrive.strato.com:/users/username > /dev/null
    result=$?
  done
  /sbin/route del rsync.hidrive.strato.com
  echo upload backup finished
  date


  echo starting local backup
  # lokales backup auf diskstation schreiben:
  /sbin/route add diskstation gateway 192.168.0.252 metric 1
  /usr/bin/rsync -azP -e 'ssh -i /root/.ssh/diskstation' --hard-links --recursive --delete /backup1/ root@diskstation:/volume1/public/backup > /dev/null
  /sbin/route del diskstation
  echo local backup finished
  date


  df | grep /backup1 > /var/log/backup_drive.txt
  less /var/log/backup_drive.txt
else
  # Die Groesse der Festplatte hat sich seit dem letzten Durchlauf des Backups veraendert.
  # Ein Datenverlust kann nicht ausgeschlossen werden.
  # Festplatte muss manuell geprueft werden. Uebertragung findet nicht statt.
  echo FATAL ERROR: unexpected volume size
  echo expected:
  less /var/log/backup_drive.txt
  echo actual size:
  less /var/log/backup_drive2.txt
  echo backup aborted!!!
fi

echo start cleaning up
/root/bin/cleanup.sh
echo finished
date

Vielleich hilft dieses Skript ja dem ein oder anderen von Euch. Ich würde mich auch weiterhin sehr über Verbesserungsvorschläge freuen. Der eigentliche Thread ist jedoch hiermit erledigt.

Vielen Dank und Gruß, bbb

Antworten |