staging.inyokaproject.org

Backup vom Server auf externe Festplatte automatisieren

Status: Ungelöst | Ubuntu-Version: Ubuntu 11.10 (Oneiric Ocelot)
Antworten |

baumtopf

Anmeldungsdatum:
3. Januar 2011

Beiträge: 191

Hallo Ubuntuusers,

ich würde gerne täglich ein Backup vom Ubuntu 11.10 Server auf eine externe Festplatte erzeugen. Es soll möglich sein, dass irgendein Arbeitskollge täglich, ohne grosses Wissen eine externe Festplatte an den Server an- und ausschliesst. so dass eine externe Festplatte zum Backup immer nachts in der Firma und die andere externe Festplatte Zuhause beim Arbeitskollegen ist und ich die tägliche Backuparbeit abgeben und ich getrost in den Urlaub fahren kann. Dabei muss ich sagen, dass ich jetzt zum ersten Mal etwas mit Shell Script Programmierung zu tun habe. Zu meiner Person, ich bin ein neuer Systemadministrator in einer Firma und mein Vorgänger hat mit folgenden Quellcode zurückgelassen:

2. Vorgänger Administrator Quellcode

#!/bin/bash
touch /data/home/administrator/.backupServername
echo -e "Backing up servername..."
if ! rsync -av --remove-source-files username@servername:/var/backups/tmp/ /data/backups/servername/ ; then
  echo -e "Failed!"
else
  echo -e "Done."
fi
rm /data/home/administrator/.backupServername
exit 0

3. Mein Verständnis über diesen Quellcode Nach meinem Verständnis her, kann ich nur folgendes verstehen:

#!/bin/bash #bash

Console Programm wird verwendet!

touch /data/home/administrator/.backupServername

#Leg eine Datei an mit dem Namen .backupServername, warum er diese Datei anlegt, weiss ich nicht

echo -e "Backing up servername..." 

if ! rsync -av --remove-source-files username@servername:/var/backups/tmp/ /data/backups/servername/ ; then 

hier findet ein Kopiervorgang statt und zwar von username@servername:/var/backups/tmp/ /data/backups/servername/ -a archive mode -v verbosity was diese Optionen -a und -v bedeuten, weiss ich nicht.

--revmove-source-files

, kann ich auch nur raten, ich vermute, dass nachdem der Kopiervorgang abgeschlossen ist, alle temporären Dateien im Verzeichnis username@servername:/var/backups/tmp/ gelöscht werden.

  echo -e "Failed!" 

#gib in der Console aus, dass der Kopiervorgang fehlgeschlagen ist.

else
  echo -e "Done."

#gib in der Console aus, dass der Kopiervorgang abgeschlossen ist.

fi

#beeden if Anweisung

rm /data/home/administrator/.backupServername #lösch die Datei .backupServername im Verzeichnis /data/home/administrator/
exit 0 

#beende Script

4. was ich sonst noch weiss Was ich sonst noch über dieses Script weiss, ist, dass irgendein etwas anderes die Zeit angibt, wann dieses Script ausgelöst werden soll. Irgendwann um 4:00 Uhr morgens. Ich vermute, dass es ein anderes Script ist, dass es auslöst. Kennt jemand eine Möglichkeit, wie ich von meinem aktuellen Script, dass andere Script finde, welches die Zeitangabe enthält?

5. Mein Ziel ist es, das Script um einen weiteren Kopiervorgang zu erweitern und zwar soll auf eine externe Festplatte ein Backup von grösser als 200 GB erzeugt werden. Dazu möchte folgende und funktionierende Commandos in das Script einbauen:

sudo mount -t ntfs-3g /dev/sdf1 /media/einterabytefestplatte
rsync -a /data/backups /media/einterabytefestplatte/

sudo umount /dev/sdf1

Dazu habe ich folgenden Lösungsvorschlag:

#!/bin/bash
touch /data/home/administrator/.backupServername
echo -e "Backing up servername..."
if ! rsync -av --remove-source-files username@servername:/var/backups/tmp/ /data/backups/servername/ ; then
  echo -e "Failed!"
else
  echo -e "Done."
fi

if ! sudo mount -t ntfs-3g /dev/sdf1 /media/einterabytefestplatte ; then
  echo -e "No connection to the external hard disk!"
else
  echo -e "hard disk is ready to use"
fi

if ! rsync -a /data/backups /media/einterabytefestplatte/ ; then
  echo -e "Copy process on external hard disk is failed!"
else
  echo -e "Copy process is successful!"
fi

if ! sudo umount /dev/sdf1 ; then
  echo -e "disconnection does not work"
else
  echo -e "Disconnection is successful"
fi


rm /data/home/administrator/.backupServername
exit 0

Schlussendlich habe ich folgende Fragen: 1. Warum wird diese Datei .backupServername angelegt und warum fängt diese Datei an mit einem Punkt: touch /data/home/administrator/.backupServername 2. Was bedeuten die Optionen -a und -v? 3. Wird durch dieser Befehl --remove-source-files alle Dateien nach dem Kopiervorgang in diesem Verzeichnis username@servername:/var/backups/tmp/temporären gelöscht? 4. gibt es eine Möglichkeit, vom diesem Kopierscript aus, das Script mit der Zeitangabe zu finden? 5. Könnte mein Lösungsvorschlag klappen?

Gruss, Jürgen

Moe_Pad

Avatar von Moe_Pad

Anmeldungsdatum:
25. Mai 2012

Beiträge: 26

Ein Punkt am Anfang einer Datei / eines Ordners bedeutet 'versteckt'. Ich vermute, die Datei wird als eine Art Schreibschutz oder ähnliches verwendet. Solange von einem bestimmten Server ein BackUp gemacht wird, existiert ja diese Datei. Der Schreibprozess prüft nun, ob die Datei vorhanden ist und handelt entsprechend.

Ansonsten kann ich dir leider nicht weiterhelfen. Ist der Vorgänger nicht mehr erreichbar? Das wäre die einfachste und effizienteste Möglichkeit. Sonst wirst um eine längere Google-Session wohl nicht rumkommen 😉

frostschutz

Avatar von frostschutz

Anmeldungsdatum:
18. November 2010

Beiträge: 7795

baumtopf schrieb:

Dabei muss ich sagen, dass ich jetzt zum ersten Mal etwas mit Shell Script Programmierung zu tun

Und da bist du für Backups und Systemadministration zuständig...? Will dich ja nicht kritisieren, aber das ist wie ein Bäcker der noch nie Mehl gesehen hat.

rsync -av --remove-source-files username@servername:/var/backups/tmp/ /data/backups/servername/

Dateien werden von servername:/var/backups/tmp/ (remote) nach /data/backups/servername/ (lokal) verschoben, also auf der Senderseite (remote) dann gelöscht.

was diese Optionen -a und -v bedeuten, weiss ich nicht.

--revmove-source-files

, kann ich auch nur raten, ich vermute, dass nachdem der Kopiervorgang abgeschlossen ist,

Nicht raten, sondern Manpage lesen.

Was ich sonst noch über dieses Script weiss, ist, dass irgendein etwas anderes die Zeit angibt, wann dieses Script ausgelöst werden soll. Irgendwann um 4:00 Uhr morgens. Ich vermute, dass es ein anderes Script ist, dass es auslöst. Kennt jemand eine Möglichkeit, wie ich von meinem aktuellen Script, dass andere Script finde, welches die Zeitangabe enthält?

Für so eine Zeitsteuerung ist üblicherweise cron zuständig, siehe Cron-Jobs, crontab -l, ...

sudo mount -t ntfs-3g /dev/sdf1 /media/einterabytefestplatte

NTFS macht unnötige Probleme, und ist noch dazu recht langsam unter Linux. Lieber ext3 nehmen.

1. Warum wird diese Datei .backupServername angelegt

Läßt sich nicht sagen. Das Script selbst macht nichts damit. Aber es könnte z.B. sein daß der Cronjob so angelegt ist, daß kein zweiter rsync-Prozess gestartet wird während der erste noch läuft. In dem Fall würde es sich um eine Art lock-Datei handeln.

5. Könnte mein Lösungsvorschlag klappen?

Dein Lösungsvorschlag versucht im Moment das rsync auch zu starten selbst wenn die externe Festplatte nicht angeschlossen ist. Wenn das media-Verzeichnis dann trotzdem existiert schreibst du die interne Platte voll...

baumtopf

(Themenstarter)

Anmeldungsdatum:
3. Januar 2011

Beiträge: 191

Hallo zurück!

@Moe Pad

Ein Punkt am Anfang einer Datei / eines Ordners bedeutet 'versteckt'. Ich vermute, die Datei wird als eine Art Schreibschutz oder ähnliches verwendet. Solange von einem bestimmten Server ein BackUp gemacht wird, existiert ja diese Datei. Der Schreibprozess prüft nun, ob die Datei vorhanden ist und handelt entsprechend. Ansonsten kann ich dir leider nicht weiterhelfen. Ist der Vorgänger nicht mehr erreichbar? Das wäre die einfachste und effizienteste Möglichkeit. Sonst wirst um eine längere Google-Session wohl nicht rumkommen 😉

Danke, jetzt weiss ich was dieser Punkt vorne bedeutet! Nein, mein Vorgänger ist nicht erreichbar!

@frostschutz

1. Ergebnis von Man pages:

  • -remove-source-files

This tells rsync to remove from the sending side the files (meaning non-directories) that are a part of the transfer and have been successfully duplicated on the receiving side.

  • meine deutsche Übersetzung bedeutet es, dass auf Sender Seite die Daten gelöscht werden (ausser Verzeichnisse).

Das ist ein Teil vom Kopiervorgang und dass erfolgreich Daten auf der Empfängerseite kopiert worden ist. bedeutet dies, dass mit dieser Option --remove-source-files sichergestellt wird, dass eine Übertragung der Daten erfolgreich stattfinden muss, oder wie soll ich diesen Satz verstehen: "and have been successfully duplicated on the receiving side."?

  • v, --verbose

This option increases the amount of information the daemon logs during its startup phase. After the client connects, the daemon’s verbosity level will be controlled by the options that the client used and the "max verbosity" setting in the module’s config section.

  • nach meiner deutchen Übersetzung bedeutet es, dass diese Option die Menge von Informationen, das Deamon logs während der Startupphase vergrössert.

Nachdem sich der Client verbunden hat, wird der daemons verbosity durch die Optionen, welches der Client benutzte und der "Max verbository" Einstellung in der Modul Konfiguration Sektion, kontrolliert werden.

  • dabei habe ich folgende Fragen:

  • deamon log, was ist das? Oder braucht es mich noch nicht zu interessieren, weil ich ein Anfänger bin.

    • So wirklich schlau werde ich aus den Sätzen nicht. Was ich daraus verstehen kann, ist,

dass verbose, die daemon log vergrössert und dass ein verbosity level und Max verbository kontrolliert werden.

  • muss ich das für mein Backup verstehen?

  • a This is equivalent to -rlptgoD. It is a quick way of saying you want recursion and want to preserve almost everything (with -H being a notable omission).

The only exception to the above equivalence is when --files-from is specified, in which case -r is not implied. Note that -a does not preserve hardlinks, because finding multiply-linked files is expensive. You must separately specify -H.

  • es ist ein schneller Weg zu sagen, man möchte Rekursion und man will alles erhalten (mit -H ist ein beachtenswerte Auslassung).

Die einzige Ausnahme zu der übersehenden Gleichstellung ist, wenn --files-from angegeben ist, in welchem Fall -r nicht beinhaltet ist. Beachte, dass -a keine hardlinks erhält, weil vielfache Links schwer (teuer) zu finden ist. Man muss getrennt -H angeben.

  • was ich jetzt aktuell interpretiere, ist, dass ich mit -a alle Daten holen kann, also alle Dateien bis ins letzte Verzeichnis in einer Baumstruktur.

  • Es gibt eine Ausnahme mit --files-from, welches Fall -r nicht beinhaltet.

  • -a holt keine Hardlinks, wenn ich Hardlinks haben möchte, dann muss ich Option -H angeben.

  • Ich vertraue einfach meinem Vorgänger, dass mit Option -a schon die richtige Option gewählt hat.

2. Ergebnis von crontab -l

			# Edit this file to introduce tasks to be run by cron.
			#
			# Each task to run has to be defined through a single line
			# indicating with different fields when the task will be run
			# and what command to run for the task
			#
			# To define the time you can provide concrete values for
			# minute (m), hour (h), day of month (dom), month (mon),
			# and day of week (dow) or use '*' in these fields (for 'any').#
			# Notice that tasks will be started based on the cron's system
			# daemon's notion of time and timezones.
			#
			# Output of the crontab jobs (including errors) is sent through
			# email to the user the crontab file belongs to (unless redirected).
			#
			# For example, you can run a backup of all your user accounts
			# at 5 a.m every week with:
			# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
			#
			# For more information see the manual pages of crontab(5) and cron(8)
			#
			# m h  dom mon dow   command
			00 04 * * * /data/home/apadmin/bin/backupServername.sh
			

Bedeutet 00 04 * * *, dass jeden Morgen um 4:00 Uhr der Backupprozess startet? Was ist der Unterschied zwischen 0 4 * * * und 00 04 * * * ?

3. hier mein weiterer Lösungsvorschlag:

			#!/bin/bash
			touch /data/home/administrator/.backupServername
			echo -e "Backing up servername..."
			if ! rsync -av --remove-source-files username@servername:/var/backups/tmp/ /data/backups/servername/ ; then
			  echo -e "Failed!"
			else
			  echo -e "Done."
			fi

			if ! sudo mount -t ntfs-3g /dev/sdf1 /media/einterabytefestplatte ; then
			  echo -e "No connection to the external hard disk!"
			else
			  echo -e "hard disk is ready to use"
			  if ! rsync -a /data/backups /media/einterabytefestplatte/ ; then
                               echo -e "Copy process on external hard disk is failed!"
		           else
			       echo -e "Copy process is successful!"
			  fi
			fi

			if ! sudo umount /dev/sdf1 ; then
			  echo -e "disconnection does not work"
			else
			  echo -e "Disconnection is successful"
			fi


			rm /data/home/administrator/.backupServername
			exit 0
			

Ist diesmal der Syntax in Ordnung?

4. .backupServername Ich glaube, dass .backupServername Datei angelegt wird, um zu schauen, ob der Backupprozess noch läuft. Wenn der .backupServername nicht mehr existiert, dann ist der Backupprozess beendet!

5. Schlussendlich bleiben folgende Fragen übrig:

  • a. Habe ich die Man pages Optionen richtig interpretiert?

--remove-source-files

This tells rsync to remove from the sending side the files (meaning non-directories) that are a part of the transfer and have been successfully duplicated on the receiving side.

  • meine deutsch Übersetzung bedeutet es, dass auf Sender Seite die Daten gelöscht werden (ausser Verzeichnisse).

Das ist ein Teil vom Kopiervorgang und dass erfolgreich Daten auf der Empfängerseite kopiert worden ist. bedeutet dies, dass mit dieser Option --remove-source-files sichergestellt wird, dass eine Übertragung der Daten erfolgreich stattfinden muss, oder wie soll ich diesen Satz verstehen: "and have been successfully duplicated on the receiving side."?

  • b. was ist ein daemon log?

  • c. Bedeutet 00 04 * * *, dass jeden Morgen um 4:00 Uhr der Backupprozess startet?

Was ist der Unterschied zwischen 0 4 * * * und 00 04 * * * ?

  • d. was macht NTFS für Probleme?

  • e. Ist diesmal der Syntax in Ordnung?

Gruss, Jürgen

baumtopf

(Themenstarter)

Anmeldungsdatum:
3. Januar 2011

Beiträge: 191

Kann mir niemand zumindest sagen, ob in meinem Lösungsvorschlag Fehler zu finden sind?

#!/bin/bash
touch /data/home/administrator/.backupServername
echo -e "Backing up servername..."
if ! rsync -av --remove-source-files username@servername:/var/backups/tmp/ /data/backups/servername/ ; then
  echo -e "Failed!"
else
  echo -e "Done."
fi

if ! sudo mount -t ntfs-3g /dev/sdf1 /media/einterabytefestplatte ; then
  echo -e "No connection to the external hard disk!"
else
  echo -e "hard disk is ready to use"
fi

if ! rsync -a /data/backups /media/einterabytefestplatte/ ; then
  echo -e "Copy process on external hard disk is failed!"
else
  echo -e "Copy process is successful!"
fi

if ! sudo umount /dev/sdf1 ; then
  echo -e "disconnection does not work"
else
  echo -e "Disconnection is successful"
fi


rm /data/home/administrator/.backupServername
exit 0

Gruss, Jürgen

Antworten |