staging.inyokaproject.org

curlftpfs + rsync

Status: Ungelöst | Ubuntu-Version: Ubuntu 12.04 (Precise Pangolin)
Antworten |

RGEE

Anmeldungsdatum:
1. November 2009

Beiträge: 34

Hallo, ich möchte mir eine Art Backup meines FTP-Servers anlegen. Das Backup soll aber auf einen anderen FTP-Server abgelegt werden. Hier dachte ich an rsync und curlftps. Das Backup vom gemounteten Quellserver auf einen temporären Ordner funkioniert ohne Probleme, nur der Weg vom temporären Ordner auf den gemounteten Zielserver wird nicht korrekt ausgeführt. Es wird die Ordnerstruktur erstellt und laut rsync Daten übertragen, welcher aber nie ankommen.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
#!/bin/bash
path=~/ftpsync

mkdir $path/from
mkdir $path/to
mkdir $path/temp
echo | openssl s_client -connect abc.de:443 | openssl x509 -out $path/a.pem
echo | openssl s_client -connect efg.hi:443 | openssl x509 -out $path/b.pem

curlftpfs -o ssl,cacert=$path/a.pem,no_verify_peer username:password@abc.de:21/ $path/from
curlftpfs -o ssl,cacert=$path/b.pem username:password@efg.hi:21/ $path/to

rsync -a -v --delete $path/from/ $path/temp
rsync -a -v --delete $path/temp/ $path/to

sleep 5
fusermount -u $path/from
sleep 5
fusermount -u $path/to

exit 0

Die Server werden korrekt eingebunden, zumindest funktionieren normale Kopieroperationen. Wo könnte das Problem liegen? Gibt es vielleicht eine Alternative?

Eine Alternative zu rsync müsste eigentlich nur incrementelle backups unterstützen und die Möglichkeit nicht mehr vorhandene Quelldaten auf dem Zielserver zu löschen. (1:1 Kopie ohne verpacken/ verschlüsseln ...)

u1000

Anmeldungsdatum:
2. Oktober 2011

Beiträge: 1850

Hi,

ist jetzt mal nur "geraten", aber ggf. ein Rechte/Userproblem. Probier mal das Kopieren ohne diese, d.h. gebe dem rsync zusätzlich folgende Optionen mit

rsync ... --no-perms --no-owner --no-group ...

und ich habe mir angewöhnt, dem rsync immer auf "/" endende Pfade zu geben:

rsync -a -v --delete $path/from/ $path/temp/
rsync -a -v --delete $path/temp/ $path/to/

$path/temp ist in deinem Fall nicht symmetrisch: erste Zeile war ohne, zweite Zeile mit "/" ?

Ggf. kannst du auch eine anonymisierte Ausgabe des Scriptes posten ? Zusätzlich um ein ls -la an den interesannten Stellen (from/to) ergänzt ?

Viele grüße u1000

RGEE

(Themenstarter)

Anmeldungsdatum:
1. November 2009

Beiträge: 34

Ich habe auf einer anderen Seite gelesen, dass die fehlende Möglichkeit temporäre Dateien unter curlftpfs anzulegen das Problem sein könnte. Also habe ich rsync einen "temp"-Ordner auf dem Server zugewiesen:

1
rsync -rv --delete --temp-dir=$path/temp --no-perms --no-owner --no-group $path/from/ $path/to

Nun wird zumindest ansatzweise versucht eine Datei zu schreiben, bricht aber nach einer gewissen Zeit ab. Zum testen habe ich im "from"-Ordner zwei Bilderordner angelegt, welche syncronisiert werden sollen. Im "to"-Ordner wurde mein FritzBox-FTP eingebunden.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
username@SERVER:~/ftpsync$ ./ftpsync 
mkdir: cannot create directory `/home/username/ftpsync/from': File exists
mkdir: cannot create directory `/home/username/ftpsync/to': File exists
mkdir: cannot create directory `/home/username/ftpsync/temp': File exists
depth=0 /CN=efg.hi
verify error:num=18:self signed certificate
verify return:1
depth=0 /CN=efg.hi
verify return:1
DONE
Ausgabe Ordner from:
total 16
drwxr-xr-x 4 username username 4096 Mar 25 14:00 .
drwxr-xr-x 5 username username 4096 Mar 19 09:58 ..
drwxr-xr-x 2 username username 4096 Mar 25 14:11 a1
drwxr-xr-x 2 username username 4096 Mar 25 14:02 b1
Ausgabe Ordner to:
total 4
drwxr-xr-x 1 root root 1024 Jan  1  1970 .
drwxrwxrwx 1 root root  160 Mar 25 14:26 a1
drwxrwxrwx 1 root root    0 Mar 25 14:26 b1
sending incremental file list
a1/DSC02391.jpg
a1/DSC02392.jpg
a1/DSC02394.jpg
a1/DSC02395.jpg
a1/DSC02396.jpg
a1/DSC02397.jpg
a1/DSC02399.jpg
a1/DSC02400.jpg
a1/DSC02401.jpg
a1/DSC02402.jpg
a1/DSC02403.jpg
a1/DSC02421.jpg
a1/DSC02422.jpg
a1/DSC02426.jpg
a1/DSC02427.jpg
a1/DSC02428.jpg
a1/DSC02429.jpg
a1/DSC02430.jpg
b1/101.jpg
b1/102.jpg
b1/103.jpg
b1/104.jpg
b1/105.jpg
b1/106.jpg
b1/107.jpg
b1/108.jpg
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/109.jpg": Software caused connection abort (103)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/110.jpg": Transport endpoint is not connected (107)
rsync: write "/home/username/ftpsync/to/a1/DSC02392.jpg": Software caused connection abort (103)
rsync: copy "/home/username/ftpsync/temp/.DSC02392.jpg.5hcmLw" -> "a1/DSC02392.jpg": Software caused connection abort (103)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/111.jpg": Transport endpoint is not connected (107)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/112.jpg": Transport endpoint is not connected (107)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/113.jpg": Transport endpoint is not connected (107)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/114.jpg": Transport endpoint is not connected (107)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/115.jpg": Transport endpoint is not connected (107)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/116.jpg": Transport endpoint is not connected (107)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/117.jpg": Transport endpoint is not connected (107)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/118.jpg": Transport endpoint is not connected (107)
rsync: recv_generator: failed to stat "/home/username/ftpsync/to/b1/119.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02394.jpg.hTRC2H" -> "a1/DSC02394.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02395.jpg.hk5wrT" -> "a1/DSC02395.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02396.jpg.lRG4X4" -> "a1/DSC02396.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02397.jpg.vhUeCg" -> "a1/DSC02397.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02399.jpg.Psu6ns" -> "a1/DSC02399.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02400.jpg.JgTuhE" -> "a1/DSC02400.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02401.jpg.F5f1hQ" -> "a1/DSC02401.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02402.jpg.vb1Ep2" -> "a1/DSC02402.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02403.jpg.L8IKEe" -> "a1/DSC02403.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02421.jpg.BaMe1q" -> "a1/DSC02421.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02422.jpg.VvM2uD" -> "a1/DSC02422.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02426.jpg.NCt4aQ" -> "a1/DSC02426.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02427.jpg.NLr182" -> "a1/DSC02427.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02428.jpg.Fw6tpg" -> "a1/DSC02428.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02429.jpg.TI8uYt" -> "a1/DSC02429.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.DSC02430.jpg.J2L8PH" -> "a1/DSC02430.jpg": Transport endpoint is not connected (107)
default_perms_for_dir: sys_acl_get_file(b1, ACL_TYPE_DEFAULT): Transport endpoint is not connected, falling back on umask
rsync: rename "/home/username/ftpsync/temp/.101.jpg.N3Q9YV" -> "b1/101.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.102.jpg.rPtA99" -> "b1/102.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.103.jpg.9Ycjlo" -> "b1/103.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.104.jpg.hWpnyC" -> "b1/104.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.105.jpg.9ArUMQ" -> "b1/105.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.106.jpg.Jo9T24" -> "b1/106.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.107.jpg.Do4Mjj" -> "b1/107.jpg": Transport endpoint is not connected (107)
rsync: rename "/home/username/ftpsync/temp/.108.jpg.ff4QBx" -> "b1/108.jpg": Transport endpoint is not connected (107)

sent 117274688 bytes  received 508 bytes  4990433.87 bytes/sec
total size is 125967164  speedup is 1.07
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1060) [sender=3.0.7]

Laut der Ausgabe sollten zumindest alle Bilder aus Ordner "a1" korrekt synchronisiert sein. Das ist aber nicht der Fall, es wird nur die erste Datei angelegt und nicht komplett beschrieben.

Antworten |