staging.inyokaproject.org

rsnapshot (Quelle und Ziel lokal) furchtbar langsam

Status: Ungelöst | Ubuntu-Version: Server 18.04 (Bionic Beaver)
Antworten |

bugblatterbeast

Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Ich benutze rsnapshot um täglich ein inkrementelles Backup von einem Projekt-Verzeichnis (zur Zeit 1,2 TB) zu erstellen. Quell- und Ziel-Dateisystem sind lokal. Die Zeit die rsync zum Erstellen des Backups braucht ist leider komplett inakzeptabel und ich finde keinen Ansatz um das Problem anzugehen. Das zuletzt gestartete "tägliche" Backup läuft mittlerweile seit 11 Tagen (natürlich wird rsync über ein script gestartet das überprüft ob der letzte Start erfolgreich beendet wurde - es laufen also nicht mehrere Instanzen gleichzeitig). In diesen 11 Tagen wurden bis jetzt 19 GB an geänderten Dateien erstellt.

1
2
3
# du -h --max-depth=1
1,2T	./daily.1
19G	./daily.0

Folgenden Hinweis habe ich bereits gefunden: Wenn man mit rsync zwei lokale Dateisysteme synchronisiert gibt es scheinbar einen Nachteil: Wenn eine Datei verändert wurde dann kopiert rsync nach einer Aussage in diesem Thread https://unix.stackexchange.com/questions/480570/rsnapshot-very-slow immer die komplette geänderte Datei. Bei der Synchronisation zwischen zwei Computern werden in so einem Fall nur die Unterschiede kopiert. Das alleine würde aber immer noch nicht ausreichen um zu erklären warum der Snapshot von 1,2 TB mehr als 10 Tage braucht.

Ein weiterer Verdacht ist, dass es zum Teil daran liegt, dass Dateien verändert werden während das Backup läuft. Sobald das Backup zwischen zwei Werktagen mehr als 8 Stunden benötigt kann ich leider nicht mehr vermeiden dass Änderungen am Quellverzeichnis gemacht werden. Das kann aber auch nicht der einzige Grund sein. Es kommt zwar hin und wieder vor dass an Wochenenden gearbeitet wird aber von Freitag Abend bis Montag Morgen gibt es normaler Weise kaum Datei-Änderungen.

Ich bin für alle Hinweise und Lösungsansätze sowie Vorschläge zur genaueren Analyse des Problems dankbar.

Gibt es z.B. einen einfachen Weg um mir eine Statistik über die generelle Performance meines RAIDs zu erstellen?

seahawk1986

Anmeldungsdatum:
27. Oktober 2006

Beiträge: 11278

Dazu hätte ich ein paar Fragen:

  • Was ist das für ein Projekt bzw. mit welchen Dateigrößen und Anzahl von Dateien muss man da rechnen?

  • Wie viel RAM hat der Rechner?

  • Welche Dateisysteme nutzt du auf Quelle und Ziel (z.B. weil Dateisysteme, die Daten deduplizieren wollen ggf. lange suchen müssen, ob es den Block schon in der Form gibt)?

  • Liegen die Quell- und Ziel-Dateisystem auf dem selben RAID?

  • Wie sieht der von dir genutzte rsync-Befehl genau aus? (muss rsync z.B. die Checksummen für jede Datei berechnen oder darf es nach Zeitstempeln vorgehen)?

Hast du mal Alternativen zu rsync wie Inkrementelle Backups mit Snapshots (vgl. z.B. https://btrfs.wiki.kernel.org/index.php/Incremental_Backup, https://xai.sh/2018/08/27/zfs-incremental-backups.html in Betracht gezogen (das erfordert natürlich ein Dateisystem, das das unterstützt)?

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Hallo Seahawk, vielen Dank für Deine Hilfe

  • Es sind die Daten eines Ingenieurbüros für Baustatik. Ein paar kleinere Dateien aus dem Bereich Verwaltung, sehr viele PDFs und zum Teil sehr große binäre CAD-Dokumente

  • Der Fileserver hat 48 GB RAM

  • Quelle und Ziel liegen auf dem gleichen ext4 Dateisystem

  • Quelle und Ziel liegen auf dem gleichen RAID5 das von einem Hardware-Controller verwaltet wird

  • rsync wird von rsnapshot aufgerufen. hier sind die relevanten Einträge in der Konfigurationsdatei:

rsync_short_args        -a
rsync_long_args         --rsync-path=/usr/local/bin/rsync_sudo.sh --delete --numeric-ids --delete-excluded --no-relative

Eine Alternative zu rsnapshot habe ich bisher nicht in Betracht gezogen. rsnapshot lief ja auch jahrelang ohne Probleme.

Das lokale inkrementelle Backup ist auf einer ReadOnly SMB-Freigabe für die Mitarbeiter verfügbar. Die Mitarbeiter sollen selbstständig in der Lage sein, auf alte Arbeitsstände zuzugreifen. Sinn dieses Backups ist der Schutz vor Benutzer-Fehlern. Zum Schutz vor Datenverlust durch Hardware-Fehler wird das gesamte Backup dann (nach einer Konsistenzprüfung) mit einem weiteren rsync-Aufruf auf einen entfernten Backup-Server kopiert (dabei gibt es keine Probleme).

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Wenn ich einen Moment Zeit habe versuche ich mal detaillierte Informationen über die Dateien zusammen zu suchen.

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

EDIT: Die Ergebnisse der Geschwindigkeits-Tests, die ich hier eingefügt hatte, waren von der falschen Festplatte. Ich habe sie gelöscht um unnötige Verwirrung zu vermeiden

Anzahl an Dateien und Größenverteilung im Backup:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
daily.1# ls -RF | grep -v / | grep -v ^$ | wc -l
1523235
daily.1# find . -size +1G -ls | wc -l
26
daily.1# find . -size +100M -ls | wc -l
1393
daily.1# find . -size +10M -ls | wc -l
13342
daily.1# find . -size +1M -ls | wc -l
124745
daily.1# find . -size +100k -ls | wc -l
412137
daily.1# find . -size +10k -ls | wc -l
837323

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Sorry, ich habe vorhin die Tests auf der falschen Festplatte laufen lassen.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
# hdparm -Tt /dev/sda1

/dev/sda1:
 Timing cached reads:   14448 MB in  2.00 seconds = 7231.05 MB/sec
 Timing buffered disk reads: 3124 MB in  3.00 seconds = 1041.00 MB/sec

# hdparm -v /dev/sda1

/dev/sda1:
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0d 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 multcount     =  0 (off)
 readonly      =  0 (off)
 readahead     = 256 (on)
 geometry      = 728849/255/63, sectors = 11708975104, start = 2048

Hier noch etwas genauere Statistiken zur Performance:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
$ fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=write --size=500m --io_size=10g --blocksize=1024k --ioengine=libaio --fsync=10000 --iodepth=32 --direct=1 --numjobs=1 --runtime=60 --group_reporting
TEST: (g=0): rw=write, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=32
fio-3.1
Starting 1 process
TEST: Laying out IO file (1 file / 500MiB)
Jobs: 1 (f=1)
TEST: (groupid=0, jobs=1): err= 0: pid=18802: Thu Jun 10 12:15:14 2021
  write: IOPS=4293, BW=4294MiB/s (4502MB/s)(10.0GiB/2385msec)
    slat (usec): min=49, max=500, avg=106.59, stdev=44.73
    clat (usec): min=178, max=53414, avg=7199.97, stdev=7952.11
     lat (usec): min=352, max=53504, avg=7306.73, stdev=7950.27
    clat percentiles (usec):
     |  1.00th=[ 2704],  5.00th=[ 2900], 10.00th=[ 3163], 20.00th=[ 3818],
     | 30.00th=[ 4686], 40.00th=[ 4883], 50.00th=[ 5342], 60.00th=[ 5669],
     | 70.00th=[ 6456], 80.00th=[ 8029], 90.00th=[ 9765], 95.00th=[15401],
     | 99.00th=[51643], 99.50th=[52167], 99.90th=[52691], 99.95th=[53216],
     | 99.99th=[53216]
   bw (  MiB/s): min= 4110, max= 4796, per=100.00%, avg=4422.50, stdev=287.06, samples=4
   iops        : min= 4110, max= 4796, avg=4422.50, stdev=287.06, samples=4
  lat (usec)   : 250=0.02%, 500=0.02%, 750=0.03%, 1000=0.03%
  lat (msec)   : 2=0.31%, 4=22.38%, 10=68.15%, 20=5.22%, 50=1.66%
  lat (msec)   : 100=2.17%
  cpu          : usr=23.36%, sys=22.86%, ctx=4978, majf=0, minf=12
  IO depths    : 1=0.2%, 2=0.4%, 4=0.8%, 8=1.6%, 16=3.3%, 32=93.6%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=99.8%, 8=0.0%, 16=0.0%, 32=0.2%, 64=0.0%, >=64=0.0%
     issued rwt: total=0,10240,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=32

Run status group 0 (all jobs):
  WRITE: bw=4294MiB/s (4502MB/s), 4294MiB/s-4294MiB/s (4502MB/s-4502MB/s), io=10.0GiB (10.7GB), run=2385-2385msec

Disk stats (read/write):
  sda: ios=0/38676, merge=0/0, ticks=0/208796, in_queue=208776, util=93.48%

Es sieht für mich nicht so aus als wenn es am RAID liegen würde. Das RAID besteht übrigens aus 7 Festplatten mit je 1TB.

seahawk1986

Anmeldungsdatum:
27. Oktober 2006

Beiträge: 11278

Das scheinen ja vor allem viele kleinere Dateien zu sein - da limitiert dann vermutlich eher die Zugriffszeit der Platten als die erreichbare Geschwindigkeit beim sequentiellen Lesen und Schreiben, wenn er erst die Metadaten holt, dann schaut, ob die Datei so schon im Backup ist, dann die Datei (im dümmsten Fall stückweise) lesen und dann wieder an anderer Position auf die Platte schreiben muss.

Um eine Idee zu bekommen, wie langsam das RAID in dem Szenario ist, könnte man zusätzlich Geschwindigkeitstests mit Lesen und Schreiben an Zufallspositionen machen - vgl. https://askubuntu.com/a/991311 - in dem Worst-Case Szenario (Lesen und Schreiben von zufälligen 4k Blöcken mit sync) schafft so manche SSD nicht mehr als ein paar MB/s, wenn man da --fsync=0 setzt, ist das immer noch arg langsam ...

Ich würde falls möglich mal probieren, wie das aussieht, wenn man die Daten von rsnapshot auf einen anderen Datenträger schreiben lässt - das sollte die Zeitverluste durchs Repositionieren der Festplattenköpfe schon mal spürbar senken.

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Zeitverluste durchs Repositionieren der Festplattenköpfe

Oh, das ist ein natürlich ein wichtiger Aspekt den ich noch gar nicht in Betracht gezogen habe. Aber kann das zu so einer Zeitdauer führen?

Random 4k Test mit fsync=1:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
$ fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=randrw --size=500m --io_size=10g --blocksize=4k --ioengine=libaio --fsync=1 --iodepth=1 --direct=1 --numjobs=1 --runtime=60 --group_reporting
TEST: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.1
Starting 1 process
TEST: Laying out IO file (1 file / 500MiB)
Jobs: 1 (f=1): [m(1)][13.1%][r=248KiB/s,w=292KiB/s][r=62,w=73 IOPS][eta 00m:53s]
Jobs: 1 (f=1): [m(1)][23.0%][r=300KiB/s,w=304KiB/s][r=75,w=76 IOPS][eta 00m:47s]
Jobs: 1 (f=1): [m(1)][32.8%][r=220KiB/s,w=340KiB/s][r=55,w=85 IOPS][eta 00m:41s]
Jobs: 1 (f=1): [m(1)][42.6%][r=252KiB/s,w=276KiB/s][r=63,w=69 IOPS][eta 00m:35s]
Jobs: 1 (f=1): [m(1)][52.5%][r=296KiB/s,w=284KiB/s][r=74,w=71 IOPS][eta 00m:29s]
Jobs: 1 (f=1): [m(1)][62.3%][r=288KiB/s,w=296KiB/s][r=72,w=74 IOPS][eta 00m:23s]
Jobs: 1 (f=1): [m(1)][72.1%][r=336KiB/s,w=304KiB/s][r=84,w=76 IOPS][eta 00m:17s]
Jobs: 1 (f=1): [m(1)][82.0%][r=300KiB/s,w=252KiB/s][r=75,w=63 IOPS][eta 00m:11s]
Jobs: 1 (f=1): [m(1)][91.8%][r=340KiB/s,w=292KiB/s][r=85,w=73 IOPS][eta 00m:05s]
Jobs: 1 (f=1): [m(1)][100.0%][r=208KiB/s,w=276KiB/s][r=52,w=69 IOPS][eta 00m:00s]
TEST: (groupid=0, jobs=1): err= 0: pid=26851: Thu Jun 10 15:24:23 2021
   read: IOPS=69, BW=277KiB/s (283kB/s)(16.2MiB/60001msec)
    slat (nsec): min=11777, max=89842, avg=31795.33, stdev=9497.62
    clat (usec): min=2, max=107284, avg=7850.70, stdev=6045.48
     lat (usec): min=49, max=107309, avg=7883.12, stdev=6046.42
    clat percentiles (usec):
     |  1.00th=[    39],  5.00th=[    42], 10.00th=[    46], 20.00th=[    82],
     | 30.00th=[  8094], 40.00th=[  8094], 50.00th=[  8094], 60.00th=[  8094],
     | 70.00th=[  8094], 80.00th=[  8717], 90.00th=[ 15270], 95.00th=[ 18220],
     | 99.00th=[ 21890], 99.50th=[ 23987], 99.90th=[ 54789], 99.95th=[ 83362],
     | 99.99th=[107480]
   bw (  KiB/s): min=  128, max=  408, per=100.00%, avg=276.96, stdev=59.30, samples=119
   iops        : min=   32, max=  102, avg=69.23, stdev=14.83, samples=119
  write: IOPS=71, BW=285KiB/s (291kB/s)(16.7MiB/60001msec)
    slat (nsec): min=13671, max=90499, avg=38034.57, stdev=10079.15
    clat (usec): min=3, max=51792, avg=5907.61, stdev=4062.72
     lat (usec): min=66, max=51836, avg=5946.28, stdev=4060.62
    clat percentiles (usec):
     |  1.00th=[   39],  5.00th=[   42], 10.00th=[   43], 20.00th=[   47],
     | 30.00th=[ 8029], 40.00th=[ 8094], 50.00th=[ 8094], 60.00th=[ 8094],
     | 70.00th=[ 8094], 80.00th=[ 8094], 90.00th=[ 8094], 95.00th=[ 8094],
     | 99.00th=[ 8160], 99.50th=[11600], 99.90th=[46400], 99.95th=[47973],
     | 99.99th=[51643]
   bw (  KiB/s): min=  152, max=  376, per=100.00%, avg=284.69, stdev=36.75, samples=119
   iops        : min=   38, max=   94, avg=71.16, stdev= 9.20, samples=119
  lat (usec)   : 4=0.02%, 50=20.39%, 100=4.31%, 250=0.04%, 750=0.04%
  lat (usec)   : 1000=0.01%
  lat (msec)   : 2=0.14%, 4=0.38%, 10=65.27%, 20=7.99%, 50=1.31%
  lat (msec)   : 100=0.07%, 250=0.02%
  cpu          : usr=0.22%, sys=0.78%, ctx=14531, majf=0, minf=11
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwt: total=4152,4268,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=277KiB/s (283kB/s), 277KiB/s-277KiB/s (283kB/s-283kB/s), io=16.2MiB (17.0MB), run=60001-60001msec
  WRITE: bw=285KiB/s (291kB/s), 285KiB/s-285KiB/s (291kB/s-291kB/s), io=16.7MiB (17.5MB), run=60001-60001msec

Disk stats (read/write):
  sda: ios=4147/16459, merge=0/6110, ticks=32420/30780, in_queue=63184, util=97.58%

Random 4k Test mit fsync=0

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
$ fio --name TEST --eta-newline=5s --filename=fio-tempfile.dat --rw=randrw --size=500m --io_size=10g --blocksize=4k --ioengine=libaio --fsync=0 --iodepth=1 --direct=1 --numjobs=1 --runtime=60 --group_reporting
TEST: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=1
fio-3.1
Starting 1 process
Jobs: 1 (f=1): [m(1)][5.0%][r=2720KiB/s,w=2868KiB/s][r=680,w=717 IOPS][eta 00m:5
Jobs: 1 (f=1): [m(1)][6.7%][r=3083KiB/s,w=3215KiB/s][r=770,w=803 IOPS][eta 00m:5
Jobs: 1 (f=1): [m(1)][8.3%][r=3811KiB/s,w=3731KiB/s][r=952,w=932 IOPS][eta 00m:5
Jobs: 1 (f=1): [m(1)][10.0%][r=3944KiB/s,w=3724KiB/s][r=986,w=931 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][11.7%][r=3343KiB/s,w=3399KiB/s][r=835,w=849 IOPS][eta 00m:53s]
Jobs: 1 (f=1): [m(1)][13.3%][r=3203KiB/s,w=3019KiB/s][r=800,w=754 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][15.0%][r=3324KiB/s,w=3408KiB/s][r=831,w=852 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][16.7%][r=2838KiB/s,w=2778KiB/s][r=709,w=694 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][18.3%][r=3251KiB/s,w=3175KiB/s][r=812,w=793 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][20.0%][r=3036KiB/s,w=2916KiB/s][r=759,w=729 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][21.7%][r=3091KiB/s,w=3071KiB/s][r=772,w=767 IOPS][eta 00m:47s]
Jobs: 1 (f=1): [m(1)][23.3%][r=3100KiB/s,w=2952KiB/s][r=775,w=738 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][25.0%][r=2674KiB/s,w=2802KiB/s][r=668,w=700 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][26.7%][r=3071KiB/s,w=3179KiB/s][r=767,w=794 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][28.3%][r=2874KiB/s,w=2862KiB/s][r=718,w=715 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][30.0%][r=3156KiB/s,w=3040KiB/s][r=789,w=760 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][31.7%][r=2838KiB/s,w=2870KiB/s][r=709,w=717 IOPS][eta 00m:41s]
Jobs: 1 (f=1): [m(1)][33.3%][r=2798KiB/s,w=2690KiB/s][r=699,w=672 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][35.0%][r=3500KiB/s,w=3688KiB/s][r=875,w=922 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][36.7%][r=3299KiB/s,w=3271KiB/s][r=824,w=817 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][38.3%][r=3183KiB/s,w=3335KiB/s][r=795,w=833 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][40.0%][r=3095KiB/s,w=3043KiB/s][r=773,w=760 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][41.7%][r=3396KiB/s,w=3508KiB/s][r=849,w=877 IOPS][eta 00m:35s]
Jobs: 1 (f=1): [m(1)][43.3%][r=3299KiB/s,w=3227KiB/s][r=824,w=806 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][45.0%][r=3195KiB/s,w=2938KiB/s][r=798,w=734 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][46.7%][r=3168KiB/s,w=3024KiB/s][r=792,w=756 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][48.3%][r=2854KiB/s,w=2486KiB/s][r=713,w=621 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][50.0%][r=3247KiB/s,w=3495KiB/s][r=811,w=873 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][51.7%][r=3112KiB/s,w=3300KiB/s][r=778,w=825 IOPS][eta 00m:29s]
Jobs: 1 (f=1): [m(1)][61.7%][r=3200KiB/s,w=3212KiB/s][r=800,w=803 IOPS][eta 00m:23s]
Jobs: 1 (f=1): [m(1)][55.0%][r=3319KiB/s,w=3443KiB/s][r=829,w=860 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][56.7%][r=2896KiB/s,w=2804KiB/s][r=724,w=701 IOPS][eta 00m:26s]
Jobs: 1 (f=1): [m(1)][66.7%][r=3440KiB/s,w=3520KiB/s][r=860,w=880 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][68.3%][r=3115KiB/s,w=3275KiB/s][r=778,w=818 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][70.0%][r=3223KiB/s,w=3151KiB/s][r=805,w=787 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][71.7%][r=3040KiB/s,w=3052KiB/s][r=760,w=763 IOPS][eta 00m:17s]
Jobs: 1 (f=1): [m(1)][73.3%][r=3151KiB/s,w=3083KiB/s][r=787,w=770 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][75.0%][r=2982KiB/s,w=2798KiB/s][r=745,w=699 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][76.7%][r=3312KiB/s,w=3436KiB/s][r=828,w=859 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][78.3%][r=3283KiB/s,w=3267KiB/s][r=820,w=816 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][80.0%][r=3023KiB/s,w=2914KiB/s][r=755,w=728 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][81.7%][r=3396KiB/s,w=3144KiB/s][r=849,w=786 IOPS][eta 00m:11s]
Jobs: 1 (f=1): [m(1)][83.3%][r=3355KiB/s,w=3187KiB/s][r=838,w=796 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][85.0%][r=3275KiB/s,w=3347KiB/s][r=818,w=836 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][86.7%][r=3012KiB/s,w=2816KiB/s][r=753,w=704 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][88.3%][r=3023KiB/s,w=2666KiB/s][r=755,w=666 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][90.0%][r=3167KiB/s,w=2746KiB/s][r=791,w=686 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][91.7%][r=3176KiB/s,w=3280KiB/s][r=794,w=820 IOPS][eta 00m:05s]
Jobs: 1 (f=1): [m(1)][93.3%][r=3131KiB/s,w=3075KiB/s][r=782,w=768 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][95.0%][r=3139KiB/s,w=3455KiB/s][r=784,w=863 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][96.7%][r=3111KiB/s,w=2970KiB/s][r=777,w=742 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][98.3%][r=1956KiB/s,w=1912KiB/s][r=489,w=478 IOPS][eta 00m:
Jobs: 1 (f=1): [m(1)][100.0%][r=2218KiB/s,w=2066KiB/s][r=554,w=516 IOPS][eta 00m:00s]
TEST: (groupid=0, jobs=1): err= 0: pid=26976: Thu Jun 10 15:27:16 2021
   read: IOPS=783, BW=3136KiB/s (3211kB/s)(184MiB/60010msec)
    slat (nsec): min=5224, max=98834, avg=14256.95, stdev=4957.12
    clat (usec): min=21, max=124900, avg=1199.25, stdev=2319.34
     lat (usec): min=34, max=124913, avg=1213.91, stdev=2319.40
    clat percentiles (usec):
     |  1.00th=[   36],  5.00th=[   37], 10.00th=[   38], 20.00th=[   39],
     | 30.00th=[   39], 40.00th=[   40], 50.00th=[   43], 60.00th=[   76],
     | 70.00th=[  947], 80.00th=[ 2835], 90.00th=[ 4621], 95.00th=[ 5604],
     | 99.00th=[ 6390], 99.50th=[ 6587], 99.90th=[12387], 99.95th=[20317],
     | 99.99th=[62129]
   bw (  KiB/s): min=  192, max= 5392, per=100.00%, avg=3136.12, stdev=541.70, samples=120
   iops        : min=   48, max= 1348, avg=784.03, stdev=135.43, samples=120
  write: IOPS=778, BW=3114KiB/s (3189kB/s)(183MiB/60010msec)
    slat (usec): min=7, max=131, avg=15.26, stdev= 5.54
    clat (nsec): min=1604, max=84921k, avg=41565.68, stdev=547462.64
     lat (usec): min=33, max=84939, avg=57.14, stdev=547.68
    clat percentiles (usec):
     |  1.00th=[   33],  5.00th=[   34], 10.00th=[   34], 20.00th=[   35],
     | 30.00th=[   35], 40.00th=[   36], 50.00th=[   36], 60.00th=[   37],
     | 70.00th=[   37], 80.00th=[   38], 90.00th=[   39], 95.00th=[   41],
     | 99.00th=[   52], 99.50th=[   56], 99.90th=[   70], 99.95th=[  110],
     | 99.99th=[ 8160]
   bw (  KiB/s): min=  160, max= 5704, per=100.00%, avg=3114.93, stdev=608.70, samples=120
   iops        : min=   40, max= 1426, avg=778.73, stdev=152.18, samples=120
  lat (usec)   : 2=0.01%, 20=0.01%, 50=75.16%, 100=9.04%, 250=0.05%
  lat (usec)   : 500=0.03%, 750=0.21%, 1000=0.59%
  lat (msec)   : 2=2.59%, 4=5.47%, 10=6.78%, 20=0.06%, 50=0.02%
  lat (msec)   : 100=0.01%, 250=0.01%
  cpu          : usr=0.70%, sys=2.82%, ctx=93783, majf=0, minf=11
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued rwt: total=47043,46724,0, short=0,0,0, dropped=0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: bw=3136KiB/s (3211kB/s), 3136KiB/s-3136KiB/s (3211kB/s-3211kB/s), io=184MiB (193MB), run=60010-60010msec
  WRITE: bw=3114KiB/s (3189kB/s), 3114KiB/s-3114KiB/s (3189kB/s-3189kB/s), io=183MiB (191MB), run=60010-60010msec

Disk stats (read/write):
  sda: ios=47020/46735, merge=0/17, ticks=56068/1776, in_queue=57840, util=96.15%

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

Es ist definitiv so dass wir immer von einer Festplatte auf eine andere gesynct haben als rsnapshot noch problemlos lief.

Die Probleme haben ungefähr dann angefangen als wir alles auf das große RAID5 zusammengelegt haben. Ob das jetzt die einzige Ursache für das Problem ist oder nicht: Es macht auf keinen Fall Sinn, die Festplattenköpfe ständig hin und her fahren zu lassen. Diesen wichtigen Punkt habe ich nicht ausreichend beachtet. Ich werde auf jeden Fall die Anschaffung einer separaten Festplatte für das Backup organisieren.

seahawk1986

Anmeldungsdatum:
27. Oktober 2006

Beiträge: 11278

bugblatterbeast schrieb:

Zeitverluste durchs Repositionieren der Festplattenköpfe

Oh, das ist ein natürlich ein wichtiger Aspekt den ich noch gar nicht in Betracht gezogen habe. Aber kann das zu so einer Zeitdauer führen?

19 GB in 11 Tagen wären ca. 20 kB/s - das ist schon arg wenig - läuft rsnapshot eventuell mit irgendeiner Form von I/O Priorisierung (z.B. kann man mit schedutils (Abschnitt „ionice“) festlegen, dass eine Anwendung nur dann I/O machen darf, wenn die Platte sonst nichts zu tun hat)?

Sind die einzelnen Platten im RAID in Ordnung (ggf. mal S.M.A.R.T.-Attribute anschauen)?

bugblatterbeast

(Themenstarter)
Avatar von bugblatterbeast

Anmeldungsdatum:
30. Januar 2008

Beiträge: 477

läuft rsnapshot eventuell mit irgendeiner Form von I/O Priorisierung

Nein, nichts dergleichen.

Sind die einzelnen Platten im RAID in Ordnung (ggf. mal S.M.A.R.T.-Attribute anschauen)?

Nun, da das RAID von einem Hardware Controller verwaltet wird, weiß ich nicht wie ich das über remote ssh machen sollte. Ich habe zur Zeit leider keinen physischen Zugang zu dem Gerät. Die Informationen die ich bekomme sehen in Ordnung aus.

1
2
3
4
5
# hdparm -i /dev/sda

/dev/sda:
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0d 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 HDIO_GET_IDENTITY failed: Invalid argument
1
2
3
4
5
6
# smartctl -H /dev/sda
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.0-143-generic] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Health Status: OK
Antworten |