staging.inyokaproject.org

Moin zusammen, ich bin nicht sicher ob ich hier mit meinem Problem richtig bin, aber es tritt jedenfalls im Zusammenhang mit dem Erstellen von Backups auf. Ich habe meine Daten auf USB-Platten, die ich in größeren Abständen austausche. Das heißt ich kaufe eine neue, kopiere die Daten von der alten Platte auf die neue und lege die alte dann kühl und trocken weg. Um nicht missverstanden zu werden, dass ist natürlich nicht die einzige Art von Sicherungen. Ich sichere auch tagesaktuell mit rsync.

Nun das Problem: Beim normalen Kopieren brechen die Transferraten mit der Zeit dramatisch ein. Zum Beispiel: Ich kopiere ca. 1TB. Die anfängliche Transferrate ist ca. 60 MB/sec. Nach 20 min geht das auf 40 MB/sec zurück. Nach 2 Stunden habe ich dann nur noch 10 MB/sec. Und das kann noch weiter runter gehen. Das Problem habe ich schon seit Jahren und mit diversen Festplatten und an unterschiedlichen Rechnern. Am Cache kann das ja wohl auch nicht liegen, der hat je keine zweistellige Anzahl GB. Vielleicht sollte ich noch erwähnen, dass ich auf NTFS-formatierte Platten schreibe. Für das Kopieren benutze ich den DoubleCommander.

Vielen Dank fürs Lesen und Gruß MrGolgi

PS falls ich hier falsch bin gerne verschieben

Hallo Golgivesikel,

bist du dir sicher, dass deine Festplatten keine mehrere GB großen Cache von schnellerem Speicher haben, der vollgeschrieben wird, bevor die Daten auf der eigentlichen festplatte landen? Das ist nämlich nicht unüblich. Ansonsten fallen mir dazu noch vier mögliche Gründe ein:

1. Festplattengeschwindigkeit unterm Schreibkopf: Eine mechanische Festplatte dreht sich überall mit der gleichen Rotationsgeschwindigkeit. Da der Umfang außen größer ist als innen, bedeutet dies, dass die Festplatte dort schneller beschrieben werden kann. Je voller die Platte wird, desto länger dauert das Schreiben.

2. Wäremeentwicklung: Während des Kopierens entsteht Wärme die irgendwo (CPU, Speichercontroller des Motherboards, Speichercontroller der Festplatte, Cachespeicher, Speicher) dazu führen kann, das eine Regelung den Takt verringert.

3. Dateigröße: Manche Kopiervorgänge sortieren die Dateien nach Größe. Die kleinsten Dateien werden zuletzt kopiert, dass dauert dann länger als die größten Dateien, die zuerst dran waren.

4. SMR: Die Festplatten könnten Shingled Magnetic Recording verwenden. Dabei werden die magnetischen Spuren im Prinzip doppelt verwendet indem sich Spuren überlappen, was die Festplattengröße erhöht. Je länger der Kopiervorgang dauert, desto wahrscheinlicher ist es, dass unterliegende Daten gelesen und erneut geschrieben werden müssen, was länger dauert, als beim ersten Durchgang durch die Spur. Die Hersteller umgehen das gerne durch Caches in der Hoffnung, dass bald eine Zeit kommt, in der die Festplatte nicht verwendet wird und der Controller die Daten in Ruhe lesen und neu schreiben kann. Diese Caches sind natürlich irgendwann voll (s.o.), sodass das Neuschreiben im Betrieb erfolgen muss. Wenn du Glück hast kannst du in den Datenblättern der Hersteller herausfinden, ob das bei dir der Fall ist.

Viele Grüße

Vej

PS.: Das ist natürlich alles etwas spekulativ.

Golgivesikel schrieb:

Die anfängliche Transferrate ist ca. 60 MB/sec.

...des Schreibens in den Cache. Du schreibst nie direkt und schon gar nicht über USB.

Eine Voreinstellung des DoubleCommanders ist allerdings sehr schlecht. Erhöhe in Options → File operations → Executing operations → beide "Buffer size"-Werte auf 8192 KiB (also 8 MiB)! Das macht sich stark bemerkbar.

Btw., bei solchen oft zu kopierenden Datenmengen solltest Du Dir eine sinnvollere Lösung als über USB suchen.

Vielen Dank für Eure Antworten,

Ich glaube den Cache der Festplatte kann man ausschließen: Rein aus Kostengründen glaube ich nicht, dass eine handelsübliche 3 TB Platte 100 GB schnellen Cache hat, außerdem sieht man, dass die Platte noch ca 10 min weiter läuft, wenn man das Kopieren unterbricht. Der Abfall der Transferrate geschieht aber kontinuierlich über Stunden.

Dateigröße wird es auch nicht sein denn das Programm arbeitet Ordnerweise und in jedem Ordner gibt es große und kleine Dateien (Videos und Fotos)

Festplattengeschwindigkeit unterm Schreibkopf und SMR: Kann beides sein, aber die Festplatte, auf die ich schreibe ist neu und leer mit 3 TB freiem Speicher. Schreiben will ca 800 GB und der Einbruch der Transferrate fängt schon nach 60 GB an.

Zu dem Zeitlichen Verlauf würde am ehesten die Wärmeentwicklung passen. Allerdings habe ich auch schon mal versucht die Platte mit einem Lüfter zu kühlen, was nichts gebracht hat. Auch wenn man das Kopieren unterbricht und die Platte abkühlen lässt beginnt sie danach nicht mit der ursprünglichen schnellen Transferrate.

Vielen Dank auch für den Tipp mit dem "Buffer size". Das ändert aber leider auch nichts an der Transferrate. Allerdings wird der obere Fortschrittsbalken für die einzelnen Dateien jetzt nicht mehr animiert. Es wird nur noch die jeweilige Dateigröße gezeigt, aber kein Balken.

Golgivesikel schrieb:

Cache der Festplatte

Davon habe ich nicht gesprochen.

"Buffer size". Das ändert aber leider auch nichts an der Transferrate.

Dann machst Du etwas falsch. Default stehen dort 512 KiB, das Erhöhen auf 8 MiB macht sich signifikant bemerkbar. Aber USB bleibt trotzdem USB, Flaschenhälse wie Bridge-Chips oder miese Komponenten gibt es nun mal.

von.wert schrieb:

Golgivesikel schrieb:

Cache der Festplatte

Davon habe ich nicht gesprochen.

OK, aber wäre ja auch denkbar gewesen.

"Buffer size". Das ändert aber leider auch nichts an der Transferrate.

Dann machst Du etwas falsch.

Mag sein, aber was? Also die Änderung des "Buffer size" hat jedenfalls funktioniert. Habe das Programm auch neu gestartet und den Parameter dann noch mal kontrolliert.

Aber USB bleibt trotzdem USB, Flaschenhälse wie Bridge-Chips oder miese Komponenten gibt es nun mal.

Das ist sicher auch richtig, aber passt für mich noch nicht zum zeitlichen Verlauf. Warum sind die Komponenten erst mal gut und werden dann über Stunden kontinuierlich schlechter?

Ich habe übrigens testweise mal ein altes Windows gestartet (Dual Boot) auf dem selben Rechner. Kopiert mit dem Total Commander. Der Effekt ist der selbe. Am Betriebssystem (Unix-Treiber für NTFS) liegt es dann wohl auch nicht.

Und ich habe auch verschiedene Rechner benutzt: Unter Anderem ein relativ neuen PC mit einem ASUS-Bord, alles USB3-Schnittstellen. Der kopiert jetzt gerade mit sagenhaften 4,8 MB/sec.

Ich verstehe es einfach nicht.

Aber trotzdem vielen Dank

Gruß MrGolgi

Golgivesikel schrieb:

[…] Warum sind die Komponenten erst mal gut und werden dann über Stunden kontinuierlich schlechter?

Es ist das übliche Verhalten von SMR-Platten beim Schreiben großer Datenmengen, d.h. größer als der vorgesehene CMR-Cache-Bereich auf der Platte. Beim SMR-Format kann prinzipbedingt jeder Schreibvorgang weitere Schreibvorgänge auslösen, d.h. Lesen bereits geschriebener Daten aus dem SMR-Bereich mit Ablage im CMR-Cache, Kombinieren mit den neuen Daten im Cache, schreiben in den SMR-Bereich.

Zu diesem Flaschenhals hinzu kommen noch weitere Engstellen, z.B. USB, billige Controller und ungünstige Pufferung in der Kopiersoftware. SMR-Platten arbeiten am besten, wenn man ihnen große Blöcke, aber nicht größere als ihren CMR-Cache, zum Speichern gibt und dann abwartet, bis sie das verdaut, d.h. endgültig im SMR-Bereich abgelegt haben.

kB schrieb:

Hallo kB, vielen Dank auch für Deine Antwort. Ich fürchte Du hast recht und ich muss mit diesen Transferraten (um 2 MB/sec) leben. Vej hatte SMR ja auch schon als mögliche Ursache vermutet. Das passt natürlich auch perfekt zum zeitlichen Verlauf und allen anderen Beobachtungen, die ich gemacht habe. Ich konnte mir nur nicht vorstellen, dass das Problem so früh auf einer fast leeren Platte beginnt. Die Zielplatte war neu mit 3 TB und der Einbruch war schon nach ein paar Hundert GB dramatisch.