staging.inyokaproject.org

[dd] Sinn der Option 'bs'

Status: Ungelöst | Ubuntu-Version: Kein Ubuntu
Antworten |

En_Passant

Anmeldungsdatum:
24. Juni 2011

Beiträge: 178

Guten Abend,

ich habe so eben meine /dev/sda auf meine externe HDD gespiegelt. Dabei habe ich, um den Overhead zu vermeiden, die Option bs=1M mit angefügt. Allerdings erschließt sich mir der Sinn nicht ganz, was an meinem mangelndem Wissen über den Datenkopiervorgang liegt.

Wenn ich also beispielsweise 'bs=512M' angebe, wird das Backup dann noch schneller auf die HDD geschrieben?

Worin besteht dann überhaupt der Sinn, eine geringe Leserate anzugeben?

Vielen Dank für die Aufklärung!

Vej Team-Icon

Moderator, Supporter
Avatar von Vej

Anmeldungsdatum:
7. März 2013

Beiträge: 3401

Hallo En Passant.

En Passant schrieb:

ich habe so eben meine /dev/sda auf meine externe HDD gespiegelt.

Mit welchem Programm/Befehl?

Dabei habe ich, um den Overhead zu vermeiden, die Option bs=1M mit angefügt. Allerdings erschließt sich mir der Sinn nicht ganz, was an meinem mangelndem Wissen über den Datenkopiervorgang liegt.

Falls du dd verwendest, sorgt diese Option dafür, das diese Anzahl an Byte gleichzeitig übertragen wird. Je nach verwendeter Hardware und aufgespielten Dateisystemen, können kleinere Werte schneller oder langsamer sein. Also am Besten ausprobieren.

Viele Grüße

Vej

black_tencate

Avatar von black_tencate

Anmeldungsdatum:
27. März 2007

Beiträge: 11349

Hej En Passant,

En Passant schrieb:

... Worin besteht dann überhaupt der Sinn, eine geringe Leserate anzugeben?

nun,

  1. ist bs= eine Mengenangabe, kann also zunächst mal nichts mit Geschwindigkeit zu tun haben

    • indirekt allerdings schon, denn es werden mehr/bzw. weniger Blocks gelesen, das verringert/bzw. erhöht die Anzahl der Lesevorgänge, die wiederum länger dauern, als das Einlesen selbst. (Ich kenne aber keine Formel für das Optimum RAM zu bs=)

  2. gibt es ja auch Fälle, wo eben nicht eine ganze Platte, sondern nur gezielt bestimmte Blocks ausgelesen/auf die Platte geschrieben werden sollen.

Gruß black tencate

frostschutz

Avatar von frostschutz

Anmeldungsdatum:
18. November 2010

Beiträge: 7795

En Passant schrieb:

Wenn ich also beispielsweise 'bs=512M' angebe, wird das Backup dann noch schneller auf die HDD geschrieben?

Nö, viel langsamer.

Worin besteht dann überhaupt der Sinn, eine geringe Leserate anzugeben?

Es wird nicht die Leserate angegeben sondern die Blockgröße.

Default Größe bei dd ist leider (historisch bedingt) 512 Byte, also so ziemlich die kleinste Einheit überhaupt (1 Sektor)

dd arbeitet dann so: 512 Byte lesen. 512 Byte schreiben. Wenn das gemacht ist, wieder 512 Byte lesen. 512 Byte schreiben. usw.

Für 1MB Daten hast du dann so 2048 einzelne Lese- und Schreibvorgänge. Und das ist einfach zuviel Overhead, jedes Mal lesen / schreiben ist ein Syscall, es geht also vom Userspace in den Kernel und wieder zurück, das dauert länger als das eigentliche kopieren selbst, die CPU kommt nicht hinterher und es wird langsam.

Schnell wirds so ab 64KB, sind dann nur noch 16 Lese- und Schreibvorgänge pro MB. Selbst wenn du 100MB/s kopierst hast du so immer noch weniger Syscall-Aufrufe, als für 1MB mit Blocksize 512.

1M nimmt man weil das die Einheit ist an die sich Menschen gewöhnt haben. Das ist in der Regel der einzige Grund so einen großen Wert zu nehmen. 2M 4M usw. bringt nix mehr, weil das Optimum eigentlich schon unter 1M anfängt.

Machst du es jedoch viel größer wird es wieder langsamer. Dein Beispiel 512 MB:

dd liest 512M. dd schreibt 512M. dd liest 512M. dd schreibt 512M.

Solange 512M von der einen Platte gelesen wird schreibt die andere Platte nix. Solange 512M auf die andere Platte geschrieben wird liest die eine Platte nix. Die Geschwindigkeit reduziert sich um die Hälfte.

Bei kleineren Größen sorgen Kernel und Schreibpuffer in der Festplatte für die nötige Parallelität. Da lesen und schreiben dann beide Platten durchgehend.

Wo große Blöcke wieder was bringen ist wenn du von einer Partition auf die andere kopierst, auf der gleichen Platte. Eine Platte kann ja immer nur entweder lesen-oder-schreiben und bei größeren Blöcken muss dann der Lesekopf nicht so oft hin- und herspringen.

V_for_Vortex Team-Icon

Avatar von V_for_Vortex

Anmeldungsdatum:
1. Februar 2007

Beiträge: 12095

Fun Fact: Und wenn bs größer ist als das RAM des Rechners, kommt folgende Meldung:

dd if=/dev/zero of=/dev/null bs=50G
dd: memory exhausted by input buffer of size 53687091200 bytes (50 GiB)

☺

Antworten |