Dd - Versionsgeschichte

Robi: intern verlinkt

2015-09-05T20:15:48Z

intern verlinkt

Gehrke: Review entfernt - siehe Diskussion

2015-01-06T06:46:24Z

Review entfernt - siehe Diskussion

Gehrke: /* Erzeugen einer Datei gefüllt mit Zufallszahlen */

2015-01-06T06:45:06Z

‎Erzeugen einer Datei gefüllt mit Zufallszahlen

Gehrke: /* Verteilte Generierung von Zufallszahlen */ Hier entfernt - siehe Diskussion auf dieser Seite

2015-01-06T06:34:43Z

‎Verteilte Generierung von Zufallszahlen: Hier entfernt - siehe Diskussion auf dieser Seite

Gehrke: Auslagern: Verteilte Generierung von Zufallszahlen

2015-01-06T06:33:36Z

Auslagern: Verteilte Generierung von Zufallszahlen

Gehrke: Review please

2015-01-03T16:25:36Z

Review please

Gehrke: /* Verteilte Generierung von Zufallszahlen */

2015-01-03T16:23:09Z

‎Verteilte Generierung von Zufallszahlen

Gehrke: /* Verteilte Generierung von Zufallszahlen */ interne Verlinkung

2015-01-03T16:16:18Z

‎Verteilte Generierung von Zufallszahlen: interne Verlinkung

Gehrke: /* Verteilte Generierung von Zufallszahlen */

2015-01-03T16:13:28Z

‎Verteilte Generierung von Zufallszahlen

Gehrke: /* Verteilte Generierung von Zufallszahlen */ ssh-Zugang für den root-User: Sicherheitsrisiko

2015-01-03T16:09:18Z

‎Verteilte Generierung von Zufallszahlen: ssh-Zugang für den root-User: Sicherheitsrisiko

@@ Zeile 345: / Zeile 345: @@
 {{ Box Anmerkung ||
-Wir sprechen im Weiteren hier von [http://de.wikipedia.org/wiki/BIOS BIOS]-basierten Computern der [http://de.wikipedia.org/wiki/X86-Prozessor x86-Architektur], es gibt durchaus bei anderen Betriebssystemen und Plattformen auch noch ganz andere Architekturen und Strukturen, aber wir bleiben hier mal bei der typischen IBM-kompatiblen PC-Technik, mit der wohl bis auf ganz wenige Ausnahmen hier alle ihr Linux installiert haben werden
+Wir sprechen im Weiteren hier von [[BIOS]]-basierten Computern der [http://de.wikipedia.org/wiki/X86-Prozessor x86-Architektur], es gibt durchaus bei anderen Betriebssystemen und Plattformen auch noch ganz andere Architekturen und Strukturen, aber wir bleiben hier mal bei der typischen IBM-kompatiblen PC-Technik, mit der wohl bis auf ganz wenige Ausnahmen hier alle ihr Linux installiert haben werden
 }}

← Nächstältere Version		Version vom 6. Januar 2015, 06:46 Uhr
Zeile 1:		Zeile 1:
−	~~{{Review\|[[#Verteilte Generierung von Zufallszahlen]]}}--[[Benutzer:Gehrke\|Gehrke]] ([[Benutzer Diskussion:Gehrke\|Diskussion]]) 17:25, 3. Jan. 2015 (CET)~~
	{{Box Achtung\|\|		{{Box Achtung\|\|
	viele der auf dieser Seite vorgestellten Befehle werden nur unter Rootkennung funktionieren und die Befehle müssen auf die Gegebenheiten des eigenen Rechners abgestimmt werden. Nur kleine Schreib- oder Denkfehler können schon zu ernsten Datenverlusten führen, deshalb '''vor dem Betätigen der Enter-Taste den Befehl genau anschauen'''		viele der auf dieser Seite vorgestellten Befehle werden nur unter Rootkennung funktionieren und die Befehle müssen auf die Gegebenheiten des eigenen Rechners abgestimmt werden. Nur kleine Schreib- oder Denkfehler können schon zu ernsten Datenverlusten führen, deshalb '''vor dem Betätigen der Enter-Taste den Befehl genau anschauen'''

@@ Zeile 267: / Zeile 267: @@
 Als Größe wurde hier wieder wie schon oben 1GByte festgelegt. Mit [http://bashcurescancer.com/man/cmd/hexdump hexdump] haben wir gleich mal hineingeschaut, ob auch alles schön zufällig ist. ;-)
-Bei wirklich großen Datenmengen kann dieser Prozess sehr lange dauern (mehrere Tage bei Terabyte-Festplatten). In solchen Fällen kann es hilfreich sein, den Prozess der Generierung von Zufallszahlen auf mehrere Computer zu verteilen (s. [[Verteilte Generierung von Zufallszahlen]]).
+Bei wirklich großen Datenmengen kann dieser Prozess sehr lange dauern (mehrere Tage bei Terabyte-Festplatten). In solchen Fällen kann es hilfreich sein, den Prozess der Generierung von Zufallszahlen unter Verwendung von 'dd' und 'ssh' auf mehrere Computer zu verteilen (s. [[Verteilte Generierung von Zufallszahlen]]).
 ==== Erzeugen einer Datei mit typischen Eigenschaften und genau definierter Länge ====

← Nächstältere Version		Version vom 6. Januar 2015, 06:34 Uhr
Zeile 268:		Zeile 268:

	Bei wirklich großen Datenmengen kann dieser Prozess sehr lange dauern (mehrere Tage bei Terabyte-Festplatten). In solchen Fällen kann es hilfreich sein, den Prozess der Generierung von Zufallszahlen auf mehrere Computer zu verteilen (s. [[Verteilte Generierung von Zufallszahlen]]).		Bei wirklich großen Datenmengen kann dieser Prozess sehr lange dauern (mehrere Tage bei Terabyte-Festplatten). In solchen Fällen kann es hilfreich sein, den Prozess der Generierung von Zufallszahlen auf mehrere Computer zu verteilen (s. [[Verteilte Generierung von Zufallszahlen]]).
−
−	~~====Verteilte Generierung von Zufallszahlen====~~
−	Die beiden Programme '[[random]]' und '[[urandom]]' unterscheiden sich in der Qualität des Ergebnisses und der Performance. So bietet 'random' eine bessere Zufälligkeit, ist aber sehr viel langsamer und blockiert bei mangelnder Entropie auch mal komplett für längere Zeit. Bei Dimensionen aktueller Datenträger im Terabyte-Bereich ist das viel zu langsam, so dass häufig 'urandom' zum Einsatz kommt.
−
−	Aber selbst damit kann mit handelsüblichen Prozessoren das Beschreiben einer solchen Festplatte mehrere Tage dauern. Abhilfe kann es sein, diese Aufgabe auf mehrere Rechner zu verteilen und die Ergebnisse über das Netz auf die Festplatte zu schreiben, wodurch die '''Gesamtdauer des Prozesses verkürzt''' wird. Hierzu kann neben 'dd' das Tool [[ssh]] verwendet werden, dessen Aufgabe es ist, die Daten über das Netzwerk zu transportieren und an den dd-Prozess auf dem Zielsystem zu übergeben. Dieses Verfahren ist skalierbar, so dass mehrere Computer an der Berechnung der Zufallszahlen beteiligt werden können.
−
−	~~Beispiel:~~
−
−	~~In diesem Beispiel ist '/dev/sdf' die Festplatte auf dem Zielsystem 'j4', welche beschrieben werden soll. Feststellen der Festplatten-Kapazität:~~
−	~~<pre>~~
−	~~[root@j4 ~]# fdisk -l /dev/sdf \| grep 'Platte /dev/sdf:'~~
−	~~Platte /dev/sdf: 4000.8 GByte, 4000787030016 Byte~~
−	~~</pre>~~
−	Bei einer gewählten Blockgröße von 8 Kilobytes bzw. 8x1024 Bytes (bs=8K) teilt sich die Gesamtkapazität in 488377323 Blöcke auf. Diese müssen auf die Anzahl der teilnehmenden Rechner verteilt werden. Je nach Leistungsstärke der beteiligten Systeme muss hierbei nicht unbedingt eine Gleichverteilung angestrebt werden. Im vorliegenden Fall sollen neben dem Server 'j4' noch 2 weitere Rechner ('j2', 'j3') für diese Aufgabe verwendet werden. In vorigen Versuchen wurde die Leistungsfähigkeit der einzelnen Systeme bestimmt und die Anteile berechnet:
−	~~{\| border="1"~~
−	~~! System~~
−	~~! Durchsatz urandom [MB/sec]~~
−	~~! Anteil [%]~~
−	~~! Anzahl Blöcke~~
−	~~! Start-Block~~
−	~~! End-Block~~
−	\|-
−	~~!j2~~
−	~~\|\| 11,1 \|\| 44,6 \|\| 217710373 \|\| 0 \|\| 217710373~~
−	\|-
−	~~!j3~~
−	~~\|\| 6,1\|\| 24,5 \|\| 119642637 \|\| 217710373 \|\| 337353010~~
−	\|-
−	~~!j4~~
−	~~\|\| 7,7 \|\| 31,0 \|\| 151024313\|\| 337353010 \|\| 488377323~~
−	\|-
−	~~!Gesamt~~
−	~~\|\| 24,9 \|\| 100 \|\| 488377323~~
−	\|}
−
−	~~Zuerst wird auf 'j4' der Prozess ohne Netzwerk gestartet:~~
−	~~<pre>~~
−	~~[root@j4 ~]# dd bs=8K seek=337353010 count=151024313 if=/dev/urandom of=/dev/sdf~~
−	~~</pre>~~
−	~~Auf den anderen beiden Systemen wird der Prozess über [[ssh]] getunnelt:~~
−	~~<pre>~~
−	~~gehrke@j2:~> BS=8K; dd if=/dev/urandom bs=$BS \| ssh root@j4 "dd of=/dev/sdf bs=$BS seek=0 count=217710373"~~
−	~~</pre>~~
−	~~<pre>~~
−	~~gehrke@j3:~> BS=8K; dd if=/dev/urandom bs=$BS \| ssh root@j4 "dd of=/dev/sdf bs=$BS seek=217710373 count=119642637"~~
−	~~</pre>~~
−	~~Hinweise:~~
−	*Parametrisierung: [[#Positionierung innerhalb des Datenstrom\|Positionierung innerhalb des Datenstroms]]
−	*[[#die Ausgaben von dd\|Fortschrittsanzeige via Signal 10 (SIGUSR1)]]
−
−
−	~~{{Box Achtung \|\|~~
−	Für die hier vorgestellte Methode ist es notwendig, dass der ssh-Zugang für den root-User gegeben ist. Dies kann je nach Anwendungsfall ein Sicherheitsrisiko darstellen. Es sollten entsprechende Maßnahmen ergriffen werden, die daraus resultierenden Gefahren abzuwehren (beispielsweise per Firewall-Regel, [[Einrichten von public keys mit ssh\|PublicKey-Authentifizierung]], IP-basierter Konfiguration oder temporärer Zulassung).
−	}}

	==== Erzeugen einer Datei mit typischen Eigenschaften und genau definierter Länge ====		==== Erzeugen einer Datei mit typischen Eigenschaften und genau definierter Länge ====

@@ Zeile 266: / Zeile 266: @@
 </pre>
 Als Größe wurde hier wieder wie schon oben 1GByte festgelegt. Mit [http://bashcurescancer.com/man/cmd/hexdump hexdump] haben wir gleich mal hineingeschaut, ob auch alles schön zufällig ist. ;-)
 ====Verteilte Generierung von Zufallszahlen====

@@ Zeile 1: / Zeile 1: @@
-{{UnderConstruction|[[#Verteilte Generierung von Zufallszahlen]]}}--[[Benutzer:Gehrke|Gehrke]] ([[Benutzer Diskussion:Gehrke|Diskussion]]) 21:56, 2. Jan. 2015 (CET)
+{{Review|[[#Verteilte Generierung von Zufallszahlen]]}}--[[Benutzer:Gehrke|Gehrke]] ([[Benutzer Diskussion:Gehrke|Diskussion]]) 17:25, 3. Jan. 2015 (CET)
 {{Box Achtung||
 viele der auf dieser Seite vorgestellten Befehle werden nur unter Rootkennung funktionieren und die Befehle müssen auf die Gegebenheiten des eigenen Rechners abgestimmt werden. Nur kleine Schreib- oder Denkfehler können schon zu ernsten Datenverlusten führen, deshalb '''vor dem Betätigen der Enter-Taste den Befehl genau anschauen'''

@@ Zeile 312: / Zeile 312: @@
 gehrke@j3:~> BS=8K; dd if=/dev/urandom bs=$BS | ssh root@j4 "dd of=/dev/sdf bs=$BS seek=217710373 count=119642637"
 </pre>
-Hinweis zur Parametrisierung: [[#Positionierung innerhalb des Datenstrom|Positionierung innerhalb des Datenstroms]]
+Hinweise:
 {{Box Achtung ||

@@ Zeile 315: / Zeile 315: @@
 {{Box Achtung ||
-Für die hier vorgestellte Methode ist es notwendig, dass der ssh-Zugang für den root-User gegeben ist. Dies kann je nach Anwendungsfall ein Sicherheitsrisiko darstellen. Es sollten entsprechende Maßnahmen ergriffen werden, die daraus resultierenden Gefahren abzuwehren (beispielsweise per Firewall-Regel, PubKey-Verfahren, IP-basierter Konfiguration oder temporärer Zulassung).
+Für die hier vorgestellte Methode ist es notwendig, dass der ssh-Zugang für den root-User gegeben ist. Dies kann je nach Anwendungsfall ein Sicherheitsrisiko darstellen. Es sollten entsprechende Maßnahmen ergriffen werden, die daraus resultierenden Gefahren abzuwehren (beispielsweise per Firewall-Regel, [[Einrichten von public keys mit ssh|PublicKey-Authentifizierung]], IP-basierter Konfiguration oder temporärer Zulassung).
 }}

@@ Zeile 270: / Zeile 270: @@
 Die beiden Programme '[[random]]' und '[[urandom]]' unterscheiden sich in der Qualität des Ergebnisses und der Performance. So bietet 'random' eine bessere Zufälligkeit, ist aber sehr viel langsamer und blockiert bei mangelnder Entropie auch mal komplett für längere Zeit. Bei Dimensionen aktueller Datenträger im Terabyte-Bereich ist das viel zu langsam, so dass häufig 'urandom' zum Einsatz kommt.
-Aber selbst damit kann mit handelsüblichen Prozessoren das Beschreiben einer solchen Festplatte mehrere Tage dauern. Abhilfe kann es sein, diese Aufgabe auf mehrere Rechner zu verteilen und die Ergebnisse über das Netz auf die Festplatte zu schreiben. Hierzu kann neben 'dd' das Tool [[ssh]] verwendet werden, dessen Aufgabe es ist, die Daten über das Netzwerk zu transportieren und an den dd-Prozess auf dem Zielsystem zu übergeben. Dieses Verfahren ist skalierbar, so dass mehrere Computer an der Berechnung der Zufallszahlen beteiligt werden können, wodurch die '''Gesamtdauer des Prozesses verkürzt''' wird.
+Aber selbst damit kann mit handelsüblichen Prozessoren das Beschreiben einer solchen Festplatte mehrere Tage dauern. Abhilfe kann es sein, diese Aufgabe auf mehrere Rechner zu verteilen und die Ergebnisse über das Netz auf die Festplatte zu schreiben, wodurch die '''Gesamtdauer des Prozesses verkürzt''' wird. Hierzu kann neben 'dd' das Tool [[ssh]] verwendet werden, dessen Aufgabe es ist, die Daten über das Netzwerk zu transportieren und an den dd-Prozess auf dem Zielsystem zu übergeben. Dieses Verfahren ist skalierbar, so dass mehrere Computer an der Berechnung der Zufallszahlen beteiligt werden können.
 Beispiel: