Linupedia.org - Benutzerbeiträge [de]

Diskussion:Sed

2019-12-14T12:08:13Z

Itu: Die Seite wurde neu angelegt: „== Layout == Wie kann man es machen dass der Text in den Tabellenfeldern nicht so hart an Anfang klebt? nbsp's reinhauen wäre eher unschön für den Quelltex…“

== Layout ==

Wie kann man es machen dass der Text in den Tabellenfeldern nicht so hart an Anfang klebt? nbsp's reinhauen wäre eher unschön für den Quelltext, geht das besser? --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 13:08, 14. Dez. 2019 (CET)

Sed

2019-12-14T12:06:02Z

Itu: tf-

SED - eine kleine Einführung und Übersicht über ein mächtiges UNIX-Werkzeug

== Was ist sed und was kann sed ? ==

[http://linux.die.net/man/1/sed sed] ('''S'''tream-'''ED'''itor) ist ein universelles Textbearbeitungstool und auf jedem UNIX- und Linux-System zu finden. Ein Texteditor im gewöhnlichen Sinn, ist ein Programm mit dem wir mittels Tastatur einen Text erstellen oder ändern können, und genau das ist '''sed''' nicht.

Der Stream-Editor liest die Standardeingabe, (oder wenn angegeben eine oder mehrere Dateien) ein, ändert diesen Text nach einem "programmiertem Rezept" welches wir ihm beim Aufruf mitgeben ab, und gibt den so geänderten Text auf der Standardausgabe (oder umgeleitet auch als Datei) wieder aus. Es handelt sich also um einen universell programmierbaren '''Text-Bearbeitungs-Filter''', mit dem wir nicht interaktiv arbeiten, sondern dem wir beim Programmaufruf Regeln mitgeben, nach denen ein Text zu ändern ist.

sed wurde 1973/74 von [http://senseis.xmp.net/?McMahon Lee E. McMahon] entwickelt. Es ist eine interpretierende Scriptsprache mit sehr begrenzten Funktionsmöglichkeiten und speziell für die Bearbeitung von Text ausgelegt. Sie baut direkt auf [[Reguläre Ausdrücke|Regulären Ausdrücken]] auf und umfasst nur wenige [[#Befehlsübersicht|Befehle]]. Alle Befehle und Schlüsselworte bestehen nur aus einem einzigem Zeichen, entweder Buchstabe oder Sonderzeichen. Nahe Verwandte von '''sed''' sind der Zeileneditor [http://linux.die.net/man/1/ed ed] (der zwar noch auf den meisten Systemen installiert ist, aber doch stark in die Jahre gekommen ist und kaum noch Verwendung findet) und der klassische UNIX Standard-Editor '''[[VIM|vi]]'''.

'''sed''' erlaubt eine sehr kompakte Programmierung. Für einen Ungübten sehen kleine Programme auf den ersten Blick oftmals wie eine zufällige Folge von Buchstaben und Sonderzeichen aus, Der Anteil der Sonderzeichen kann in einer einzelnen Zeile bisweilen erschreckend hoch werden. Folgendes kleines Beispiel zeigt eine etwas längere typischen Befehlszeile.
sed 's/ //g;s/$^.*$,$.*$$/\2,\1/;s/$^.*$,$.*,$$.*$$/\1 \3 \2/;s/,/ /g'
Diese Zeile hat durchaus einen Sinn und eine Funktion, sie wurde auch nicht boshafter Weise extra kompliziert geschrieben, sondern das ist normale SED-Sprache.
Eine solche Befehlszeile wird man sich natürlich nicht merken können und kaum buchstabieren können, ja man kann sie kaum fehlerfrei abschreiben, eventuelle Fehler durch fehlerhafte Schreibweise oder auch logische Fehler sind deshalb auch sehr schwer zu erkennen und zu beseitigen. Das war auch einer der Gründe für die Entstehung von [[awk]]

Die auf dem ersten Blick sehr ungewöhnliche Schreibweise wird bei etwas Beschäftigung mit '''sed''' schon durchsichtiger, und wer sich öfter und intensiver mit '''sed''' beschäftigt, wird durchaus schnell bemerken, wie hilfreich diese kryptische Sprache ist. Für manch einen ist es sogar eine Art Kult geworden und sie haben zur Übung, Demonstration oder aus Spaß mit '''sed''' die brauchbarsten und die unmöglichsten Dinge, sogar kleine Spiele mit '''sed''' programmiert. In diesem [http://sed.sourceforge.net/grabbag/scripts/ SED Script Archiv] sind einige solcher Programme zu finden. Weitere [http://sed.sourceforge.net/#scripts sed-scripte] und weitere [http://sed.sourceforge.net/#gamez Spiele ] gibt es auf [http://sed.sourceforge.net/ einer der wichtigsten SED-Seiten] (Web-Seiten geschrieben übrigens mit ? : [http://sed.sourceforge.net/local/scripts/sedindex2html.sed.html natürlich mit sed] ;-)))

Heute gibt es eine Vielzahl von [http://sed.sourceforge.net/sedfaq2.html#s2.2 '''sed''' Implementierungen für die unterschiedlichsten Betriebssysteme] die zT die eine oder andere Erweiterung unterstützen oder nicht. Unterschiede gibt es vor allem im Umfeld der [http://de.wikipedia.org/wiki/Regul%C3%A4re_Ausdr%C3%BCcke Regulären Ausdrücke], da es dort einige Spezifikationen gibt, die sich in Details unterscheiden. Unter Linux haben wir ein sehr leistungsfähiges [http://www.gnu.org/software/sed/manual/ GNUsed] das einige Erweiterungen beinhaltet, die nicht unbedingt portabel zu anderen Sed-Versionen sind.

=== Für was benötigen wir sed heute ? ===

Mit '''sed''' lassen sich kleinere Probleme schnell und effektiv lösen. Solche sed-Programme sind meist Einzeiler und werden nicht nur innerhalb von Scripten und der Shell benutzt, sondern durchaus auch einmal aus anderen Programmen oder Programmiersprachen heraus. Auch dort wird hin und wieder einmal auf eine Shellfunktion mit sed-Befehlszeile zurückgegriffen.

Für Randprobleme besonders bei Ein- und Ausgabe oder bei Konvertierung von Textdateien ist '''sed''' oftmals ein sehr hilfreiches Tool.
Darüber hinaus kann man '''sed''' überall dort einsetzen, wo häufig und regelmäßig immer die selben oder ähnliche Dinge erledigt werden sollen, oder wo viele Textdateien nach einem ganz bestimmten Muster verändert werden sollen. Beispiele hierfür sind z.B:

* Umwandlung von Textausgaben in bestimmte andere Formate oder zurück (z.B: Text nach HTML oder HTML nach Text);
* Extrahieren bestimmter Abschnitte aus Texten, oder bestimmte Textformatierungen
* das Ändern oder Korrigieren von Kleinigkeiten über viele HTML-Dateien oder an vielen Quellcode-Dateien

Überall dort wo der Aufwand für manuelle Änderung am Text ansteigt, wird '''sed''' interessant. Mit dem Stream Editor lassen sich eine Vielzahl von [http://sed.sourceforge.net/local/docs/emulating_unix.txt Standardkommandos von UNIX simulieren]. Auch diese Standardkommandos haben alle ihre Ausnahmen und Problemfälle, und auch dort kann man hin und wieder einmal '''sed''' als die Lösung für solche Problemfälle finden. 

Wer gezielt im WWW sucht, wird eine ganze Reihe von kleinen hilfreichen Anwendungen und Tricks rund um '''sed''' finden, Für viele Dinge, wie gezieltes Suchen, Extrahieren oder Änderungen in umfangreichen Texten, in vielen Dateien oder zur automatischen Bearbeitung von z.B. Konfigurationsdateien, wird man wohl auch morgen noch gerne auf '''sed''' zurückgreifen. Wenn moderne Programmiersprachen zu groß und mächtig oder unangemessen für winzige Probleme sind, oder wenn auf einige größere Standard-Tools auf Klein- und Minimalsystemen mal verzeichtet werden muss, dann ist eventuell '''sed''' als die kleine elegante Lösung die beste Option.

Für viele kleine Dinge ist '''sed''' durchaus gut geeignet, besonders wenn es sich kurz und knapp auf einer Zeile programmieren läßt, für viele Dinge insbesondere bei listenähnlichen Texten ist '''awk''' (wenn auch etwas langsamer bei der Arbeit) aber dennoch meist besser geeignet. Man sollte '''sed''' auch nicht dort einsetzen, wo die normalen Standard-Tools oder Programme das gewünschte Ergebnis mit vertretbaren Aufwand selbst liefern können, diese sind schneller und oftmals auch genauer. Bei größeren und komplizierten Probleme wird man freiwillig und gerne auf eine höhere Programmiersprache wie z.B. Perl oder Phyton ausweichen.

== das Funktionsprinzip ==

Das Prinzip von '''sed''' ist recht simpel, aber man muss es sich genau verinnerlichen, sonst bekommt man schnell Verständnisprobleme beim Schreiben oder Interpretieren von sed-Programmen.

Beim Aufruf von '''sed''' werden die Regeln zum Ändern des Textes beim Programmaufruf mit übergeben. Wird keine Datei angegeben, dann nimmt '''sed''' den Standardeingabekanal als Eingangsdatei, wird eine Datei angegeben, dann diese. Werden mehrere Dateien angegeben, dann werden die Dateien der Reihe nach bearbeitet, und zwar werden die Dateien aneinander gereiht, der '''Zeilenzähler''' wird also bei einer neuen Datei nicht wieder zurückgesetzt. Die Ausgabe erfolgt auf der Standardausgabe und kann von hier mit den normalen Umleitungen auch an andere Befehle übergeben werden, oder in eine Datei umgeleitet werden. Die Eingangsdateien werden also nicht geändert.

'''sed''' hat einen Textbuffer den sogenannten '''Musterspeicher''', dieser ist beim Starten des Programms leer. In diesen Musterspeicher wird die erste Zeile der Eingangsdatei geladen. Jetzt werden die Regeln auf diesen Musterspeicher angewendet und diese Zeile damit entsprechend geändert oder auch nicht. Sind alle Regeln abgearbeitet, dann wird der Inhalt des jetzt geänderten Musterspeichers nach stdout ausgegeben. Der Musterspeicher wird gelöscht und die nächste Zeile geladen, usw bis alle Zeilen der Eingabe verarbeitet sind. Beim Laden der neuen Zeile wird jeweils der interne Zeilenzähler um eins erhöht. Diesen Zeilenzähler können wir auch im sed-Program abfragen und auswerten.

Das Grundverhalten, dass '''sed''' jede bearbeitete Zeile selbstständig ausgibt bevor die nächste Zeile geladen wird, können wir mit einer Option beim Start von '''sed''' verhindern. Dann müssen wir jedoch innerhalb der Regeln festlegen, was '''sed''' denn ausgeben soll, wir müssen also "Print-Befehle" benutzen. Die Option bei Aufruf von '''sed''' dazu ist "'''-n'''".

Angenommen wir wollen aus einem Text die 2. Zeile löschen, dann müssen wir ohne Benutzung der Option '''-n''' die Regel nur so angeben, dass die 2. Zeile gelöscht oder übersprungen wird. Verwenden wir jedoch die Option '''-n''' so müssen wir ersteinmal dafür sorgen, dass wir alle Zeilen ausgeben und nur die 2. Zeile entweder bei der Ausgabe überspringen oder erst löschen bevor wir den dann leeren Buffer ausgeben. 
Das sind oftmals fast gegensätzliche Ansatzweisen für den gesamten Programmablauf, und innerhalb des Programms benötigen wir dabei oftmals gegensätzliche Befehle oder Optionen. Welche Option für welche Aufgabe jeweils besser geeignet ist, müssen wir beim Erstellen eines sed-Programms von Aufgabe zu Aufgabe selbst entscheiden. In der Anfangszeit, bei den ersten Programmierversuchen, wird es öfter passieren, dass entweder Zeilen doppelt vorkommen, oder gar keine oder nur unvollständige Ausgaben kommen, nicht selten  Option '''-n''' ;-))

=== was beinhaltet sed und was kann man damit machen ===

Neben dem '''Musterspeicher''' gibt es noch einen 2. Textbuffer, den sogenannten '''Haltespeicher'''. Auch dieser ist beim Start des Programms leer. In ihm könnte man jetzt z.B. den Inhalt des Musterspeichers kopieren und den Inhalt dort solange aufbewahren, bis er zu einem späteren Zeitpunkt benötigt wird, und dann wieder in den Musterspeicher laden. Hierfür gibt es einige [[#Befehlsübersicht| '''sed''' Kommandos]] mit denen die Daten zwischen diesen beiden Textbuffern ausgetauscht werden also:
''
* Musterspeicher durch Haltespeicher ersetzen
* Haltespeicher durch Musterspeicher ersetzen
* Inhalt von Halte- und Musterspeicher tauschen
* Inhalt von Musterspeicher an den Haltespeicher anhängen
* Inhalt von Haltespeicher an den Musterspeicher anhängen
'''Im Haltespeicher selbst kann aber nichts abgefragt oder gar verändert werden.''' Er dient nur zum Zwischenspeichern.

Und was geht jetzt mit dem Musterspeicher? 
Einige Funktionen mehr, denn hier kann auch der Inhalt geändert werden, und von hier aus werden auch die Ausgaben gemacht z.B.:
''
* Musterspeicher löschen
* die nächste Zeile einlesen
* die nächste Zeile hinten hinzufügen
* Musterspeicher nach stdout ausgeben
* Inhalte mit dem Haltespeicher austauschen
* den Musterspeicher leeren dafür aber einen im Programm enthaltenen Text ausgeben
* oder diesen Text vor dem Inhalt oder erst nach dem Inhalt des aktuellen Musterspeichers ausgeben
* den Musterspeicher in eine Datei schreiben
* Programmsprung je nach dem ob bestimmte Befehle den Musterspeicher geändert haben oder nicht
* einzelne Zeichen durch andere Zeichen ersetzen (ähnlich dem Befehl [http://linux.die.net/man/1/tr tr])
* und das Wichtigste, '''innerhalb des Musterspeichers suchen und ersetzen'''''

; Variablen ?
: außer dem Haltespeicher und der Variable in der '''sed''' automatisch die Eingabezeilen zählt, die wir aber nicht selbst ändern können, gibt es nichts 
; Schleifen ?
: gibt es auch keine, aber es gibt 2 '''Sprungbefehle''', ähnlich wie '''GOTO-Befehle''' und natürlich einen vorzeitigen Programmabbruch 
Wenn man jetzt noch die Kommentar-Möglichkeit und Befehlsgruppierung hinzuzählt hat man '''sed''' schon sogut wie komplett erklärt.

=== wie kann man damit Probleme lösen ===

Nun kann man sich ja fragen, wie man mit so einer spartanischen Ausstattung und einem minimalem Befehlssatz überhaupt größere und komplexe Probleme lösen könnte?

Der Befehl, der den Hauptteil der Arbeit innerhalb von '''sed''' leistet, ist oben nur als '''"suchen und ersetzen"''' angegeben. Dieser '''s-Befehl''' ist in der Kombination mit [[Reguläre Ausdrücke|Regulären Ausdrücken]] sehr mächtig, ''([[#der s-Befehl|weiter unten, spezielles Kapitel]])''. Er bietet wesentlich mehr Möglichkeiten als nur einzelne Worte auszutauschen, so wie man das von gleichnamigen Funktionen aus Text-Bearbeitungs-Programmen kennt. '''Suchen und ersetzen''' umfasst hier z.B. auch ''"eine bestimmte Stelle suchen und dort NICHTS gegen einen Text ersetzen"''. Unterstützt wird das Ganze durch Reguläre Ausdrücke. So lassen sich mit dem s-Befehl alle typischen Arbeiten an einem Text simulieren, z.B.: Einfügen; Überschreiben; Löschen; Verschieben; Erweitern; usw. 
'''Aber wie gesagt: alles immer jeweils nur in dem Text, der momentan im Musterspeicher steht.'''

Ein kleines Problem ergibt wohl auch in sed-Programmierung nur 1 , 2 oder einige wenige Befehle, und ist mit etwas Übung schnell zu entwerfen. Beim Entwickeln von Lösungen zu komplexen Problemen mit '''sed''' muss das Problem sehr genau analysiert werden, in kleinste Einzelschritte zerlegt, entsprechend der begrenzten Möglichkeiten von '''sed''' ein logischer Lösungsweg gefunden werden und dieser dann in Einzelschritten zu einem fertigen sed-Programm aneinandergereiht werden. Die vielen Annehmlichkeiten moderner Programmiersprachen gibt es bei '''sed''' nicht, hier muss man gelegentlich auch mal einen Lösungsweg von ganz unten und nur mit purer Logik selbst neu erfinden. Und genau in dieser Herausforderung liegt wohl auch oftmals der Reiz dennoch einmal selbst ein größeres Problem mit '''sed''' anzugehen. 
Das Ganze erinnert etwas an [http://de.wikipedia.org/wiki/Assemblersprache Assembler-Programmierung], und das nicht ganz unbegründet. Die Mehrzahl der Befehle von '''sed''', sind in ihrer Funktion sehr elementar und nicht unähnlich den Operationen die in einer CPU auf Registerebene ausgeführt werden. Der Unterschied ist: die CPU arbeitet mit Registern einer definierten Bit Breite und '''sed''' arbeitet mit einem Textbuffer in dem sich eine beliebige Anzahl von Textzeichen befinden. Bei den Akkumulator Befehlen (also den Befehlen mit denen wir z.B.. Vergleichen und Ändern können) haben wir bei der CPU allerdings nur die vergleichsweise einfache Bit-Logik, in '''sed''' gibt es dort universelle und komplexe Reguläre Ausdrücke die auf Buchstaben, Sonderzeichen, Wörter und ganze Texte angewendet werden. 

Und warum der Stream-Editor so funktioniert und nicht anders, wird deutlich wenn man sich noch einmal vor Augen führt, wann dieser Stream-Editor entwickelt wurde. 
1973 da hatten die [http://de.wikipedia.org/wiki/PDP-11 Rechner] Hauptspeicher von typisch 16-64KB Größe, Speichermedien von wenigen MB waren riesige Massenspeicher, UNIX und die Grundzüge der Programmiersprache C waren gerade erst geboren, bzw wurden gerade von Assembler Programmierung auf C portiert und komplett überarbeitet ([http://de.wikipedia.org/wiki/Geschichte_von_Unix Geschichte von Unix]).
 Terminals gab es zwar, aber der verbreitetste Weg durch einen Rechner war immer noch, von der [http://technikum29.de/de/rechnertechnik/lochkarten-edv Lochkarte] oder [http://www.pdp8.net/tu56/tu56.shtml einem Magnetband] über den Rechner auf den Drucker. Alles was vorher kam war sehr viel Assembler-Programmierung, erste brauchbare universelle Betriebssysteme wie [http://web.mit.edu/multics-history/source/Multics_Internet_Server/Multics_sources.html Multics] und [http://infolab.stanford.edu/pub/voy/museum/pictures/display/3-1.htm nackte Logik], das gesamte Umfeld war ein Tummelplatz von genialen Wissenschaftlern. 
Wenn wir also heute immer noch mit dem Stream Editor arbeiten, dann muss in ihm wohl eine geniale Idee verbaut sein.

== der Aufruf und die Optionen von sed ==

=== die Optionen ===

Eine Option '''-n''' steuert direkt die innere Abarbeitung und wurde oben schon besprochen. Weitere wichtige Optionen sind '''-e''' und '''-f'''

; sed -e REGEL:
hinter der Option steht unmittelbar die Regeln für die Bearbeitung. Sind in der REGEL Leer- oder Sonderzeichen enthalten dann müssen wir sie vor der Interpretation der Shell durch Hochkomma schützen werden ( also sogut wie immer ;-))). Die Option '''-e REGEL''' kann auch mehrfach bei einem Aufruf angegeben werden, und auch in Kombination mit der folgenden Option benutzt werden. ( Die Option '''-e''' ist nicht zwingend erforderlich, '''sed''' interpretiert automatisch das erste Zeichen das nicht eindeutig einer Option zugeordnet werden kann, als der Begin einer Regel. Man sollte sich dennoch angewöhnen die Optionen sauber auszuschreiben)
; sed -f REGELDATEI:
Die Regel oder mehrere Regeln stehen in einer separaten Datei, die beim Start mit der Option ''' -f ''' an '''sed''' übergeben wird. Auch diese Option kann in der Befehlszeile mehrfach vorkommen (auch in Kombination mit obriger Option), es werden dann der Reihe nach alle Regeln auf die zu bearbeitende Datei angewendet.
; weitere Optionen sind abhängig von der speziellen sed-Implementierung :
diese könnten spezielle Steuerungsoptionen für den Umgang der Eingabedateien beinhalten, oder auch die Interpretation der Regulären Ausdrücke beeinflussen. Diese Optionen sind nicht zwingend kompatibel zu anderen sed-Implementierungen, und werden auch nur in Einzelfällen benötigt.

=== der Aufruf ===

Nachfolgend ein paar Beispiele wie sed-Programme auf der Konsole oder aus einem Script heraus aufgerufen werden können
<pre>
BEFEHL | sed -e 'REGEL' > AUSGABEDATEI

sed -n -e 'REGEL' EINGABEDATEI > AUSGABEDATEI

BEFEHL | sed -f REGELDATEI | BEFEHL

sed -e 'REGEL1' -f REGELDATEI -e 'REGEL2' <EINGABEDATEI >AUSGABEDATEI

VARIABLE=`BEFEHL | sed -e 'REGEL1' | sed -ne 'REGEL2' | BEFEHL `
</pre>
Oftmals lassen sich die Regeln für ein sed-Programm aus bestimmten Regelgründen nicht in eine Zeile schreiben.
<pre>sed -ne '
BEFEHL1\
Optionen zum BEFEHL1\
weitere Optionen
; BEFEHL2 ; BEFEHL3\
Optionen zum BEFEHL3
; BEFEHL4 ; BEFEHL5
'</pre>

==== sed-Programm als Script ====

'''sed''' Programme lassen sich auch als eigenständige Script schreiben. Dazu wird der Programmtext in eine Datei geschrieben. An den Begin der Datei wird die '''[http://de.wikipedia.org/wiki/Shebang Magic Line''' (shebang)]
#!/usr/bin/sed -f
(eventuell noch zusätzlich die Option '''-n''') gesetzt. 
Die Datei erhält Ausführungsrechte. Jetzt kann sie wie andere Scripte auch, direkt mit ihrem Namen ausgeführt werden.

==== Übergabe von Shell-Variablen an Sed-Programme ====

'''sed''' selbst kann nicht auf Variablen der Shell zurückgreifen und kennt auch keine eigenen Variablen, es kennt nur seinen Programmtext. Also muss bei Bedarf der Programmtext beim Aufruf von '''sed''' entprechend der Shellvariablen angepasst werden. In Shellscripten findet man sehr oft einen kleinen Trick.

Die Quotierung des Befehlstext, der den Befehlstext vor der Interpretation der Shell schützen soll, ist an einigen Stellen unterbrochen. An diesen Stellen stehen dann '''$Shellvariable'''. Beim Aufruf des sed-Kommandos sieht die Shell diese Variablen und ersetzt sie im Programmtext durch den Wert der Shellvariable. Somit hat man eine sehr elegante Steuerung der Funktion des sed-Scriptes durch Variable der Shell
#!/bin/bash

sed -n '
'/$1/' !{
#no match - put the current line in the hold buffer
x
# delete the old one, which is
# now in the pattern buffer
d
}'
Die genaue Funktion die sed ausführen soll, soll uns hier erst einmal nicht interessieren, gemeint ist hier die unterbrochen Quotierung 
 
''''/$1/'!{ ''' 
 
die roten Hochkommas lassen die Shell '''/$1/''' sehen und damit wird die Shell beim Aufruf von '''sed''' an dieser Stelle anstatt '''$1''' den Wert des ersten Arguments des Scriptes einsetzen. Wir haben hier also über die Optionen beim Aufruf des Shellscript direkten Einfluss auf die Funktionsweise von '''sed'''

==== Nutzung von sed in Here-Dokuments's ====

Eine weitere häufig benutzte Aufrufmöglichkeit von '''sed''' innerhalb von Shell-Scripten ist das [http://en.wikipedia.org/wiki/Heredoc Here Document]
Auch hier wird oftmals mit der oben gezeigten Methode auf Shellvariablen zurückgegriffen. Die Eingabefile die '''sed''' verarbeitet, ist dabei der Inhalt des Here-Dokumentes. folgendes Beispiel soll das verdeutlichen.
<pre>
#!/bin/bash
KASSE=129.32
WAEHRUNG="EURO"
MITARBEITER="Hr. Maier"

sed -e 's/XXXX/'$KASSE'/g;s/YYYY/'"$WAEHRUNG"'/g;s/ZZZZ/'"$MITARBEITER"'/g' <<EOF
Der Bargeldbestand von XXXX YYYY wurde heute festgestellt
verantwortlich ist wie immer ZZZZ
EOF
</pre>
hier wird auf 3 Shellvariablen zugegriffen die beim Aufruf durch deren Werte ersetzt werden. Die Ausgabe ist dann der Inhalt des Here-Dokumentes und die Platzhalter '''XXXX ; YYYY ; ZZZZ ''' werden durch '''sed''' dann durch diese Werte ersetzt, die '''sed''' beim Kommandoaufruf von der Shell in den sed-Programmtext eingefügt bekommt.
<pre>Der Bargeldbestand von 129.32 EURO wurde heute festgestellt
verantwortlich ist wie immer Hr. Maier</pre>

== die Befehle ==

Wie oben schon angedeutet gibt es nicht übermäßig viele Befehle. Die Befehle bestehen alle aus nur einem einzigem Zeichen, meist ein Buchstabe den man auch leicht als Kürzel für den Befehl interpretieren kann. (damit hat man wenigstens eine Gedankenstütze)
* p = '''p'''rint
* l = '''l'''ist
* i = '''i'''insert
* a = '''a'''pend
*usw

zu einigen Befehlen gehören noch Optionen, und zu den meisten Befehlen können Adressen angegeben werden.

=== Adressierung der Befehle ===

Unter Adressen versteht man das Auswahlkriterium der Zeilen, auf denen der Befehl Anwendung finden soll. Die Adressenmöglichkeiten der einzelnen Befehle ist unterschiedlich, nicht alle Befehle können z.B. mit 2 Adressen versehen werden, manche kann man gar nicht mit Adressen versehen. Adressen können, müssen aber nicht angegeben sein. Die Adresse steht vor dem Befehl. Ein Negationszeichen '''!''' zwischen der Adresse und dem Befehl negiert die Adresse, ( also "alle Anderen außer den adressierten Zeilen" treffen zu )

* Ist keine Adresse angegeben, dann wird dieser Befehl auf alle Zeilen der Eingabedatei ausgeführt
* gibt es eine Adresse, dann wird dieser Befehl nur auf solche Zeilen ausgeführt, die zu dieser Adresse passen
* viele haben 2 Adressen in der Schreibweise '''Adresse1,Adresse2''' Hier handelt es sich um ein '''von Adresse1 bis zur Adresse2'''
* (GNU)sed unter Linux erlaubt noch einiges mehr was aber nicht portable zu anderen sed-Implentationen ist (z.B. '''3~4''' würde bedeuten ab Zeile 3 jede 4.Zeile)

Die Adressierungsmöglichkeiten unterliegen folgenden Regeln

* Eine Adresse kann eine Zahl sein, diese bedeutet die entsprechende Zeilennummer der Eingabedatei
* Eine Adresse kann ein Regulären Ausdruck sein '''/regex/''' entspricht alle Zeilen auf die dieser Reguläre Ausdruck passt, ( hierbei ist es möglich aber selten gebräuchlich auch '''\%regex\%''' zu schreiben, wobei '''%''' ein beliebiges Zeichen ist)
* zwei Adressen '''Zahl1,Zahl2''' enspricht von Zeilennummer '''Zahl1''' bis Zeilennummer '''Zahl2''' bezogen auf die Eingangsdatei
* '''/regex1/,/regex2/''' bedeutet vom der Zeile die '''regex1''' erfüllt bis zur Zeile die '''regex2''' erfüllt
* Kominationen von '''Zahl,/regex/''' und '''/regex/,Zahl''' sind möglich
* anstatt einer Zahl das Zeichen '''$''' bedeutet die letzte Zeile
* Zeilenberechnungen mit Zeilennummern wie z.B. '''$-10''' (als Adresse für die letzten 10 Zeilen gemeint) geht nicht
* Die Adressierung kann für eine Gruppe von Befehlen erfolgen wenn die Befehle in '''{ }''' eingeschlossen sind und durch ''';''' voneinander getrennt werden. Die Adresse steht vor der öffnenden Klammer. ''' Achtung: } muss dabei auf einer Zeile am Zeilenanfang stehen, dass heißt es dürfen davor nur Leer oder Tabulatorzeichen stehen'''
* Das Zeichen '''!''' zwischen der Adresse und dem Befehl negiert die Adresse, also alle Zeilen die nicht auf die Adresse zutreffen.

==== Beispiele für Adressierung ====

einfache Beispiel in Kombination mit den Befehlen '''p'''rint und '''d'''elete und der Einfluss der Option '''-n'''
<pre>
sed -ne '1,10p' # Zeilen 1 bis 10 ausgeben
sed -e '1,10p' # Zeilen 1 bis 10 doppelt restlichen Zeilen einfach ausgeben
sed -e '2d' # 2. Zeile löschen
sed -e '2,10!d' # Zeilen 2 bis 10 ausgeben
sed -ne '2,10p' # Zeilen 2 bis 10 ausgeben
sed -e '10,$p' # Zeilen 1 bis 9 einfach und alle anderen Zeilen doppelt ausgeben
sed -ne '$p' # letzte Zeile ausgeben

sed -e '/Text/d' # Alle Zeilen die nicht "Text" enthalten, ausgeben
sed -e '/Text/!d' # Alle Zeilen die "Text" enthalten, ausgeben
sed -ne '/Text/,$!p' # Alle Zeilen bevor eine Zeile mit "Text" kommt, ausgeben
sed -ne '/Begin/,/END/p' # Alle Zeilen von "Begin" bis "END" ausgeben (wird "END" nicht gefunden bis Schluss)
# Kommt nach einem "END" wieder ein "Begin" dann von dort aus wieder ausgeben </pre>

hier jetzt mal ein paar Beispiele zur Verwendung von [http://sed.sourceforge.net/sedfaq3.html#s3.7 Charakter Klassen] und ähnlichen Neuerungen die in GNU-sed unter anderem also auf Linux funktionieren, aber nicht 100% portabel sind
<pre>
sed -ne '/^[[:alnum:]]/!p' # Ausgabe alle Zeilen die nicht mit einem Buchstaben oder Zahl beginnen
sed -ne '3~2p' # Ab der 3.Zeile jede 2.Zeile ausgeben (also ungerade Zeilen ab Zeile 3 )
sed -ne '5,/Text/p' # Ab der 5.Zeile bis zu einer Zeile mit "Text" ausgeben
sed -ne '3,+7p' # Die 3.Zeile und die 7 folgenden Zeilen ausgeben
sed -ne '/Begin/,+2p' # Die Zeilen die "Begin" enthalten und jeweils die nächsten 2 Zeilen ausgeben
</pre>

Bisher wurden nur sehr einfache Reguläre Ausdrücke verwendet, aber da geht natürlich einiges mehr
<pre>
sed -ne '/^[EBH]/p' # alle Zeilen die mit "E","B" oder "H" beginnen ausgeben
sed -e '/^$/d' # alle leeren Zeilen löschen
sed -ne '/^[^#].*/p' # jede Zeile ausgeben, die mit einem anderem Zeichen als "#" beginnt
sed -ne '/^[[:space:]]*#/d' # Zeilen deren erstes Zeichen (außer Space und Tabulator) "#" ist, löschen
sed -ne '/^.\{64\}/p' # Alle Zeilen die mindestens 64 Zeichen lang sind, ausgeben
sed -ne '/[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}/p'
# druckt jede Zeile in der eine IP-Adresse enthalten sein könnte
</pre>

und man merkt sehr schnell, dass es mit Regulären Ausdrücken hier schon langsam unübersichlich wird. Reguläre Ausdrücke sind schon eine kleine Wissenschaft für sich, da aber bei '''sed''' noch zusätzliche Sonderzeichen und auch noch weitere Regeln dazukommen, also bestimmte Zeichen noch zusätzlich entweder entwertet oder aktiviert werden müssen, kann man hier das Chaos durchaus noch etwas perfektionieren.

Um z.B. alle fehlerfreien Zeilen zu suchen, die einen Zeitstring '''YYYY-MM-DD''' entsprechen wie ihn z.B. auch '''date +%F''' liefert, müsste man mit '''sed''' wie folgt adressieren. Hier mal gleich der Konsolausdruck. ;-)
<pre>
LINUX: # cat test1
2008-10-02
2008-03-19
2007-09-01
2006-07-28
2008-10-05
2007-13-01
2006-06-31
2008-30-02
2005-02-29
2006-11-31
2008-00-02
2004-02-29
LINUX: # sed -ne '/[1-9][0-9][0-9][0-9]-$\(0[1-9]\|1[0-2]$-$[01][1-9]\|10\|2[0-8]$\|$0[13-9]\|1[0-2]$-$29\|30$\|$0[13578]\|1[02]$-31\)\|$[0-9][0-9]\(0[48]\|[2468][048]\|[13579][26]$\|$0[48]\|[2468][048]\|[13579][26]$00\)-02-29/p' test1
2008-10-02
2008-03-19
2007-09-01
2006-07-28
2008-10-05
2004-02-29
LINUX: #
</pre>
Und damit fängt es langsam an Spaß zu machen, aber wir wollen hier bei '''sed''' bleiben. Für komplizierte Reguläre Ausdrücke gibt es auch [http://regexp-evaluator.de/evaluator/ Tools] und jede Menge gute Seiten im WWW.

==== ein paar Regeln zu Regulären Ausdrücken in sed ====

Nur mal so als Gedankenstütze zum nachlesen beim nächsten Problem mit '''sed''' und Regulären Ausdrücken mal hier einige Regeln 
'''sed''' verwendet '''"Basic Regular Expressions"''' einige Unterschiede zu den '''"Erweiterten Regulären Ausdrücken"''' sind z.B.:

* Die Quantifikatoren "'''|'''", "'''+'''" und "'''?'''" sind normale Zeichen ''(GNU-sed wie es in Linux enthalten ist, kennt jedoch diese Operatoren, wenn sie durch einen vorangestellten Backslash "escaped" werden)''

* die Klammern '''"{" "}" "(" ''' und ''' ")"''' sind normale Zeichen und müssen mit Backslashes "escaped" (aktiviert) werden, also als "'''\{'''" ; "'''\}'''" ; "'''$'''" und "'''$'''"geschrieben werden.

* die Zeichen, die durch "'''$'''" und "'''$'''" eingeschlossen werden, können später mit "'''\1'''" usw. (max "'''\9'''" ) dereferenziert werden

* "'''^'''" ist ein normales Zeichen, wenn es nicht am Beginn eines Ausdrucks, oder eines Klammerausdrucks steht

* "'''$'''" ist ein normales Zeichen, wenn es nicht am Ende eines Ausdrucks oder eines Klammerausdrucks steht

* "'''*'''" ist am Beginn eines Ausdrucks oder eines Klammerausdrucks ein normales Zeichen

=== der s-Befehl ===

Der mit Abstand wichtigste Befehl in '''sed''', der Befehl '''"s///"'''. Alle anderen Befehle sind nur das Beiwerk. Wer sich schon einmal etwas intensiver mit [[VIM|vi oder VIM]] beschäftigt hat, wird diesem Befehl vielleicht schon einmal benutzt haben. Die prinzipelle Funktion dieses Befehles ist schnell mit "suchen und ersetzen" erklärt. Die Schreibweise: 
 
[ADRESSE]'''s/'''SUCHMUSTER'''/'''ERSETZUNG'''/'''[FLAG] 


* '''ADRESSE''' ist der optionale Ausdruck wie er [[#Adressierung der Befehle|oben]] schon beschrieben ist, fehlt er, wird der Befehl auf alle Zeilen angewendet
* '''FLAG''' steuert die Eigenschaften des Befehls und ist ebenfalls optional, [[#Adressierung der Befehle|Übersicht der möglichen Flags]]; ist kein Flag angegeben, gilt '''1''' ; welches dann bedeutet, es wird nur der erste gefundene Ausdruck der auf das Suchmuster passt, ersetzt.
* '''s''' ist der Befehlsname selbst
* '''SUCHMUSTER''' ist ein [[Reguläre Ausdrücke|Regulärer Ausdruck]] nach dem gesucht wird
* '''ERSETZUNG''' enthält den Text, der den Teil des Orginaltextes ersetzt, der durch das Suchmuster gefunden wird.
* Als Abrenzung der einzelnen Optionen sind 3 '''"/"''' Begrenzer zu setzen. ''(Bei Bedarf darf hier auch statt '''"/"''' jedes andere Zeichen verwendet werden, es gilt das Zeichen als Trennzeichen, dass unmittelbar auf '''s''' folgt. Diese Option sollte jedoch mit Sorgfalt verwendet werden, da es ein späteres Interpretieren eines komplizierten Befehls durchaus auch erschweren kann)''

In einer der häufigsten und einfachsten Anwendungsbereiche könnte ein kompletter Befehl jetzt so aussehen.
sed -e 's/Strauch/Baum/g'
; Erläuterung
: * es gibt keine Adresse, also wird der s-Befehl auf jede Zeile angewendet
: * Reguläre Suchausdruck lautet in diesem Beispiel einfach '''"Strauch"'''
: * Der Ersetzungtext ist '''"Baum"'''
: * als Flag wird '''"global"''' verwendet, es werden also alle gefundenen Stellen pro Zeile ersetzt.
: * da sed ohne die Option '''-n''' gestartet wurde erfolgt eine automatische Ausgabe.

Damit würde in einer Datei jedes Vorkommens der Buchstabenkombination "Strauch" durch "Baum" ersetzt, also nicht nur das Wort Strauch selbst, sonder z.B. würde aus dem Wort "Strauchdieb" das Wort "Baumdieb"

Der Befehl wird jetzt desshalb so mächtig, da Reguläre Ausdrücke nicht nur Buchstabenkombinationen kennen, sondern man damit jede nur erdenkliche Zeichenkombination universell in logischer Form eindeutig beschreiben kann, man Zeilenanfang und Zeilenende bestimmen kann, mit Zeichengruppen, Zeichenklassen, Alternativen, Wiederholungszeichen, und gruppierten Ausdrücken arbeiten kann.

==== die Bedeutung der Flags ====

Mit den Flags kann die Funktion des '''s-Befehls''' gesteuert werden. Ist kein Flag angegeben gilt '''1''' ; also nur Ersetzung des ersten Vorkommens des gefunden Strings

{| border=1
|+ '''Bedeutung der Flags beim s-Befehl '''
! Flag !! Bedeutung !! Beispiel !! Bemerkung
|-
!| N
|| N=Zahl (1 < 512) ; das N'te Vorkommen
!| s/AB/CD/2
|| wird N nicht angegeben dann erste Vorkommen
|-
!| g
|| global ; alle Vorkommen
!| s/AB/CD/g
|| es werden alle Vorkommen ersetzt
|-
!| p
|| print ; Ausgabe bei Ersetzung
!| s/AB/CD/p
|| wurde eine Ersetzung vorgenommen wird der Buffer an stdout ausgegeben
|-
!| w DATEI
|| write DATEI bei Ersetzung
!| s/AB/CD/w FILE
|| bei Ersetzung Ausgabe des Buffers in die angegebene Datei
|-
!| i
|| case-insensitive ; Groß-Kleinschreibung ignorieren
!| s/AB/CD/i
|| ist nicht kompatibel zu allen SED-Implementierungen
|-
!| m
|| ||
|| betrifft Interpretation von '''^ '''und''' $''' ; nicht kompatibel
|-
!| x
|| ||
|| nicht kompatibel ; nur bei ssed im Perlmodus
|-
!| s
|| ||
|| nicht kompatibel ; nur bei ssed im Perlmodus
|}
es ist auch mehr als nur ein einzelnes Flag möglich, soweit die Kombination einen Sinn ergibt. z.B.
<pre>
LINUX: # echo "abcabcabc" | sed -ne 's/AB/CD/2ip'
abcCDcabc
LINUX: # </pre>

==== kleine Befehlsbeispiele zum Suchen und Ersetzten ====
<pre>
sed -e 's/blau\|lila/rot/2' # Das 2.Vorkommen je Zeile von "blau" oder "lila" wird durch "rot" ersetzt

sed -e '/^$/!s/^/#/ ' # bei alle nichtleeren Zeilen am Zeilenanfang "#" einfügen

sed -e 's/#.*$//' # von einem Zeichen "#" bis zum Zeilenende alles löschen

sed 's/^[ \t]*//;s/[ \t]*$//' # entferne alle Leerzeichen und Tabulatoren am Anfang und Ende der Zeilen

sed -e 's/Michael[^a]/Herr &/' # ersetze "Michael" durch "Herr Michael" jedoch nicht wenn hinter "Michael" ein "a" folgt.

sed -e 's/[Cc]olor/[b]&[\/b]/g' # jedes "Color" und "color" in "[b]Color[/b]" oder "[b]color[/b]" änderen

date +%F | sed -e 's/$[0-9]\{4\}$-$[0-9]\{2\}$-$[0-9]\{2\}$/heute ist der \3.\2. \1/'
#das Datumsformat YYYY-MM-DD umwandeln zu "heute ist der DD.MM. YYYY"
</pre>
'''Besonderheiten der Beispiele''' 

# Beispiel: es wird eine Oderverknüpfung benutzt '''|''' muss dabei entwertet werden also '''\|'''
# Beispiel: Verwendung der Sonderzeichen '''^''' für Zeilenanfang und '''$''' für Zeilenende
# Beispiel: '''#.*$''' bedeutet Zeichen '''#''' anschließend müssen 0 oder beliebig viele beliebige Zeichen '''(.*)''' stehen, bis Zeilenende '''($)''' ; alles wird durch NICHTS ersetzt '''(//)'''
# Beispiel: '''[ \t]''' an dieser Stelle entweder ein Leerzeichen oder ein Tabulator, das '''"*"''' darf sich 0 bis beliebig oft wiederholen. Hier wurden 2 Sedbefehle durch '''";"''' getrennt, beide werden hintereinander auf alle Zeilen ausgeführt.
# Beispiel: '''[^a]''' das '''"a"''' ist durch '''"^"''' negiert, das Bedeutet ('''nicht "a"''') an dieser Stelle, das '''"&"''' im Ersetzungsfeld bedeutet an dieser Stelle der gesamte mit dem Muster gefundene String einsetzen.
# Beispiel: Im Ersetzungsfeld steht wieder '''"&"''' der '''"/"''' im Ersetzungstext musste entwertet werden '''"\/"'''
# Beispiel: Hier haben wir zum einem '''"\{ \}"''' mit der geschweiften Klammer läßt sich festlegen wie oft sich der vorhergehende Ausdruck oder Zeichen wiederholen soll, hier z.B. '''[0-9]\{4\}''' bedeutet genau 4 Mal eine Ziffer 0 bis 9, weiterhin haben wir '''""''' das ist eine Gruppierung (ähnlich einer Variable) mit '''"\1" bis "\9"''' kann sie im Ersetzungsfeld verwenden können. der Inhalt ist der jeweilige mit der entsprechende Klammer gefundene Text, in diesem Beispiel haben wir 3 solche Gruppen und wir geben sie in umgegehrter Reihenfolge wieder aus '''"\3 \2 \1"'''

=== Befehlsübersicht ===

{| border=2
|+ '''Übersicht der Befehle und Schlüsselworte'''
! Kommando !! Addr !! stdin !! stdout !! Muster Speicher !! Halte Speicher !! Erklärung
|-
! ; || - || - || - || - || -
|| Trennzeichen zwischen einzelner Befehle
|-
! ! || - || - || - || - || -
|| Negationszeichen vor Befehl (Steht zwischen Adresse und Befehl und kehrt die Adresse ins Gegenteil)
|-
! { } || 2 || - || - || - || -
|| umschließt einen Block, der mehrere Kommandos beinhalten kann, diese müssen durch ''';''' getrennt werden
|-
! # || - || - || - || - || -
||Kommentar, alle nachfolgenden Zeichen bis Newline werden nicht als Programmcode interpretiert
|-
! : MARKE || - || - || - || - || -
|| definiert das Sprungziel '''MARKE''' Siehe Kommandos '''b''' oder '''t'''
|-
! = || 2 || - || X || - || -
|| gibt die aktuelle ZeilenNr der Eingabedatei auf separater Zeile aus
|-
! a || 1 || - || X || - || -
|| gibt die nachfolgenden Text nach der Ausgabe des Buffers aus
|-
! b MARKE || 2 || - || - || - || -
|| Sprungbefehl zur '''MARKE''' bzw. zum Ende des Scripts
|-
! c || 2 || - || X || X || -
|| Musterspeicher bzw Bereich löschen und stattdessen nachfolgenden Text ausgeben
|-
! d || 2 || - || - || X || -
|| Musterspeicher löschen
|-
! D || 2 || - || - || X || -
|| Musterspeicher bis zum Zeichen „newline“ löschen
|-
! g || 2 || - || - || X || -
|| Musterspeicher wird durch den Inhalt des Haltespeicher ersetzt.
|-
! G || 2 || - || - || X || -
|| Haltespeicher wird an den Inhalt des Musterspeicher angefügt
|-
! h || 2 || - || - || - || X
|| Haltespeicher wird durch den Inhalt des Musterspeicher ersetzt
|-
! H || 2 || - || - || - || X
|| Musterspeicher wird an den Inhalt des Haltespeicher angefügt
|-
! i || 1 || - || X || - || -
|| gibt die nachfolgenden Text vor der Ausgabe des Buffers aus
|-
! l || 1 || - || X || - || -
|| Musterspeicher ausgegeben. ("C-Notation" unbekannte Zeichen in Oktalformat)
|-
! n || 2 || X || ? || X || -
|| je nach Option '''-n''' wird der Buffer ausgegeben oder nicht, neue Zeile laden
|-
! N || 2 || X || - || X || -
|| Nächste Zeile an Inhalt des Musterspeichers angefügen
|-
! p || 2 || - || X || - || -
|| Musterspeicher ausgegeben.
|-
! P || 2 || - || X || - || -
|| Musterspeicher bis zum nächsten „newline“-Zeichen ausgeben.
|-
! q || 1 || - || - || - || -
|| sed Beenden, bei nicht gesetzter Option '''-n''' wird Musterspeicher ausgegeben
|-
! r FILE|| 1 || - || X || - || -
|| Inhalt einer angegebenen '''FILE''' wird eingelesen und ausgegeben.
|-
! s/regex/rpl/flg|| 2 || - || - || X || -
|| Ersetzt '''regex''' durch '''rpl'''. Null oder mehrere '''flg''' wirken steuernd ein
|-
! t MARKE || 2 || - || - || - || -
|| bedingter Sprungbefehl zur '''MARKE''' abhängig von vorheriger '''s''' oder '''y''' Kommandos
|-
! w FILE|| 2 || - || X || - || -
|| Schreibt Musterspeicher in '''FILE'''
|-
! x || 2 || - || - || X || X
|| Inhalt von Muster- und Haltespeicher vertauschen
|-
! y/src/rpc/flg|| 2 || - || - || X || -
|| Ersetzt jedes Zeichen im pattern buffer welches in '''src''' vorkommt durch das entsprechenden Zeichen in '''rpc'''
|}

== kleine sed Programme am praktischen Beispiel erklärt ==

Auf unseren Rechnern in vielen Standard-Scripten sind hunderte von kleinen und kleinsten sed-Befehlen eingebettet. Größere und komplizierter sed-Befehle, sind dabei sehr selten. Es sind fast alles nur sehr einfache Befehle, die sollten mit dem bisschen Wissen hier aus diesem Artikel und ein wenig Verständnis für Reguläre Ausdrücke sicherlich schnell zu durchschauen sein, auch wenn sie eventuell auf dem ersten Blick sehr kompliziert aussehen.
Machen wir doch die Probe aufs Exempel:

=== Beispiel 1 ===

gefunden in '''/etc/rc.d/rpmconfigcheck'''
sed -e 's/^/ /' < $configcheckfile
* einfacher s-Befehl, Eingabedatei ist der Variable '''configcheckfile''' gespeichert
* '''"^"''' Zeilenanfang wird durch einige Leerzeichen ersetzt, also weiter nichts wie einrücken von Text.

=== Beispiel 2 ===

gefunden in '''/etc/rc.d/smbfs'''
mountpoint=$( echo "$mountpoint"|sed "s/\/*$//")
* es wird die Variable '''mountpoint''' (in der scheinbar Text steht) mit '''echo''' ausgegeben, durch '''sed''' gefiltert und die Ausgabe wieder in der Variable '''mountpoint''' gespeichert
* '''"s/\/*$//"''' Trennzeichen ist '''"/"''' das haben wir aber 4 Mal ;-) , Beim näheren Hinsehen ist das 2 '''"/"''' mit '''"\"''' entwertet
* damit lautet unsere Suchmaske ohne Quotierung "'''/*$'''" und das ist schlichtweg als letztes Zeichen vor Zeilenende (eventuelle auch mehrfach vorhanden) '''"/"''' ([http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Quantoren_.28Angabe_der_Anzahl_Wiederholungen.29 Quantoren])
gemeint
* ersetzt wird mit NICHTS, also macht der Befehl nichts weiter als eventuelle '''"/"''' am Ende des Variableinhaltes abzuschneiden

=== Beispiel 3 ===

gefunden in '''/etc/rc.d/fbset'''
mode=`echo $FBSET_PARAMS | sed -e 's/^-[^ ]*//' -e 's/ -[^ ]*//g'`
* auch hier wird der Inhalt einer Variable durch '''sed''' gefiltert und das Ergebnis in einer anderen Variable gespeichert
* '''sed''' hat hier 2 Regeln wie wir an 2 mal '''-e''' und der Quotierung schnell herauslesen.
* die erste Regel ist ein s-Befehl, Suchmuster ist '''"^-[^ ]*"''' bedeutet Am Zeilenanfang '''"^"''' ein '''"-"''' und dann''' "[^ ]*"''' also [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Ein_Zeichen_aus_einer_Auswahl alles andere nur kein Leerzeichen] und das sooft es will. Ersetzt wird durch NICHTS, also schneidet die erste Regel am Zeilenanfang alles was mit einem Strich anfängt bis zum ersten Leerzeichen weg.
* die zweite Regel auch ein s-Befehl, macht fast das selbe, nur nicht vom Zeilenanfang an, sondern das Zeichen vor dem ersten Strich muss ein Leerzeichen sein, dann wird auch bis zum nächsten Leerzeichen nach dem Strich alles gelöscht.
* der 2. Befehl arbeitet global, das heist es werden alle " -irgendwas" gelöscht.
* In Summe macht der gesamte sed-Befehl also nichts anderes, als alle Optionen mit beginnendem "-" aus dem Variabelinhalt zu beseitigen.

=== Beispiel 4 ===

gefunden in '''/etc/rc.d/network'''
RL=`sed -n 's=^id:$.$:initdefault.*$=\1=p' /etc/inittab`
* der Inhalt von /etc/inittab wird durch '''sed''' gefiltert und in der Variable''' RL''' abgelegt.
* es ist ein s-Befehl '''-n''', also keine automatische Ausgabe,
*Dieses Mal ist das Begrenzungszeichen '''"="''' da es unmittelbar nach dem '''"s"''' kommt, der Befehl hat also hier die Struktur '''s===''' und nicht wie bisher gewohnt '''s///'''
* als Flag haben wir ein '''"p"''', also sollte '''sed''' hier eine Ersetzung vornehmen, wird danach automatisch ausgegeben, ansonsten nichts ausgeben
* Suchmuster: am Anfang '''"id:"''' dann kommt [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Beliebiges_Zeichen irgend ein Zeichen] das mit '''""''' [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gruppierung_mit_runden_Klammern gruppiert] ist, und dann geht es weiter mit '''":initdefault"''' und anschließen alle Zeichen bis Zeilenende.
* Ersetzt wird also die gesammte Zeile von Anfang bis Ende aber nur durch Inhalt von '''"\1"''' also dem was vom Muster in der '''''' Klammer gefunden wird ([http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gruppierung_mit_runden_Klammern Rückwärtsreferenz]).
* Ein Blick in die /etc/inittab, zeigt, da steht an dieser Stelle der Standardrunlevel (also normalerweisee 2 3 oder 5) und genau das ist das mögliche Ergebniss des ganzen Befehles.

=== Beispiel 5 ===

gefunden in '''/etc/rc.d/xdm'''
/etc/X11/xdm/SuSEconfig.xdm | \
sed 's+$.*$+/etc/init.d/xdm: \1+g' | \
/bin/logger

* nicht dadurch stören lassen, dass hier ein Befehl über mehrere Zeilen geschrieben wurde, Die Zeilen enden mit "\" das bedeutet der Zeilensprung ist auskommentiert, den sieht die bash beim starten der Befehle nicht.
* es wird ein Script '''/etc/X11/xdm/SuSEconfig.xdm''' ausgeführt und die Ausgabe durch '''sed''' mit einem s-Befehl gefiltert, diese Ausgabe wird dem Programm '''/bin/logger''' übergeben.
* der s-Befehl hat hier die Struktur '''s+++''' da ein '''"+"''' unmittelbar dem '''"s"''' folgt.
* eine Adressierung gibt es nicht, also alle Zeilen werden bearbeitet.
* die Suchmaske ist '''$.*$''' und bedeutet soviel wie gruppiert '''''' wird "Alles" (beliebiges Zeichen, 0 mal oder beliebig oft)
* ersetzt wird es durch "'''/etc/init.d/xdm: \1'''" , wobei '''\1''' durch die gefundene Gruppe, also der ganzen ursprünglichen Zeile, ersetzt wird.
* das Flag '''"g"''' ist hier eigentlich nicht nötig, da es ja nur eine einzigen Treffer pro Zeile geben kann.
* Der Sed-Befehl macht also nichts weiter, als an den Anfang jeder Zeile '''"/etc/init.d/xdm: "''' einzufügen.

=== Beispiel 6 ===

gefunden in '''/usr/bin/texi2dvi4a2ps'''
BEFEHL | sed -n 's/^.*\[$.*$version $....$-$..$-$..$.*$/txiformat=\1 txiversion="\2\3\4"/p'

* der BEFEHL dessen Ausgabe hier gefiltert wird soll uns mal nicht stören.
* sed wird mit '''"-n"''' gestartet, also keine automatische Ausgabe jeder Zeile
* der s-Befehl hat keine Adresse und normale Struktur '''s///''' , Flag ist '''"p"''' bedeutet also gibt es eine Ersetzung dann wird diese ausgegeben, ansonsten wird nichts ausgegeben.
* Suchmuster ist '''^.*\[$.*$version $....$-$..$-$..$.*$''' ; gesucht wird vom Zeilenbegnin nach einer eckigen Klammer '''"\["''' ; dann kommt irgendetwas oder nichts '''".*"''' , das wird wiedermal gruppiert '''''', die Gruppe endet vor der Zeichenfolge '''"version "'''; Anschließend wird nach Zeichen im Format "XXXX-XX-XX" gesucht und irgendwas oder nichts kann bis Zeilenende kommen.
* von dem XXXX-XX-XX Format werden 3 weitere Gruppen gebildet, wir haben also insgesamt 4 Gruppierungen im Suchmuster definiert.
* ersetzt wird die gesamte Zeile durch '''"txiformat=\1 txiversion="\2\3\4"''' die \1 \2 \3 \4 wird durch die Gruppen ersetzt.
* der sed-Befehl formatiert also eine "Versionszeile" neu, und gibt sie aus, Andere Zeilen erzeugen keine Ausgabe.

=== Beispiel 7 (für Fortgeschrittene) ===

gefunden in '''/usr/bin/autoconf'''
echo X/"$0" |
sed '/^.*\/$[^/][^/]*$\/*$/{
s//\1/
q
}
/^X\/$\/\/$$/{
s//\1/
q
}
/^X\/$\/$.*/{
s//\1/
q
}
s/.*/./; q'

* hier wird '''"X/"''' vor '''"$0"''' (also der aufgerufene Name des Scriptes) mit '''echo''' ausgegeben und an '''sed''' übergeben.

==== Analyse der Struktur ====

* der sed-Befehl geht über mehrere Zeilen und scheint aus mehreren Befehlen zu bestehen, also verallgemeinern wir ihn erst mal, in dem wir die sed-Befehle extrahieren und die Regulären Ausdrücke wegblenden.
/ADRESSE1/{
s///
q
}
/ADRESSE2/{
s///
q
}
/ADRESSE3/{
s///
q
}
s ; q
* Den sed-Befehl '''"q"''' hatten wir bisher noch nicht, das ist der Abbruchbefehl von sed. Dort wird also das Programm vorzeitig beendet, vorher wird bei fehlender Option '''-n''' noch die Ausgabe des Musterspeichers veranlaßt.
* die Bedeutung, die '''"{ }"''' hier hat, ist auch neu für uns. Die Befehle die in dieser Klammer stehen gehören alle zur selben Adresse, (die Befehle müssen aber durch ''';''' oder '''\n''' getrennt werden)
* Also haben wir 3 Adressen die beim Zutreffen jeweils einen s-Befehl ausführen und dann '''sed''' beenden. und wenn keine dieser Adressen zutreffen sollte, den s-Befehl am Ende des Programms, der dann ausgeführt wird.

==== Schauen wir uns zuerst die s-Befehle an ====

* die ersten 3 s-Befehle sind gleich '''"s//\1/"''' das ist auch neu für uns. Der Suchstring, den gibt es gar nicht, da die '''//''' unmittelbar hintereinander stehen, dennoch greifen wir auf die Gruppe '''"\1"''' beim Ersetzen zu ?
:: würden wir diesen Befehl auf der Konsole versuchen, '''sed 's//\1/'''' käme eine Fehlermedung, "fehlender Suchstring"
:: sed nimmt hier für den fehlenden Suchstrings den selben Regulären Ausdruck wie in der Adresse, also mit der Adresse zusammen funktioniert der Befehl, ohne Adresse oder Adresse aus Zeilennummer funktioniert er nicht.
* der letzte s-Befehl ist einfach '''"s/.*/./"''' ersetzt alles oder nichts durch einen einzigen Punk

==== Analyse der Adressen ====

* ADRESSE1: '''^.*\/$[^/][^/]*$\/*$''' wir haben jetzt schon etwas Übung mit entwerteten Zeichen und Regulären Ausdrücken desshalb gleich mal die Zusammenfassung.
::gesucht und gruppiert wird "ein mindestens 2 Zeichen langes Wort" Wortbegrenzer ist "/" gefunden wird die ganze Zeile.
:: Achtung: hier "'''^.*\/'''" treffen wir auf ein Phänomen der Regulären Ausdrücke, das auch neu für uns ist.[http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gieriges_Verhalten gieriges Verhalten] '''(Greediness of RegEx)'''
:: gesucht wird am Zeilenanfang "irgendwas oder nichts bis ein '''"/"''' kommt"
::: ist in der Shellvariable eine oder mehrere '''"/"''' (also das Programm mit dem Path aufgerufen,) dann wird hier als "irgendwas" der längst mögliche String gefunden
:: durch das Greediness wird bei dieser Adresse hier gefunden und gruppiert der "Scriptname ohne den Path"
:: dieser wird dann auch nach dem s-Befehl ausgegeben, und das sed-Programm beendet.

* ADRESSE2 '''"^X\/$\/\/$$"''' kommt also nur zum Zug wenn ADRESSE1 nicht zutrifft.
:: sie sucht nach '''"X///"''' und gruppiert die letzten beiden '''"/"'''
:: der s-Befehl würde also '''"//"''' ausgeben und sich beenden.

* ADRESSE3 '''"^X\/$\/$.*"''' (nur wenn sowohl Adresse1 und Adresse2 nicht zutreffen) funktioniert ähnlich wie ADRESSE2 nur sucht sie nur nach einem '''"/"''' weniger würde auch fündig werden bei vielen aneinandergereihten '''"/"''' und gibt nur ein '''"/"''' aus

* Treffen keine der 3 Adressen zu, z.B. weil '''"$0"''' leer sein sollte, dann wird der letzte s-Befehl ausgeführt, der nur einen Punkt ausgibt.

==== Da ist noch ein kleiner Trick im Script versteckt ====

Damit bei einer Leeren "$0" das sed-Programm überhaupt arbeiten kann, wird als Trick
echo X/"$0"
benutzt. Das vorangestellte '''"X/"''' wird beim Ersetzten innerhalb von '''sed''' jedesmal wieder entfernt, aber es sichert bei leeren '''$0''' eine ordnungsgemäße Funktion des Programms.

==== Das Ergebnis des gesamten sed-Programms ====

Das Ergebniss des gesamten sed-Scriptes ist also abhängig vom Inhalt der Shell Variable '''$0''' und ist entweder der '''"Scriptname ohne Path" ; "//" ; "/" oder "."'''

-----

== weiterführende Links ==

* [http://www.grymoire.com/Unix/Sed.html An Introduction and Tutorial]
* [http://www.tty1.net/sed-tutorium_de.html sed-Tutorium-de]
* [http://sed.sourceforge.net/sedfaq.html THE SED FAQ]
* [http://sed.sourceforge.net/#tools Hilfreiche Tools für Sed-Programmierung]
* [http://www.gnu.org/software/sed/manual/ GNU sed user's manual]

-----

[[Konsole#Unixwerkzeuge|zurück zu UNIX-Werkzeuge]]
[[Kategorie:Konsole]][[Kategorie:Scripte]]

Shellscripte

2019-06-10T11:16:33Z

Itu: /* kleinere Hilfsscripte */ warum auch immer das skript versenkt wurde

[[Category:Scripte]]
[[Category:Shellscripte]]
= Shellscripte =
== Startscripte ==
#[[NDISwrapper Startscript]] - NDISwrapper Startscript für openSUSE
#[[LCDd Startscript fuer lcdproc unter openSUSE]]
#[[Lcdproc Startscript zur Nutzung des LCDd unter openSUSE]]
#[[Bootscript zum Einbinden von dm-crypt/LUKS-Partitionen unter openSUSE]]
#[[Startscript für ddclient unter SUSE/openSUSE]]
#[[Init-Script fuer hostapd unter openSUSE]]

== kleinere Hilfsscripte ==
#[[ TeamSpeak und Gamesound]]
#[[ Videoconverterscript]]
#[[ Kleines Script zu Hylafax]]
#[[Kleines script zur Erstellung einer preferences Datei]] - Kleines Script zur Erstellung einer preferences Datei für Apt
#[[Apt cache aufraeumen|Aufräumscript für den Apt-Cache]]
#[[Policy-Skript zum durchsuchen aller gwdg-Repositorys]] - Apt-Policy-Skript zum durchsuchen aller gwdg-Repositorys
#[[Wie erstelle ich ein virtuelles RPM Paket]]
#[[Benutzerverwaltung per Script]] - Script zum anlegen/löschen eines Benutzers
#[[Backup Script]] - Script zur Archivierung
#[[Home Laufwerk sichern]] - Script zum sichern des Home Laufwerks auf einen Server (mit rsync über ssh)
#[[Backupdate.sh]] - Ein weiteres Backup-Script
#[[Screenshots von WM/DM/Konsole]] - Ein Script um Screenshots vom Windowmanager, Displaymanager oder der Konsole zu erstellen
#[[Dateien mithilfe einer Playlist sortieren]]
#[[Online.sh|Internet Verbindung nach Zwangstrennung vom Provider automatisch wiederaufbauen]]
#[[SuSE entrümpeln - mindestens 100 MB zurückgewinnen]]
#[[OCR]] Anleitung und [https://linux-club.de/wiki/mediawiki/index.php?title=OCR&oldid=28051 Script für Texterkennung mit Xsane]
#[[ batched-trim.sh | Batched TRIM für SSD´s ]]

== komplexere Hilfsscripte ==
#[[Firewall Beispielscript]]
#[[animiertes DVD-Menu]]

== Programmierbeispielsscripte ==

Online.sh

2019-06-10T10:23:16Z

Itu: siehe disk , sowieso nur einmal benutzt - bräuchte keine variable sein. .... und obsolete reste sollte man immer rasch rausschmeissen, die vermiesen die erfassbarkeit

Dies Script ist mal im Forum entstanden, damit es nicht verlorengeht stelle ich es hier mal ein. Das ganze muss über einen [[Cron]]Job laufen. Dieser wird so eingestellt, dass das Script alle 5 Minuten ausgeführt wird, und so eine permanenten Verbindung zum Internet herstellt. Da man alle 24 Stunden der Provider eine Zwangstrennung vornimmt, ist man so maximal einmal am Tag für max. 5 Minuten nicht Online.

Der CronJob lässt sich am einfachsten über [[KCron]] einstellen.

{{Box Test||
* [[openSUSE]] 10.3
* [[openSUSE]] 10.2
* SUSE Linux 10.0
* SUSE Linux 9.3
* SUSE Linux 9.2
* SUSE Linux 9.1
* SUSE Linux 9.0
* [[Ubuntu]] 6.10
* [[Debian]] 4.0
}}

<nowiki>#!/bin/sh
#
# Quelle : https://linux-club.de/wiki/opensuse/Online.sh
#
#######################################################
# VARIABLEN
#######################################################

datei=~/log/internetstatus.log
pingtarget=8.8.8.8 # google nameserver vermutlich lange existent und pingbar
count=3

#######################################################
# Wiedereinwählen bei ping-fail
#######################################################

/bin/ping -c $count -w 20 $pingtarget > /dev/null 2>&1 # eventuell -w auch als Variable
retc=$?
if [ $retc -eq 0 ] # ping hat Kontakt
then
echo "Wir sind online" >> $datei # Umleitung, da sonst mail
elif [ $retc -eq 1 ] # ping hat keinen Kontakt
then
echo `date -R` Neueinwahl >> $datei
cinternet -i dsl0 -H
cinternet -i dsl0 -O
sleep 30
cinternet -i dsl0 -A
cinternet -i dsl0 -D
cinternet -i dsl0 -s
cinternet -i dsl0 -l
echo `date -R` Eingewählt >> $datei
else # ping hat harten Fehler
echo "Konnte ping nicht ausführen. Fehler $retc!" >> $datei
fi

</nowiki>

== Quellen und weiterführende Links ==

* http://www.linux-club.de/viewtopic.php?t=24372&start=0&postdays=0&postorder=asc&highlight=

-----
[[Category:Scripte]]
[[Kategorie:Hilfsprogramme und Tools]]

Online.sh

2019-06-10T09:59:47Z

Itu: da nicht jeder yehudi heisst ...

Dies Script ist mal im Forum entstanden, damit es nicht verlorengeht stelle ich es hier mal ein. Das ganze muss über einen [[Cron]]Job laufen. Dieser wird so eingestellt, dass das Script alle 5 Minuten ausgeführt wird, und so eine permanenten Verbindung zum Internet herstellt. Da man alle 24 Stunden der Provider eine Zwangstrennung vornimmt, ist man so maximal einmal am Tag für max. 5 Minuten nicht Online.

Der CronJob lässt sich am einfachsten über [[KCron]] einstellen.

{{Box Test||
* [[openSUSE]] 10.3
* [[openSUSE]] 10.2
* SUSE Linux 10.0
* SUSE Linux 9.3
* SUSE Linux 9.2
* SUSE Linux 9.1
* SUSE Linux 9.0
* [[Ubuntu]] 6.10
* [[Debian]] 4.0
}}

<nowiki>#!/bin/sh
#######################################################
# VARIABLEN
#######################################################

datei=~/log/internetstatus.log
#logdat=~/log/on.log
host=8.8.8.8 # google nameserver vermutlich lange existent und pingbar
count=3

#######################################################
# Wieder online pingen
#######################################################

/bin/ping -c $count -w 20 $host > /dev/null 2>&1 # eventuell -w auch als Variable
retc=$?
if [ $retc -eq 0 ] # ping hat Kontakt
then
echo "Wir sind online" >> $datei # Umleitung, da sonst mail
elif [ $retc -eq 1 ] # ping hat keinen Kontakt
then
echo `date -R` Neueinwahl >> $datei
cinternet -i dsl0 -H
cinternet -i dsl0 -O
sleep 30
cinternet -i dsl0 -A
cinternet -i dsl0 -D
cinternet -i dsl0 -s
cinternet -i dsl0 -l
echo `date -R` Eingewählt >> $datei
else # ping hat harten Fehler
echo "Konnte ping nicht ausführen. Fehler $retc!" >> $datei
fi

</nowiki>

== Quellen und weiterführende Links ==

* http://www.linux-club.de/viewtopic.php?t=24372&start=0&postdays=0&postorder=asc&highlight=

-----
[[Category:Scripte]]
[[Kategorie:Hilfsprogramme und Tools]]

Benutzerverwaltung per Script

2019-06-09T19:56:11Z

Itu:

Bash-script zum anlegen/löschen eines Benutzers
<pre>
#!/bin/bash
#
# Benutzerverwaltung
#
# Quelle: https://linux-club.de/wiki/opensuse/Benutzerverwaltung_per_Script
#

if [ ! ${UID} = "0" ]; then echo "Keine Berechtigung!" ; exit 0 ; fi

echo "Benutzerverwaltung"
echo " Was möchten Sie tun?"
echo " Benutzer - "
echo " (A)nlegen "
echo " (L)öschen "
read action

case $action in
a|A)
read -ep "Name des Benutzers : " name
read -i "/home/$name" -ep "Homeverzeichnis : " homeVz
read -i "cdrom" -ep "Gruppen? : " groups

useradd -m -d $homeVz -G $groups $name && echo "Der Benutzer $name wurde erfolgreich angelegt!"

passwd $name
;;
l|L)
echo "Name des Benutzers:"
read name
userdel $name && echo "Der Benutzer $name wurde erfolgreich gelöscht!"
rm -rf /home/$name && echo "Das Verzeichnis /home/$name wurde erfolgreich gelöscht!"
;;
*)
echo "Keine verfügbare Option ausgewählt: " $action
;;

esac

</pre>

by buli

[[Category:Konsole]][[Category:Scripte]]

Benutzerverwaltung per Script

2019-06-09T19:54:19Z

Itu: so ...

sh-script zum anlegen/löschen eines Benutzers
<pre>
#!/bin/bash
#
# Benutzerverwaltung
#
# Quelle: https://linux-club.de/wiki/opensuse/Benutzerverwaltung_per_Script
#

if [ ! ${UID} = "0" ]; then echo "Keine Berechtigung!" ; exit 0 ; fi

echo "Benutzerverwaltung"
echo " Was möchten Sie tun?"
echo " Benutzer - "
echo " (A)nlegen "
echo " (L)öschen "
read action

case $action in
a|A)
read -ep "Name des Benutzers : " name
read -i "/home/$name" -ep "Homeverzeichnis : " homeVz
read -i "cdrom" -ep "Gruppen? : " groups

useradd -m -d $homeVz -G $groups $name && echo "Der Benutzer $name wurde erfolgreich angelegt!"

passwd $name
;;
l|L)
echo "Name des Benutzers:"
read name
userdel $name && echo "Der Benutzer $name wurde erfolgreich gelöscht!"
rm -rf /home/$name && echo "Das Verzeichnis /home/$name wurde erfolgreich gelöscht!"
;;
*)
echo "Keine verfügbare Option ausgewählt: " $action
;;

esac

</pre>

by buli

[[Category:Konsole]][[Category:Scripte]]

Benutzerverwaltung per Script

2019-06-09T19:31:19Z

Itu: statt rm -vrf was viele zeilen ausspucken kann ...

sh-script zum anlegen/löschen eines Benutzers
<pre>
#!/bin/bash
#
# Benutzerverwaltung
#
# Quelle: https://linux-club.de/wiki/opensuse/Benutzerverwaltung_per_Script
#

if [ ! ${UID} = "0" ]; then echo "Keine Berechtigung!" ; exit 0 ; fi

echo "Benutzerverwaltung"
echo " Was möchten Sie tun?"
echo " Benutzer - "
echo " [a]nlegen "
echo " [l]öschen "
read action

if [ $action = "a" ]; then
read -ep "Name des Benutzers : " name
read -i "/home/$name" -ep "Homeverzeichnis : " homeVz
read -i "cdrom" -ep "Gruppen? : " groups

useradd -m -d $homeVz -G $groups $name && echo "Der Benutzer $name wurde erfolgreich angelegt!"

passwd $name

else
if [ $action = "l" ]; then
echo "Name des Benutzers:"
read name
userdel $name && echo "Der Benutzer $name wurde erfolgreich gelöscht!"
rm -rf /home/$name && echo "Das Verzeichnis /home/$name wurde erfolgreich gelöscht!"
fi
fi

</pre>

by buli

[[Category:Konsole]][[Category:Scripte]]

Benutzerverwaltung per Script

2019-06-09T19:22:55Z

Itu: sinnvolle Verbesserung , dazu auf bash umgestellt ...

sh-script zum anlegen/löschen eines Benutzers
<pre>
#!/bin/bash
#
# Benutzerverwaltung
#
# Quelle: https://linux-club.de/wiki/opensuse/Benutzerverwaltung_per_Script
#

if [ ! ${UID} = "0" ]; then echo "Keine Berechtigung!" ; exit 0 ; fi

echo "Benutzerverwaltung"
echo " Was möchten Sie tun?"
echo " Benutzer - "
echo " [a]nlegen "
echo " [l]öschen "
read action

if [ $action = "a" ]; then
read -ep "Name des Benutzers : " name
read -i "/home/$name" -ep "Homeverzeichnis : " homeVz
read -i "cdrom" -ep "Gruppen? : " groups

useradd -m -d $homeVz -G $groups $name && echo "Der Benutzer $name wurde erfolgreich angelegt!"

passwd $name

else
if [ $action = "l" ]; then
echo "Name des Benutzers:"
read name
userdel $name && echo "Der Benutzer $name wurde erfolgreich gelöscht!"
rm -rf /home/$name
fi
fi

</pre>

by buli

[[Category:Konsole]][[Category:Scripte]]

Benutzerverwaltung per Script

2019-06-09T18:26:17Z

Itu: verbessert ...

sh-script zum anlegen/löschen eines Benutzers
<pre>
#!/bin/sh
#
# Benutzerverwaltung
#
if [ ${UID} != "0" ]; then echo "Keine Berechtigung!" ; exit 0 ; fi

echo "Benutzerverwaltung"
echo " Was möchten Sie tun?"
echo " Benutzer - "
echo " [a]nlegen "
echo " [l]öschen "
read action

if [ $action = "a" ]; then
echo "Name des Benutzers:"
read name
echo "Homeverzeichnis:"
read -e -i "/home/$name" home
echo "Gruppen:"
read groups
useradd -m -d $home -G $groups $name && echo "Der Benutzer $name wurde erfolgreich angelegt!"
passwd $name
else
if [ $action = "l" ]; then
echo "Name des Benutzers:"
read name
userdel $name && echo "Der Benutzer $name wurde erfolgreich gelöscht!"
rm -rf /home/$name
fi
fi
</pre>

by buli

[[Konsole]]
[[Category:Konsole]][[Category:Scripte]]

Benutzerverwaltung per Script

2019-06-09T18:07:13Z

Itu: bissl einrücken is nicht ganz verkehrt

sh-script zum anlegen/löschen eines Benutzers
<pre>
#!/bin/sh
#
# Benutzerverwaltung
#
if [ ${UID} != "0" ]; then
echo "Keine Berechtigung!"
exit 0;
fi

echo "Benutzerverwaltung"
echo "Was möchten Sie tun?"
echo -n "Benuter [a]nlegen? Benutzer [l]öschen?"
read user

if [ $user = "a" ]; then
echo "Name des Benutzers:"
read name
echo "Homeverzeichnis:"
read home
echo "Gruppen:"
read groups
useradd -m -d $home -G $groups $name
passwd $name
echo "Der Benutzer wurde erfolgreich angelegt!"
else
if [ $user = "l" ]; then
echo "Name des Benutzers:"
read name2
userdel $name2
rm -rf /home/$name2
echo "Der Benutzer wurde erfolgreich gelöscht!"
fi
fi
</pre>
by buli

[[Konsole]]
[[Category:Konsole]][[Category:Scripte]]

Screenshots von WM/DM/Konsole

2019-06-09T16:32:27Z

Itu: das sollte schon verraten werden ........

'''[[Shellscripte]]'''

 
Ein Script um Screenshots vom Windowmanager, Displaymanager oder der Konsole zu erstellen. Eine Kurzversion des Scriptes mit Verwendung von Tastaturkomandos steht bei den [[Screenshots#Script für Screenshots|Screenshots]]
 
Das Script wird wie folgt aufgerufen:
<pre>/pfad/zu/x-shot [OPTIONEN]</pre>

==Optionen==
<pre>-d | --dir /home/user/screenshots

Pfad unter dem die Screenshots gespeichert werden.
Ein Unterordner (Jahr-Monat-Tag - z.B. 2007-03-12) wird automatisch angelegt.

-e | --ext [jpg | png | ...]

Format des Bildschirmphotos.
Grundsätzlich sollten alle Formate, die von ImageMagick (import / convert) unterstützt werden, erlaubt sein - getestet wurden aber nur jpg und png.
Ausnahme: Modus console - da fbgrab nur PNGs ausgibt, wird das Format automatisch auf png gesetzt.

-w | --wait <num>

Verzögerung bis zur Aufname des Bildschirmphotos

-q | --quality <num>

Qualität des Bildschirmphotos.
Von 0 = schlechteste bis 100 = beste Qualität.
Je nach Qualität ändert sich natürlich auch die Größe der Bilddatei (hohe Qualität = große Datei | schlechte Qualität = kleine Datei).

-m | --modus [screen | area | window | dm | console]

Modus des Screenshots:

console = Screenshot mit fbgrab aus der Konsole.

dm = Screenshot des X-Servers mit xwd aus der Konsole.
Um z.B. einen Screenshot von Displaymanager zu machen.

area = Screenshot eines Bildschirm-Bereichs.
Auswahlrechteck mit der Maus aufziehen.

window = Screenshot eines Fensters.
Auswahl mit Mausklick.

screen = Screenshot des gesamten Bildschirms
</pre>

Defaultwerte (wenn das Script ohne Parameter aufgerufen wird):

Verzeichnis: '''Homeverzeichnis''' (des jeweiligen Users)

Format: '''JPEG'''

Qualität: '''75%'''

Verzögerung: '''Keine (0)'''

Modus: '''Kompletter Bildschirn (screen)'''

{{Box Installation||
*'''import''' und '''convert''' (ImageMagick)
*'''xwd'''
*'''fbgrab'''
}}

==Script==
<pre>
#!/bin/sh
################################################################################
# Filename: /usr/local/bin/x-shot
# Purpose: screenshot script
# License: This file is licensed under the Creative Commons
################################################################################
ARGV="$@"
PRGNAME=$(basename $0)

DIR="${HOME}";
EXT="jpg"; # jpeg png
WAIT="0";
QUALITY="75"; # 0-100
MODUS="screen"; # area window dm console

MAGICK=`which import 2> /dev/null`;
XWD=`which xwd 2> /dev/null`;
FBGRAB=`which fbgrab 2> /dev/null`;
SLEEP=`which sleep 2> /dev/null`;
CHVT=`which chvt 2> /dev/null`;
DATE=`date "+%Y-%m-%d"`;
FILE=`date "+%Y%m%d_%H%M"`;

##########################################################################

if [ $# -gt 0 ]; then

set -- $ARGV;
OPT="ext:,dir:,quality:,wait:,modus:";
TEMP=$(getopt --options=e:d:q:w:m: --long $OPT -n $PRGNAME -- "$@");
if [ $? -ne 0 ]; then
echo "Exiting..." >&2;
exit 100;
fi;

eval set -- "$TEMP";

while true; do
case $1 in
--ext|-e) if [ $MODUS == "console" ]; then EXT="png"; else EXT="$2"; fi; shift; ;;
--dir|-d) DIR="$2"; shift; ;;
--quality|-q) QUALITY="$2"; shift; ;;
--wait|-w) WAIT="$2"; shift; ;;
--modus|-m)
MODUS="$2";
case $MODUS in
area|window|screen) PREF="wm"; ;;
dm) PREF="dm"; ;;
console) PREF="console"; ;;
esac;
shift; ;;
--) break;;
*) echo "Unknow argument \"$1\"!"; exit 100;;
esac;
shift;
done;

fi;

[ ! -d "${DIR}/${DATE}" ] && (mkdir -p "${DIR}/${DATE}" || (echo -e "Cannot create directory ${DIR}/${DATE}!\nExiting ..."; exit 1;));

if [ -e "${DIR}/${DATE}/${PREF}_${FILE}.${EXT}" ]; then x=0;
while [ -e "${DIR}/${DATE}/${PREF}_${FILE}-$x.${EXT}" ];
do x=`expr $x + 1`; done; SCREEN="${FILE}-$x.${EXT}";
else SCREEN="${FILE}.${EXT}";
fi;

case $MODUS in
screen)
if [ -z "$MAGICK" ]; then
echo -e "import (ImageMagick) not found!\nExiting ..."; exit 1;
else
[ "$WAIT" -gt 0 ] && "$SLEEP" "$WAIT";
"$MAGICK" -quiet -silent -quality "$QUALITY" -window root "${DIR}/${DATE}/${PREF}_${SCREEN}";
fi;
;;
area|window)
if [ -z "$MAGICK" ]; then
echo -e "import (ImageMagick) not found!\nExiting ..."; exit 1;
else
[ "$WAIT" -gt 0 ] && "$SLEEP" "$WAIT";
"$MAGICK" -quiet -silent -quality "$QUALITY" "${DIR}/${DATE}/${PREF}_${SCREEN}";
fi;
;;
dm)
if [ -z "$XWD" ]; then
echo -e "xwd not found!\nExiting ..."; exit 1;
else
"$CHVT" 7; "$([ "$WAIT" -gt 0 ] && echo -n "$SLEEP $WAIT")"; XAUTHORITY="$(ps ax | grep '[-]auth' | awk '{print $NF}')"; "$XWD" -display :0 -root | convert - "$EXT":"${DIR}/${DATE}/${PREF}_${SCREEN}";
fi;
;;
console)
if [ -z "$XWD" ]; then
echo -e "fbgrab not found!\nExiting ..."; exit 1;
else
"$FBGRAB" -s "$([ "$WAIT" -gt 0 ] && echo -n "$WAIT")" "${DIR}/${DATE}/${PREF}_${SCREEN}";
fi;
;;
*)
echo -e "No or unknown mode specified.\nExiting ..."; exit 1;
esac;

echo
echo Screenshot saved as "${DIR}/${DATE}/${PREF}_${SCREEN}"
echo

# End of file
</pre>
 
----
[[Shellscripte|Zurück zu den Shellscripten]] 
[[Grafik|Zurück zur Grafik]]
[[Kategorie:Scripte]]
[[Kategorie:Grafik]]

Backup Script

2019-06-09T16:03:51Z

Itu: ....

sh-script zur Archivierung von Verzeichnissen

#!/bin/sh
#
# Backup
#
echo -n "Welches Verzeichnis soll archiviert werden?"
read Verz
tar -czvf $Verz.tar.gz $Verz && echo "Das Verzeichnis wurde erfolgreich archiviert!"

by buli
----
[[Backup|Back To Backup]] 
[[Shellscripte|Zurück zur Shellscripteübersicht]]
[[Category:Security]][[Category:Backup]][[Kategorie:Scripte]]
[[Category:Scripte]]

Sed

2019-06-06T07:37:35Z

Itu: sed s/ogig/ogik/g | sed 's/zB/z.B./g' | sed s/rogrammes/rogramms/g

SED - eine kleine Einführung und Übersicht über ein mächtiges UNIX-Werkzeug

== Was ist sed und was kann sed ? ==

[http://linux.die.net/man/1/sed sed] ('''S'''tream-'''ED'''itor) ist ein universelles Textbearbeitungstool und auf jedem UNIX- und Linux-System zu finden. Ein Texteditor im gewöhnlichen Sinn, ist ein Programm mit dem wir mittels Tastatur einen Text erstellen oder ändern können, und genau das ist '''sed''' nicht.

Der Stream-Editor liest die Standardeingabe, (oder wenn angegeben eine oder mehrere Dateien) ein, ändert diesen Text nach einem "programmiertem Rezept" welches wir ihm beim Aufruf mitgeben ab, und gibt den so geänderten Text auf der Standardausgabe (oder umgeleitet auch als Datei) wieder aus. Es handelt sich also um einen universell programmierbaren '''Text-Bearbeitungs-Filter''', mit dem wir nicht interaktiv arbeiten, sondern dem wir beim Programmaufruf Regeln mitgeben, nach denen ein Text zu ändern ist.

sed wurde 1973/74 von [http://senseis.xmp.net/?McMahon Lee E. McMahon] entwickelt. Es ist eine interpretierende Scriptsprache mit sehr begrenzten Funktionsmöglichkeiten und speziell für die Bearbeitung von Text ausgelegt. Sie baut direkt auf [[Reguläre Ausdrücke|Regulären Ausdrücken]] auf und umfasst nur wenige [[#Befehlsübersicht|Befehle]]. Alle Befehle und Schlüsselworte bestehen nur aus einem einzigem Zeichen, entweder Buchstabe oder Sonderzeichen. Nahe Verwandte von '''sed''' sind der Zeileneditor [http://linux.die.net/man/1/ed ed] (der zwar noch auf den meisten Systemen installiert ist, aber doch stark in die Jahre gekommen ist und kaum noch Verwendung findet) und der klassische UNIX Standard-Editor '''[[VIM|vi]]'''.

'''sed''' erlaubt eine sehr kompakte Programmierung. Für einen Ungübten sehen kleine Programme auf den ersten Blick oftmals wie eine zufällige Folge von Buchstaben und Sonderzeichen aus, Der Anteil der Sonderzeichen kann in einer einzelnen Zeile bisweilen erschreckend hoch werden. Folgendes kleines Beispiel zeigt eine etwas längere typischen Befehlszeile.
sed 's/ //g;s/$^.*$,$.*$$/\2,\1/;s/$^.*$,$.*,$$.*$$/\1 \3 \2/;s/,/ /g'
Diese Zeile hat durchaus einen Sinn und eine Funktion, sie wurde auch nicht boshafter Weise extra kompliziert geschrieben, sondern das ist normale SED-Sprache.
Eine solche Befehlszeile wird man sich natürlich nicht merken können und kaum buchstabieren können, ja man kann sie kaum fehlerfrei abschreiben, eventuelle Fehler durch fehlerhafte Schreibweise oder auch logische Fehler sind deshalb auch sehr schwer zu erkennen und zu beseitigen. Das war auch einer der Gründe für die Entstehung von [[awk]]

Die auf dem ersten Blick sehr ungewöhnliche Schreibweise wird bei etwas Beschäftigung mit '''sed''' schon durchsichtiger, und wer sich öfter und intensiver mit '''sed''' beschäftigt, wird durchaus schnell bemerken, wie hilfreich diese kryptische Sprache ist. Für manch einen ist es sogar eine Art Kult geworden und sie haben zur Übung, Demonstration oder aus Spaß mit '''sed''' die brauchbarsten und die unmöglichsten Dinge, sogar kleine Spiele mit '''sed''' programmiert. In diesem [http://sed.sourceforge.net/grabbag/scripts/ SED Script Archiv] sind einige solcher Programme zu finden. Weitere [http://sed.sourceforge.net/#scripts sed-scripte] und weitere [http://sed.sourceforge.net/#gamez Spiele ] gibt es auf [http://sed.sourceforge.net/ einer der wichtigsten SED-Seiten] (Web-Seiten geschrieben übrigens mit ? : [http://sed.sourceforge.net/local/scripts/sedindex2html.sed.html natürlich mit sed] ;-)))

Heute gibt es eine Vielzahl von [http://sed.sourceforge.net/sedfaq2.html#s2.2 '''sed''' Implementierungen für die unterschiedlichsten Betriebssysteme] die zT die eine oder andere Erweiterung unterstützen oder nicht. Unterschiede gibt es vor allem im Umfeld der [http://de.wikipedia.org/wiki/Regul%C3%A4re_Ausdr%C3%BCcke Regulären Ausdrücke], da es dort einige Spezifikationen gibt, die sich in Details unterscheiden. Unter Linux haben wir ein sehr leistungsfähiges [http://www.gnu.org/software/sed/manual/ GNUsed] das einige Erweiterungen beinhaltet, die nicht unbedingt portabel zu anderen Sed-Versionen sind.

=== Für was benötigen wir sed heute ? ===

Mit '''sed''' lassen sich kleinere Probleme schnell und effektiv lösen. Solche sed-Programme sind meist Einzeiler und werden nicht nur innerhalb von Scripten und der Shell benutzt, sondern durchaus auch einmal aus anderen Programmen oder Programmiersprachen heraus. Auch dort wird hin und wieder einmal auf eine Shellfunktion mit sed-Befehlszeile zurückgegriffen.

Für Randprobleme besonders bei Ein- und Ausgabe oder bei Konvertierung von Textdateien ist '''sed''' oftmals ein sehr hilfreiches Tool.
Darüber hinaus kann man '''sed''' überall dort einsetzen, wo häufig und regelmäßig immer die selben oder ähnliche Dinge erledigt werden sollen, oder wo viele Textdateien nach einem ganz bestimmten Muster verändert werden sollen. Beispiele hierfür sind z.B:

* Umwandlung von Textausgaben in bestimmte andere Formate oder zurück (z.B: Text nach HTML oder HTML nach Text);
* Extrahieren bestimmter Abschnitte aus Texten, oder bestimmte Textformatierungen
* das Ändern oder Korrigieren von Kleinigkeiten über viele HTML-Dateien oder an vielen Quellcode-Dateien

Überall dort wo der Aufwand für manuelle Änderung am Text ansteigt, wird '''sed''' interessant. Mit dem Stream Editor lassen sich eine Vielzahl von [http://sed.sourceforge.net/local/docs/emulating_unix.txt Standardkommandos von UNIX simulieren]. Auch diese Standardkommandos haben alle ihre Ausnahmen und Problemfälle, und auch dort kann man hin und wieder einmal '''sed''' als die Lösung für solche Problemfälle finden. 

Wer gezielt im WWW sucht, wird eine ganze Reihe von kleinen hilfreichen Anwendungen und Tricks rund um '''sed''' finden, Für viele Dinge, wie gezieltes Suchen, Extrahieren oder Änderungen in umfangreichen Texten, in vielen Dateien oder zur automatischen Bearbeitung von z.B. Konfigurationsdateien, wird man wohl auch morgen noch gerne auf '''sed''' zurückgreifen. Wenn moderne Programmiersprachen zu groß und mächtig oder unangemessen für winzige Probleme sind, oder wenn auf einige größere Standard-Tools auf Klein- und Minimalsystemen mal verzeichtet werden muss, dann ist eventuell '''sed''' als die kleine elegante Lösung die beste Option.

Für viele kleine Dinge ist '''sed''' durchaus gut geeignet, besonders wenn es sich kurz und knapp auf einer Zeile programmieren läßt, für viele Dinge insbesondere bei listenähnlichen Texten ist '''awk''' (wenn auch etwas langsamer bei der Arbeit) aber dennoch meist besser geeignet. Man sollte '''sed''' auch nicht dort einsetzen, wo die normalen Standard-Tools oder Programme das gewünschte Ergebnis mit vertretbaren Aufwand selbst liefern können, diese sind schneller und oftmals auch genauer. Bei größeren und komplizierten Probleme wird man freiwillig und gerne auf eine höhere Programmiersprache wie z.B. Perl oder Phyton ausweichen.

== das Funktionsprinzip ==

Das Prinzip von '''sed''' ist recht simpel, aber man muss es sich genau verinnerlichen, sonst bekommt man schnell Verständnisprobleme beim Schreiben oder Interpretieren von sed-Programmen.

Beim Aufruf von '''sed''' werden die Regeln zum Ändern des Textes beim Programmaufruf mit übergeben. Wird keine Datei angegeben, dann nimmt '''sed''' den Standardeingabekanal als Eingangsdatei, wird eine Datei angegeben, dann diese. Werden mehrere Dateien angegeben, dann werden die Dateien der Reihe nach bearbeitet, und zwar werden die Dateien aneinander gereiht, der '''Zeilenzähler''' wird also bei einer neuen Datei nicht wieder zurückgesetzt. Die Ausgabe erfolgt auf der Standardausgabe und kann von hier mit den normalen Umleitungen auch an andere Befehle übergeben werden, oder in eine Datei umgeleitet werden. Die Eingangsdateien werden also nicht geändert.

'''sed''' hat einen Textbuffer den sogenannten '''Musterspeicher''', dieser ist beim Starten des Programms leer. In diesen Musterspeicher wird die erste Zeile der Eingangsdatei geladen. Jetzt werden die Regeln auf diesen Musterspeicher angewendet und diese Zeile damit entsprechend geändert oder auch nicht. Sind alle Regeln abgearbeitet, dann wird der Inhalt des jetzt geänderten Musterspeichers nach stdout ausgegeben. Der Musterspeicher wird gelöscht und die nächste Zeile geladen, usw bis alle Zeilen der Eingabe verarbeitet sind. Beim Laden der neuen Zeile wird jeweils der interne Zeilenzähler um eins erhöht. Diesen Zeilenzähler können wir auch im sed-Program abfragen und auswerten.

Das Grundverhalten, dass '''sed''' jede bearbeitete Zeile selbstständig ausgibt bevor die nächste Zeile geladen wird, können wir mit einer Option beim Start von '''sed''' verhindern. Dann müssen wir jedoch innerhalb der Regeln festlegen, was '''sed''' denn ausgeben soll, wir müssen also "Print-Befehle" benutzen. Die Option bei Aufruf von '''sed''' dazu ist "'''-n'''".

Angenommen wir wollen aus einem Text die 2. Zeile löschen, dann müssen wir ohne Benutzung der Option '''-n''' die Regel nur so angeben, dass die 2. Zeile gelöscht oder übersprungen wird. Verwenden wir jedoch die Option '''-n''' so müssen wir ersteinmal dafür sorgen, dass wir alle Zeilen ausgeben und nur die 2. Zeile entweder bei der Ausgabe überspringen oder erst löschen bevor wir den dann leeren Buffer ausgeben. 
Das sind oftmals fast gegensätzliche Ansatzweisen für den gesamten Programmablauf, und innerhalb des Programms benötigen wir dabei oftmals gegensätzliche Befehle oder Optionen. Welche Option für welche Aufgabe jeweils besser geeignet ist, müssen wir beim Erstellen eines sed-Programms von Aufgabe zu Aufgabe selbst entscheiden. In der Anfangszeit, bei den ersten Programmierversuchen, wird es öfter passieren, dass entweder Zeilen doppelt vorkommen, oder gar keine oder nur unvollständige Ausgaben kommen, nicht selten  Option '''-n''' ;-))

=== was beinhaltet sed und was kann man damit machen ===

Neben dem '''Musterspeicher''' gibt es noch einen 2. Textbuffer, den sogenannten '''Haltespeicher'''. Auch dieser ist beim Start des Programms leer. In ihm könnte man jetzt z.B. den Inhalt des Musterspeichers kopieren und den Inhalt dort solange aufbewahren, bis er zu einem späteren Zeitpunkt benötigt wird, und dann wieder in den Musterspeicher laden. Hierfür gibt es einige [[#Befehlsübersicht| '''sed''' Kommandos]] mit denen die Daten zwischen diesen beiden Textbuffern ausgetauscht werden also:
''
* Musterspeicher durch Haltespeicher ersetzen
* Haltespeicher durch Musterspeicher ersetzen
* Inhalt von Halte- und Musterspeicher tauschen
* Inhalt von Musterspeicher an den Haltespeicher anhängen
* Inhalt von Haltespeicher an den Musterspeicher anhängen
'''Im Haltespeicher selbst kann aber nichts abgefragt oder gar verändert werden.''' Er dient nur zum Zwischenspeichern.

Und was geht jetzt mit dem Musterspeicher? 
Einige Funktionen mehr, denn hier kann auch der Inhalt geändert werden, und von hier aus werden auch die Ausgaben gemacht z.B.:
''
* Musterspeicher löschen
* die nächste Zeile einlesen
* die nächste Zeile hinten hinzufügen
* Musterspeicher nach stdout ausgeben
* Inhalte mit dem Haltespeicher austauschen
* den Musterspeicher leeren dafür aber einen im Programm enthaltenen Text ausgeben
* oder diesen Text vor dem Inhalt oder erst nach dem Inhalt des aktuellen Musterspeichers ausgeben
* den Musterspeicher in eine Datei schreiben
* Programmsprung je nach dem ob bestimmte Befehle den Musterspeicher geändert haben oder nicht
* einzelne Zeichen durch andere Zeichen ersetzen (ähnlich dem Befehl [http://linux.die.net/man/1/tr tr])
* und das Wichtigste, '''innerhalb des Musterspeichers suchen und ersetzen'''''

; Variablen ?
: außer dem Haltespeicher und der Variable in der '''sed''' automatisch die Eingabezeilen zählt, die wir aber nicht selbst ändern können, gibt es nichts 
; Schleifen ?
: gibt es auch keine, aber es gibt 2 '''Sprungbefehle''', ähnlich wie '''GOTO-Befehle''' und natürlich einen vorzeitigen Programmabbruch 
Wenn man jetzt noch die Kommentar-Möglichkeit und Befehlsgruppierung hinzuzählt hat man '''sed''' schon sogut wie komplett erklärt.

=== wie kann man damit Probleme lösen ===

Nun kann man sich ja fragen, wie man mit so einer spartanischen Ausstattung und einem minimalem Befehlssatz überhaupt größere und komplexe Probleme lösen könnte?

Der Befehl, der den Hauptteil der Arbeit innerhalb von '''sed''' leistet, ist oben nur als '''"suchen und ersetzen"''' angegeben. Dieser '''s-Befehl''' ist in der Kombination mit [[Reguläre Ausdrücke|Regulären Ausdrücken]] sehr mächtig, ''([[#der s-Befehl|weiter unten, spezielles Kapitel]])''. Er bietet wesentlich mehr Möglichkeiten als nur einzelne Worte auszutauschen, so wie man das von gleichnamigen Funktionen aus Text-Bearbeitungs-Programmen kennt. '''Suchen und ersetzen''' umfasst hier z.B. auch ''"eine bestimmte Stelle suchen und dort NICHTS gegen einen Text ersetzen"''. Unterstützt wird das Ganze durch Reguläre Ausdrücke. So lassen sich mit dem s-Befehl alle typischen Arbeiten an einem Text simulieren, z.B.: Einfügen; Überschreiben; Löschen; Verschieben; Erweitern; usw. 
'''Aber wie gesagt: alles immer jeweils nur in dem Text, der momentan im Musterspeicher steht.'''

Ein kleines Problem ergibt wohl auch in sed-Programmierung nur 1 , 2 oder einige wenige Befehle, und ist mit etwas Übung schnell zu entwerfen. Beim Entwickeln von Lösungen zu komplexen Problemen mit '''sed''' muss das Problem sehr genau analysiert werden, in kleinste Einzelschritte zerlegt, entsprechend der begrenzten Möglichkeiten von '''sed''' ein logischer Lösungsweg gefunden werden und dieser dann in Einzelschritten zu einem fertigen sed-Programm aneinandergereiht werden. Die vielen Annehmlichkeiten moderner Programmiersprachen gibt es bei '''sed''' nicht, hier muss man gelegentlich auch mal einen Lösungsweg von ganz unten und nur mit purer Logik selbst neu erfinden. Und genau in dieser Herausforderung liegt wohl auch oftmals der Reiz dennoch einmal selbst ein größeres Problem mit '''sed''' anzugehen. 
Das Ganze erinnert etwas an [http://de.wikipedia.org/wiki/Assemblersprache Assembler-Programmierung], und das nicht ganz unbegründet. Die Mehrzahl der Befehle von '''sed''', sind in ihrer Funktion sehr elementar und nicht unähnlich den Operationen die in einer CPU auf Registerebene ausgeführt werden. Der Unterschied ist: die CPU arbeitet mit Registern einer definierten Bit Breite und '''sed''' arbeitet mit einem Textbuffer in dem sich eine beliebige Anzahl von Textzeichen befinden. Bei den Akkumulator Befehlen (also den Befehlen mit denen wir z.B.. Vergleichen und Ändern können) haben wir bei der CPU allerdings nur die vergleichsweise einfache Bit-Logik, in '''sed''' gibt es dort universelle und komplexe Reguläre Ausdrücke die auf Buchstaben, Sonderzeichen, Wörter und ganze Texte angewendet werden. 

Und warum der Stream-Editor so funktioniert und nicht anders, wird deutlich wenn man sich noch einmal vor Augen führt, wann dieser Stream-Editor entwickelt wurde. 
1973 da hatten die [http://de.wikipedia.org/wiki/PDP-11 Rechner] Hauptspeicher von typisch 16-64KB Größe, Speichermedien von wenigen MB waren riesige Massenspeicher, UNIX und die Grundzüge der Programmiersprache C waren gerade erst geboren, bzw wurden gerade von Assembler Programmierung auf C portiert und komplett überarbeitet ([http://de.wikipedia.org/wiki/Geschichte_von_Unix Geschichte von Unix]).
 Terminals gab es zwar, aber der verbreitetste Weg durch einen Rechner war immer noch, von der [http://technikum29.de/de/rechnertechnik/lochkarten-edv Lochkarte] oder [http://www.pdp8.net/tu56/tu56.shtml einem Magnetband] über den Rechner auf den Drucker. Alles was vorher kam war sehr viel Assembler-Programmierung, erste brauchbare universelle Betriebssysteme wie [http://web.mit.edu/multics-history/source/Multics_Internet_Server/Multics_sources.html Multics] und [http://infolab.stanford.edu/pub/voy/museum/pictures/display/3-1.htm nackte Logik], das gesamte Umfeld war ein Tummelplatz von genialen Wissenschaftlern. 
Wenn wir also heute immer noch mit dem Stream Editor arbeiten, dann muss in ihm wohl eine geniale Idee verbaut sein.

== der Aufruf und die Optionen von sed ==

=== die Optionen ===

Eine Option '''-n''' steuert direkt die innere Abarbeitung und wurde oben schon besprochen. Weitere wichtige Optionen sind '''-e''' und '''-f'''

; sed -e REGEL:
hinter der Option steht unmittelbar die Regeln für die Bearbeitung. Sind in der REGEL Leer- oder Sonderzeichen enthalten dann müssen wir sie vor der Interpretation der Shell durch Hochkomma schützen werden ( also sogut wie immer ;-))). Die Option '''-e REGEL''' kann auch mehrfach bei einem Aufruf angegeben werden, und auch in Kombination mit der folgenden Option benutzt werden. ( Die Option '''-e''' ist nicht zwingend erforderlich, '''sed''' interpretiert automatisch das erste Zeichen das nicht eindeutig einer Option zugeordnet werden kann, als der Begin einer Regel. Man sollte sich dennoch angewöhnen die Optionen sauber auszuschreiben)
; sed -f REGELDATEI:
Die Regel oder mehrere Regeln stehen in einer separaten Datei, die beim Start mit der Option ''' -f ''' an '''sed''' übergeben wird. Auch diese Option kann in der Befehlszeile mehrfach vorkommen (auch in Kombination mit obriger Option), es werden dann der Reihe nach alle Regeln auf die zu bearbeitende Datei angewendet.
; weitere Optionen sind abhängig von der speziellen sed-Implementierung :
diese könnten spezielle Steuerungsoptionen für den Umgang der Eingabedateien beinhalten, oder auch die Interpretation der Regulären Ausdrücke beeinflussen. Diese Optionen sind nicht zwingend kompatibel zu anderen sed-Implementierungen, und werden auch nur in Einzelfällen benötigt.

=== der Aufruf ===

Nachfolgend ein paar Beispiele wie sed-Programme auf der Konsole oder aus einem Script heraus aufgerufen werden können
<pre>
BEFEHL | sed -e 'REGEL' > AUSGABEDATEI

sed -n -e 'REGEL' EINGABEDATEI > AUSGABEDATEI

BEFEHL | sed -f REGELDATEI | BEFEHL

sed -e 'REGEL1' -f REGELDATEI -e 'REGEL2' <EINGABEDATEI >AUSGABEDATEI

VARIABLE=`BEFEHL | sed -e 'REGEL1' | sed -ne 'REGEL2' | BEFEHL `
</pre>
Oftmals lassen sich die Regeln für ein sed-Programm aus bestimmten Regelgründen nicht in eine Zeile schreiben.
<pre>sed -ne '
BEFEHL1\
Optionen zum BEFEHL1\
weitere Optionen
; BEFEHL2 ; BEFEHL3\
Optionen zum BEFEHL3
; BEFEHL4 ; BEFEHL5
'</pre>

==== sed-Programm als Script ====

'''sed''' Programme lassen sich auch als eigenständige Script schreiben. Dazu wird der Programmtext in eine Datei geschrieben. An den Begin der Datei wird die '''[http://de.wikipedia.org/wiki/Shebang Magic Line''' (shebang)]
#!/usr/bin/sed -f
(eventuell noch zusätzlich die Option '''-n''') gesetzt. 
Die Datei erhält Ausführungsrechte. Jetzt kann sie wie andere Scripte auch, direkt mit ihrem Namen ausgeführt werden.

==== Übergabe von Shell-Variablen an Sed-Programme ====

'''sed''' selbst kann nicht auf Variablen der Shell zurückgreifen und kennt auch keine eigenen Variablen, es kennt nur seinen Programmtext. Also muss bei Bedarf der Programmtext beim Aufruf von '''sed''' entprechend der Shellvariablen angepasst werden. In Shellscripten findet man sehr oft einen kleinen Trick.

Die Quotierung des Befehlstext, der den Befehlstext vor der Interpretation der Shell schützen soll, ist an einigen Stellen unterbrochen. An diesen Stellen stehen dann '''$Shellvariable'''. Beim Aufruf des sed-Kommandos sieht die Shell diese Variablen und ersetzt sie im Programmtext durch den Wert der Shellvariable. Somit hat man eine sehr elegante Steuerung der Funktion des sed-Scriptes durch Variable der Shell
#!/bin/bash

sed -n '
'/$1/' !{
#no match - put the current line in the hold buffer
x
# delete the old one, which is
# now in the pattern buffer
d
}'
Die genaue Funktion die sed ausführen soll, soll uns hier erst einmal nicht interessieren, gemeint ist hier die unterbrochen Quotierung 
 
''''/$1/'!{ ''' 
 
die roten Hochkommas lassen die Shell '''/$1/''' sehen und damit wird die Shell beim Aufruf von '''sed''' an dieser Stelle anstatt '''$1''' den Wert des ersten Arguments des Scriptes einsetzen. Wir haben hier also über die Optionen beim Aufruf des Shellscript direkten Einfluss auf die Funktionsweise von '''sed'''

==== Nutzung von sed in Here-Dokuments's ====

Eine weitere häufig benutzte Aufrufmöglichkeit von '''sed''' innerhalb von Shell-Scripten ist das [http://en.wikipedia.org/wiki/Heredoc Here Document]
Auch hier wird oftmals mit der oben gezeigten Methode auf Shellvariablen zurückgegriffen. Die Eingabefile die '''sed''' verarbeitet, ist dabei der Inhalt des Here-Dokumentes. folgendes Beispiel soll das verdeutlichen.
<pre>
#!/bin/bash
KASSE=129.32
WAEHRUNG="EURO"
MITARBEITER="Hr. Maier"

sed -e 's/XXXX/'$KASSE'/g;s/YYYY/'"$WAEHRUNG"'/g;s/ZZZZ/'"$MITARBEITER"'/g' <<EOF
Der Bargeldbestand von XXXX YYYY wurde heute festgestellt
verantwortlich ist wie immer ZZZZ
EOF
</pre>
hier wird auf 3 Shellvariablen zugegriffen die beim Aufruf durch deren Werte ersetzt werden. Die Ausgabe ist dann der Inhalt des Here-Dokumentes und die Platzhalter '''XXXX ; YYYY ; ZZZZ ''' werden durch '''sed''' dann durch diese Werte ersetzt, die '''sed''' beim Kommandoaufruf von der Shell in den sed-Programmtext eingefügt bekommt.
<pre>Der Bargeldbestand von 129.32 EURO wurde heute festgestellt
verantwortlich ist wie immer Hr. Maier</pre>

== die Befehle ==

Wie oben schon angedeutet gibt es nicht übermäßig viele Befehle. Die Befehle bestehen alle aus nur einem einzigem Zeichen, meist ein Buchstabe den man auch leicht als Kürzel für den Befehl interpretieren kann. (damit hat man wenigstens eine Gedankenstütze)
* p = '''p'''rint
* l = '''l'''ist
* i = '''i'''insert
* a = '''a'''pend
*usw

zu einigen Befehlen gehören noch Optionen, und zu den meisten Befehlen können Adressen angegeben werden.

=== Adressierung der Befehle ===

Unter Adressen versteht man das Auswahlkriterium der Zeilen, auf denen der Befehl Anwendung finden soll. Die Adressenmöglichkeiten der einzelnen Befehle ist unterschiedlich, nicht alle Befehle können z.B. mit 2 Adressen versehen werden, manche kann man gar nicht mit Adressen versehen. Adressen können, müssen aber nicht angegeben sein. Die Adresse steht vor dem Befehl. Ein Negationszeichen '''!''' zwischen der Adresse und dem Befehl negiert die Adresse, ( also "alle Anderen außer den adressierten Zeilen" treffen zu )

* Ist keine Adresse angegeben, dann wird dieser Befehl auf alle Zeilen der Eingabedatei ausgeführt
* gibt es eine Adresse, dann wird dieser Befehl nur auf solche Zeilen ausgeführt, die zu dieser Adresse passen
* viele haben 2 Adressen in der Schreibweise '''Adresse1,Adresse2''' Hier handelt es sich um ein '''von Adresse1 bis zur Adresse2'''
* (GNU)sed unter Linux erlaubt noch einiges mehr was aber nicht portable zu anderen sed-Implentationen ist (z.B. '''3~4''' würde bedeuten ab Zeile 3 jede 4.Zeile)

Die Adressierungsmöglichkeiten unterliegen folgenden Regeln

* Eine Adresse kann eine Zahl sein, diese bedeutet die entsprechende Zeilennummer der Eingabedatei
* Eine Adresse kann ein Regulären Ausdruck sein '''/regex/''' entspricht alle Zeilen auf die dieser Reguläre Ausdruck passt, ( hierbei ist es möglich aber selten gebräuchlich auch '''\%regex\%''' zu schreiben, wobei '''%''' ein beliebiges Zeichen ist)
* zwei Adressen '''Zahl1,Zahl2''' enspricht von Zeilennummer '''Zahl1''' bis Zeilennummer '''Zahl2''' bezogen auf die Eingangsdatei
* '''/regex1/,/regex2/''' bedeutet vom der Zeile die '''regex1''' erfüllt bis zur Zeile die '''regex2''' erfüllt
* Kominationen von '''Zahl,/regex/''' und '''/regex/,Zahl''' sind möglich
* anstatt einer Zahl das Zeichen '''$''' bedeutet die letzte Zeile
* Zeilenberechnungen mit Zeilennummern wie z.B. '''$-10''' (als Adresse für die letzten 10 Zeilen gemeint) geht nicht
* Die Adressierung kann für eine Gruppe von Befehlen erfolgen wenn die Befehle in '''{ }''' eingeschlossen sind und durch ''';''' voneinander getrennt werden. Die Adresse steht vor der öffnenden Klammer. ''' Achtung: } muss dabei auf einer Zeile am Zeilenanfang stehen, dass heißt es dürfen davor nur Leer oder Tabulatorzeichen stehen'''
* Das Zeichen '''!''' zwischen der Adresse und dem Befehl negiert die Adresse, also alle Zeilen die nicht auf die Adresse zutreffen.

==== Beispiele für Adressierung ====

einfache Beispiel in Kombination mit den Befehlen '''p'''rint und '''d'''elete und der Einfluss der Option '''-n'''
<pre>
sed -ne '1,10p' # Zeilen 1 bis 10 ausgeben
sed -e '1,10p' # Zeilen 1 bis 10 doppelt restlichen Zeilen einfach ausgeben
sed -e '2d' # 2. Zeile löschen
sed -e '2,10!d' # Zeilen 2 bis 10 ausgeben
sed -ne '2,10p' # Zeilen 2 bis 10 ausgeben
sed -e '10,$p' # Zeilen 1 bis 9 einfach und alle anderen Zeilen doppelt ausgeben
sed -ne '$p' # letzte Zeile ausgeben

sed -e '/Text/d' # Alle Zeilen die nicht "Text" enthalten, ausgeben
sed -e '/Text/!d' # Alle Zeilen die "Text" enthalten, ausgeben
sed -ne '/Text/,$!p' # Alle Zeilen bevor eine Zeile mit "Text" kommt, ausgeben
sed -ne '/Begin/,/END/p' # Alle Zeilen von "Begin" bis "END" ausgeben (wird "END" nicht gefunden bis Schluss)
# Kommt nach einem "END" wieder ein "Begin" dann von dort aus wieder ausgeben </pre>

hier jetzt mal ein paar Beispiele zur Verwendung von [http://sed.sourceforge.net/sedfaq3.html#s3.7 Charakter Klassen] und ähnlichen Neuerungen die in GNU-sed unter anderem also auf Linux funktionieren, aber nicht 100% portabel sind
<pre>
sed -ne '/^[[:alnum:]]/!p' # Ausgabe alle Zeilen die nicht mit einem Buchstaben oder Zahl beginnen
sed -ne '3~2p' # Ab der 3.Zeile jede 2.Zeile ausgeben (also ungerade Zeilen ab Zeile 3 )
sed -ne '5,/Text/p' # Ab der 5.Zeile bis zu einer Zeile mit "Text" ausgeben
sed -ne '3,+7p' # Die 3.Zeile und die 7 folgenden Zeilen ausgeben
sed -ne '/Begin/,+2p' # Die Zeilen die "Begin" enthalten und jeweils die nächsten 2 Zeilen ausgeben
</pre>

Bisher wurden nur sehr einfache Reguläre Ausdrücke verwendet, aber da geht natürlich einiges mehr
<pre>
sed -ne '/^[EBH]/p' # alle Zeilen die mit "E","B" oder "H" beginnen ausgeben
sed -e '/^$/d' # alle leeren Zeilen löschen
sed -ne '/^[^#].*/p' # jede Zeile ausgeben, die mit einem anderem Zeichen als "#" beginnt
sed -ne '/^[[:space:]]*#/d' # Zeilen deren erstes Zeichen (außer Space und Tabulator) "#" ist, löschen
sed -ne '/^.\{64\}/p' # Alle Zeilen die mindestens 64 Zeichen lang sind, ausgeben
sed -ne '/[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}/p'
# druckt jede Zeile in der eine IP-Adresse enthalten sein könnte
</pre>

und man merkt sehr schnell, dass es mit Regulären Ausdrücken hier schon langsam unübersichlich wird. Reguläre Ausdrücke sind schon eine kleine Wissenschaft für sich, da aber bei '''sed''' noch zusätzliche Sonderzeichen und auch noch weitere Regeln dazukommen, also bestimmte Zeichen noch zusätzlich entweder entwertet oder aktiviert werden müssen, kann man hier das Chaos durchaus noch etwas perfektionieren.

Um z.B. alle fehlerfreien Zeilen zu suchen, die einen Zeitstring '''YYYY-MM-DD''' entsprechen wie ihn z.B. auch '''date +%F''' liefert, müsste man mit '''sed''' wie folgt adressieren. Hier mal gleich der Konsolausdruck. ;-)
<pre>
LINUX: # cat test1
2008-10-02
2008-03-19
2007-09-01
2006-07-28
2008-10-05
2007-13-01
2006-06-31
2008-30-02
2005-02-29
2006-11-31
2008-00-02
2004-02-29
LINUX: # sed -ne '/[1-9][0-9][0-9][0-9]-$\(0[1-9]\|1[0-2]$-$[01][1-9]\|10\|2[0-8]$\|$0[13-9]\|1[0-2]$-$29\|30$\|$0[13578]\|1[02]$-31\)\|$[0-9][0-9]\(0[48]\|[2468][048]\|[13579][26]$\|$0[48]\|[2468][048]\|[13579][26]$00\)-02-29/p' test1
2008-10-02
2008-03-19
2007-09-01
2006-07-28
2008-10-05
2004-02-29
LINUX: #
</pre>
Und damit fängt es langsam an Spaß zu machen, aber wir wollen hier bei '''sed''' bleiben. Für komplizierte Reguläre Ausdrücke gibt es auch [http://regexp-evaluator.de/evaluator/ Tools] und jede Menge gute Seiten im WWW.

==== ein paar Regeln zu Regulären Ausdrücken in sed ====

Nur mal so als Gedankenstütze zum nachlesen beim nächsten Problem mit '''sed''' und Regulären Ausdrücken mal hier einige Regeln 
'''sed''' verwendet '''"Basic Regular Expressions"''' einige Unterschiede zu den '''"Erweiterten Regulären Ausdrücken"''' sind z.B.:

* Die Quantifikatoren "'''|'''", "'''+'''" und "'''?'''" sind normale Zeichen ''(GNU-sed wie es in Linux enthalten ist, kennt jedoch diese Operatoren, wenn sie durch einen vorangestellten Backslash "escaped" werden)''

* die Klammern '''"{" "}" "(" ''' und ''' ")"''' sind normale Zeichen und müssen mit Backslashes "escaped" (aktiviert) werden, also als "'''\{'''" ; "'''\}'''" ; "'''$'''" und "'''$'''"geschrieben werden.

* die Zeichen, die durch "'''$'''" und "'''$'''" eingeschlossen werden, können später mit "'''\1'''" usw. (max "'''\9'''" ) dereferenziert werden

* "'''^'''" ist ein normales Zeichen, wenn es nicht am Beginn eines Ausdrucks, oder eines Klammerausdrucks steht

* "'''$'''" ist ein normales Zeichen, wenn es nicht am Ende eines Ausdrucks oder eines Klammerausdrucks steht

* "'''*'''" ist am Beginn eines Ausdrucks oder eines Klammerausdrucks ein normales Zeichen

=== der s-Befehl ===

Der mit Abstand wichtigste Befehl in '''sed''', der Befehl '''"s///"'''. Alle anderen Befehle sind nur das Beiwerk. Wer sich schon einmal etwas intensiver mit [[VIM|vi oder VIM]] beschäftigt hat, wird diesem Befehl vielleicht schon einmal benutzt haben. Die prinzipelle Funktion dieses Befehles ist schnell mit "suchen und ersetzen" erklärt. Die Schreibweise: 
 
[ADRESSE]'''s/'''SUCHMUSTER'''/'''ERSETZUNG'''/'''[FLAG] 


* '''ADRESSE''' ist der optionale Ausdruck wie er [[#Adressierung der Befehle|oben]] schon beschrieben ist, fehlt er, wird der Befehl auf alle Zeilen angewendet
* '''FLAG''' steuert die Eigenschaften des Befehls und ist ebenfalls optional, [[#Adressierung der Befehle|Übersicht der möglichen Flags]]; ist kein Flag angegeben, gilt '''1''' ; welches dann bedeutet, es wird nur der erste gefundene Ausdruck der auf das Suchmuster passt, ersetzt.
* '''s''' ist der Befehlsname selbst
* '''SUCHMUSTER''' ist ein [[Reguläre Ausdrücke|Regulärer Ausdruck]] nach dem gesucht wird
* '''ERSETZUNG''' enthält den Text, der den Teil des Orginaltextes ersetzt, der durch das Suchmuster gefunden wird.
* Als Abrenzung der einzelnen Optionen sind 3 '''"/"''' Begrenzer zu setzen. ''(Bei Bedarf darf hier auch statt '''"/"''' jedes andere Zeichen verwendet werden, es gilt das Zeichen als Trennzeichen, dass unmittelbar auf '''s''' folgt. Diese Option sollte jedoch mit Sorgfalt verwendet werden, da es ein späteres Interpretieren eines komplizierten Befehls durchaus auch erschweren kann)''

In einer der häufigsten und einfachsten Anwendungsbereiche könnte ein kompletter Befehl jetzt so aussehen.
sed -e 's/Strauch/Baum/g'
; Erläuterung
: * es gibt keine Adresse, also wird der s-Befehl auf jede Zeile angewendet
: * Reguläre Suchausdruck lautet in diesem Beispiel einfach '''"Strauch"'''
: * Der Ersetzungtext ist '''"Baum"'''
: * als Flag wird '''"global"''' verwendet, es werden also alle gefundenen Stellen pro Zeile ersetzt.
: * da sed ohne die Option '''-n''' gestartet wurde erfolgt eine automatische Ausgabe.

Damit würde in einer Datei jedes Vorkommens der Buchstabenkombination "Stauch" durch "Baum" ersetzt, also nicht nur das Wort Strauch selbst, sonder z.B. würde aus dem Wort "Strauchdieb" das Wort "Baumdieb"

Der Befehl wird jetzt desshalb so mächtig, da Reguläre Ausdrücke nicht nur Buchstabenkombinationen kennen, sondern man damit jede nur erdenkliche Zeichenkombination universell in logischer Form eindeutig beschreiben kann, man Zeilenanfang und Zeilenende bestimmen kann, mit Zeichengruppen, Zeichenklassen, Alternativen, Wiederholungszeichen, und gruppierten Ausdrücken arbeiten kann.

==== die Bedeutung der Flags ====

Mit den Flags kann die Funktion des '''s-Befehls''' gesteuert werden. Ist kein Flag angegeben gilt '''1''' ; also nur Ersetzung des ersten Vorkommens des gefunden Strings

{| border=1
|+ '''Bedeutung der Flags beim s-Befehl '''
! Flag !! Bedeutung !! Beispiel !! Bemerkung
|-
!| N
|| N=Zahl (1 < 512) ; das N'te Vorkommen
!| s/AB/CD/2
|| wird N nicht angegeben dann erste Vorkommen
|-
!| g
|| global ; alle Vorkommen
!| s/AB/CD/g
|| es werden alle Vorkommen ersetzt
|-
!| p
|| print ; Ausgabe bei Ersetzung
!| s/AB/CD/p
|| wurde eine Ersetzung vorgenommen wird der Buffer an stdout ausgegeben
|-
!| w DATEI
|| write DATEI bei Ersetzung
!| s/AB/CD/w FILE
|| bei Ersetzung Ausgabe des Buffers in die angegebene Datei
|-
!| i
|| case-insensitive ; Groß-Kleinschreibung ignorieren
!| s/AB/CD/i
|| ist nicht kompatibel zu allen SED-Implementierung
|-
!| m
|| ||
|| betrifft Interpretation von '''^ '''und''' $''' ; nicht kompatibel
|-
!| x
|| ||
|| nicht kompatibel ; nur bei ssed im Perlmodus
|-
!| s
|| ||
|| nicht kompatibel ; nur bei ssed im Perlmodus
|}
es sind auch mehr als nur ein einzelnes Flag möglich, soweit die Kombination einen Sinn ergibt. z.B.
<pre>
LINUX: # echo "abcabcabc" | sed -ne 's/AB/CD/2ip'
abcCDcabc
LINUX: # </pre>

==== kleine Befehlsbeispiele zum Suchen und Ersetzten ====
<pre>
sed -e 's/blau\|lila/rot/2' # Das 2.Vorkommen je Zeile von "blau" oder "lila" wird durch "rot" ersetzt

sed -e '/^$/!s/^/#/ ' # bei alle nichtleeren Zeilen am Zeilenanfang "#" einfügen

sed -e 's/#.*$//' # von einem Zeichen "#" bis zum Zeilenende alles löschen

sed 's/^[ \t]*//;s/[ \t]*$//' # entferne alle Leerzeichen und Tabulatoren am Anfang und Ende der Zeilen

sed -e 's/Michael[^a]/Herr &/' # ersetze "Michael" durch "Herr Michael" jedoch nicht wenn hinter "Michael" ein "a" folgt.

sed -e 's/[Cc]olor/[b]&[\/b]/g' # jedes "Color" und "color" in "[b]Color[/b]" oder "[b]color[/b]" änderen

date +%F | sed -e 's/$[0-9]\{4\}$-$[0-9]\{2\}$-$[0-9]\{2\}$/heute ist der \3.\2. \1/'
#das Datumsformat YYYY-MM-DD umwandeln zu "heute ist der DD.MM. YYYY"
</pre>
'''Besonderheiten der Beispiele''' 

# Beispiel: es wird eine Oderverknüpfung benutzt '''|''' muss dabei entwertet werden also '''\|'''
# Beispiel: Verwendung der Sonderzeichen '''^''' für Zeilenanfang und '''$''' für Zeilenende
# Beispiel: '''#.*$''' bedeutet Zeichen '''#''' anschließend müssen 0 oder beliebig viele beliebige Zeichen '''(.*)''' stehen, bis Zeilenende '''($)''' ; alles wird durch NICHTS ersetzt '''(//)'''
# Beispiel: '''[ \t]''' an dieser Stelle entweder ein Leerzeichen oder ein Tabulator, das '''"*"''' darf sich 0 bis beliebig oft wiederholen. Hier wurden 2 Sedbefehle durch '''";"''' getrennt, beide werden hintereinander auf alle Zeilen ausgeführt.
# Beispiel: '''[^a]''' das '''"a"''' ist durch '''"^"''' negiert, das Bedeutet ('''nicht "a"''') an dieser Stelle, das '''"&"''' im Ersetzungsfeld bedeutet an dieser Stelle der gesamte mit dem Muster gefundene String einsetzen.
# Beispiel: Im Ersetzungsfeld steht wieder '''"&"''' der '''"/"''' im Ersetzungstext musste entwertet werden '''"\/"'''
# Beispiel: Hier haben wir zum einem '''"\{ \}"''' mit der geschweiften Klammer läßt sich festlegen wie oft sich der vorhergehende Ausdruck oder Zeichen wiederholen soll, hier z.B. '''[0-9]\{4\}''' bedeutet genau 4 Mal eine Ziffer 0 bis 9, weiterhin haben wir '''""''' das ist eine Gruppierung (ähnlich einer Variable) mit '''"\1" bis "\9"''' kann sie im Ersetzungsfeld verwenden können. der Inhalt ist der jeweilige mit der entsprechende Klammer gefundene Text, in diesem Beispiel haben wir 3 solche Gruppen und wir geben sie in umgegehrter Reihenfolge wieder aus '''"\3 \2 \1"'''

=== Befehlsübersicht ===

{| border=2
|+ '''Übersicht der Befehle und Schlüsselworte'''
! Kommando !! Addr !! stdin !! stdout !! Muster Speicher !! Halte Speicher !! Erklärung
|-
! ; || - || - || - || - || -
|| Trennzeichen zwischen einzelner Befehle
|-
! ! || - || - || - || - || -
|| Negationszeichen vor Befehl (Steht zwischen Adresse und Befehl und kehrt die Adresse ins Gegenteil)
|-
! { } || 2 || - || - || - || -
|| umschließt einen Block, der mehrere Kommandos beinhalten kann, diese müssen durch ''';''' getrennt werden
|-
! # || - || - || - || - || -
||Kommentar, alle nachfolgenden Zeichen bis Newline werden nicht als Programmcode interpretiert
|-
! : MARKE || - || - || - || - || -
|| definiert das Sprungziel '''MARKE''' Siehe Kommandos '''b''' oder '''t'''
|-
! = || 2 || - || X || - || -
|| gibt die aktuelle ZeilenNr der Eingabedatei auf separater Zeile aus
|-
! a || 1 || - || X || - || -
|| gibt die nachfolgenden Text nach der Ausgabe des Buffers aus
|-
! b MARKE || 2 || - || - || - || -
|| Sprungbefehl zur '''MARKE''' bzw. zum Ende des Scripts
|-
! c || 2 || - || X || X || -
|| Musterspeicher bzw Bereich löschen und stattdessen nachfolgenden Text ausgeben
|-
! d || 2 || - || - || X || -
|| Musterspeicher löschen
|-
! D || 2 || - || - || X || -
|| Musterspeicher bis zum Zeichen „newline“ löschen
|-
! g || 2 || - || - || X || -
|| Musterspeicher wird durch den Inhalt des Haltespeicher ersetzt.
|-
! G || 2 || - || - || X || -
|| Haltespeicher wird an den Inhalt des Musterspeicher angefügt
|-
! h || 2 || - || - || - || X
|| Haltespeicher wird durch den Inhalt des Musterspeicher ersetzt
|-
! H || 2 || - || - || - || X
|| Musterspeicher wird an den Inhalt des Haltespeicher angefügt
|-
! i || 1 || - || X || - || -
|| gibt die nachfolgenden Text vor der Ausgabe des Buffers aus
|-
! l || 1 || - || X || - || -
|| Musterspeicher ausgegeben. ("C-Notation" unbekannte Zeichen in Oktalformat)
|-
! n || 2 || X || ? || X || -
|| je nach Option '''-n''' wird der Buffer ausgegeben oder nicht, neue Zeile laden
|-
! N || 2 || X || - || X || -
|| Nächste Zeile an Inhalt des Musterspeichers angefügen
|-
! p || 2 || - || X || - || -
|| Musterspeicher ausgegeben.
|-
! P || 2 || - || X || - || -
|| Musterspeicher bis zum nächsten „newline“-Zeichen ausgeben.
|-
! q || 1 || - || - || - || -
|| sed Beenden, bei nicht gesetzter Option '''-n''' wird Musterspeicher ausgegeben
|-
! r FILE|| 1 || - || X || - || -
|| Inhalt einer angegebenen '''FILE''' wird eingelesen und ausgegeben.
|-
! s/regex/rpl/flg|| 2 || - || - || X || -
|| Ersetzt '''regex''' durch '''rpl'''. Null oder mehrere '''flg''' wirken steuernd ein
|-
! t MARKE || 2 || - || - || - || -
|| bedingter Sprungbefehl zur '''MARKE''' abhängig von vorheriger '''s''' oder '''y''' Kommandos
|-
! w FILE|| 2 || - || X || - || -
|| Schreibt Musterspeicher in '''FILE'''
|-
! x || 2 || - || - || X || X
|| Inhalt von Muster- und Haltespeicher vertauschen
|-
! y/src/rpc/flg|| 2 || - || - || X || -
|| Ersetzt jedes Zeichen im pattern buffer welches in '''src''' vorkommt durch das entsprechenden Zeichen in '''rpc'''
|}

== kleine sed Programme am praktischen Beispiel erklärt ==

Auf unseren Rechnern in vielen Standard-Scripten sind hunderte von kleinen und kleinsten sed-Befehlen eingebettet. Größere und komplizierter sed-Befehle, sind dabei sehr selten. Es sind fast alles nur sehr einfache Befehle, die sollten mit dem bisschen Wissen hier aus diesem Artikel und ein wenig Verständnis für Reguläre Ausdrücke sicherlich schnell zu durchschauen sein, auch wenn sie eventuell auf dem ersten Blick sehr kompliziert aussehen.
Machen wir doch die Probe aufs Exempel:

=== Beispiel 1 ===

gefunden in '''/etc/rc.d/rpmconfigcheck'''
sed -e 's/^/ /' < $configcheckfile
* einfacher s-Befehl, Eingabedatei ist der Variable '''configcheckfile''' gespeichert
* '''"^"''' Zeilenanfang wird durch einige Leerzeichen ersetzt, also weiter nichts wie einrücken von Text.

=== Beispiel 2 ===

gefunden in '''/etc/rc.d/smbfs'''
mountpoint=$( echo "$mountpoint"|sed "s/\/*$//")
* es wird die Variable '''mountpoint''' (in der scheinbar Text steht) mit '''echo''' ausgegeben, durch '''sed''' gefiltert und die Ausgabe wieder in der Variable '''mountpoint''' gespeichert
* '''"s/\/*$//"''' Trennzeichen ist '''"/"''' das haben wir aber 4 Mal ;-) , Beim näheren Hinsehen ist das 2 '''"/"''' mit '''"\"''' entwertet
* damit lautet unsere Suchmaske ohne Quotierung "'''/*$'''" und das ist schlichtweg als letztes Zeichen vor Zeilenende (eventuelle auch mehrfach vorhanden) '''"/"''' ([http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Quantoren_.28Angabe_der_Anzahl_Wiederholungen.29 Quantoren])
gemeint
* ersetzt wird mit NICHTS, also macht der Befehl nichts weiter als eventuelle '''"/"''' am Ende des Variableinhaltes abzuschneiden

=== Beispiel 3 ===

gefunden in '''/etc/rc.d/fbset'''
mode=`echo $FBSET_PARAMS | sed -e 's/^-[^ ]*//' -e 's/ -[^ ]*//g'`
* auch hier wird der Inhalt einer Variable durch '''sed''' gefiltert und das Ergebnis in einer anderen Variable gespeichert
* '''sed''' hat hier 2 Regeln wie wir an 2 mal '''-e''' und der Quotierung schnell herauslesen.
* die erste Regel ist ein s-Befehl, Suchmuster ist '''"^-[^ ]*"''' bedeutet Am Zeilenanfang '''"^"''' ein '''"-"''' und dann''' "[^ ]*"''' also [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Ein_Zeichen_aus_einer_Auswahl alles andere nur kein Leerzeichen] und das sooft es will. Ersetzt wird durch NICHTS, also schneidet die erste Regel am Zeilenanfang alles was mit einem Strich anfängt bis zum ersten Leerzeichen weg.
* die zweite Regel auch ein s-Befehl, macht fast das selbe, nur nicht vom Zeilenanfang an, sondern das Zeichen vor dem ersten Strich muss ein Leerzeichen sein, dann wird auch bis zum nächsten Leerzeichen nach dem Strich alles gelöscht.
* der 2. Befehl arbeitet global, das heist es werden alle " -irgendwas" gelöscht.
* In Summe macht der gesamte sed-Befehl also nichts anderes, als alle Optionen mit beginnendem "-" aus dem Variabelinhalt zu beseitigen.

=== Beispiel 4 ===

gefunden in '''/etc/rc.d/network'''
RL=`sed -n 's=^id:$.$:initdefault.*$=\1=p' /etc/inittab`
* der Inhalt von /etc/inittab wird durch '''sed''' gefiltert und in der Variable''' RL''' abgelegt.
* es ist ein s-Befehl '''-n''', also keine automatische Ausgabe,
*Dieses Mal ist das Begrenzungszeichen '''"="''' da es unmittelbar nach dem '''"s"''' kommt, der Befehl hat also hier die Struktur '''s===''' und nicht wie bisher gewohnt '''s///'''
* als Flag haben wir ein '''"p"''', also sollte '''sed''' hier eine Ersetzung vornehmen, wird danach automatisch ausgegeben, ansonsten nichts ausgeben
* Suchmuster: am Anfang '''"id:"''' dann kommt [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Beliebiges_Zeichen irgend ein Zeichen] das mit '''""''' [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gruppierung_mit_runden_Klammern gruppiert] ist, und dann geht es weiter mit '''":initdefault"''' und anschließen alle Zeichen bis Zeilenende.
* Ersetzt wird also die gesammte Zeile von Anfang bis Ende aber nur durch Inhalt von '''"\1"''' also dem was vom Muster in der '''''' Klammer gefunden wird ([http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gruppierung_mit_runden_Klammern Rückwärtsreferenz]).
* Ein Blick in die /etc/inittab, zeigt, da steht an dieser Stelle der Standardrunlevel (also normalerweisee 2 3 oder 5) und genau das ist das mögliche Ergebniss des ganzen Befehles.

=== Beispiel 5 ===

gefunden in '''/etc/rc.d/xdm'''
/etc/X11/xdm/SuSEconfig.xdm | \
sed 's+$.*$+/etc/init.d/xdm: \1+g' | \
/bin/logger

* nicht dadurch stören lassen, dass hier ein Befehl über mehrere Zeilen geschrieben wurde, Die Zeilen enden mit "\" das bedeutet der Zeilensprung ist auskommentiert, den sieht die bash beim starten der Befehle nicht.
* es wird ein Script '''/etc/X11/xdm/SuSEconfig.xdm''' ausgeführt und die Ausgabe durch '''sed''' mit einem s-Befehl gefiltert, diese Ausgabe wird dem Programm '''/bin/logger''' übergeben.
* der s-Befehl hat hier die Struktur '''s+++''' da ein '''"+"''' unmittelbar dem '''"s"''' folgt.
* eine Adressierung gibt es nicht, also alle Zeilen werden bearbeitet.
* die Suchmaske ist '''$.*$''' und bedeutet soviel wie gruppiert '''''' wird "Alles" (beliebiges Zeichen, 0 mal oder beliebig oft)
* ersetzt wird es durch "'''/etc/init.d/xdm: \1'''" , wobei '''\1''' durch die gefundene Gruppe, also der ganzen ursprünglichen Zeile, ersetzt wird.
* das Flag '''"g"''' ist hier eigentlich nicht nötig, da es ja nur eine einzigen Treffer pro Zeile geben kann.
* Der Sed-Befehl macht also nichts weiter, als an den Anfang jeder Zeile '''"/etc/init.d/xdm: "''' einzufügen.

=== Beispiel 6 ===

gefunden in '''/usr/bin/texi2dvi4a2ps'''
BEFEHL | sed -n 's/^.*\[$.*$version $....$-$..$-$..$.*$/txiformat=\1 txiversion="\2\3\4"/p'

* der BEFEHL dessen Ausgabe hier gefiltert wird soll uns mal nicht stören.
* sed wird mit '''"-n"''' gestartet, also keine automatische Ausgabe jeder Zeile
* der s-Befehl hat keine Adresse und normale Struktur '''s///''' , Flag ist '''"p"''' bedeutet also gibt es eine Ersetzung dann wird diese ausgegeben, ansonsten wird nichts ausgegeben.
* Suchmuster ist '''^.*\[$.*$version $....$-$..$-$..$.*$''' ; gesucht wird vom Zeilenbegnin nach einer eckigen Klammer '''"\["''' ; dann kommt irgendetwas oder nichts '''".*"''' , das wird wiedermal gruppiert '''''', die Gruppe endet vor der Zeichenfolge '''"version "'''; Anschließend wird nach Zeichen im Format "XXXX-XX-XX" gesucht und irgendwas oder nichts kann bis Zeilenende kommen.
* von dem XXXX-XX-XX Format werden 3 weitere Gruppen gebildet, wir haben also insgesamt 4 Gruppierungen im Suchmuster definiert.
* ersetzt wird die gesamte Zeile durch '''"txiformat=\1 txiversion="\2\3\4"''' die \1 \2 \3 \4 wird durch die Gruppen ersetzt.
* der sed-Befehl formatiert also eine "Versionszeile" neu, und gibt sie aus, Andere Zeilen erzeugen keine Ausgabe.

=== Beispiel 7 (für Fortgeschrittene) ===

gefunden in '''/usr/bin/autoconf'''
echo X/"$0" |
sed '/^.*\/$[^/][^/]*$\/*$/{
s//\1/
q
}
/^X\/$\/\/$$/{
s//\1/
q
}
/^X\/$\/$.*/{
s//\1/
q
}
s/.*/./; q'

* hier wird '''"X/"''' vor '''"$0"''' (also der aufgerufene Name des Scriptes) mit '''echo''' ausgegeben und an '''sed''' übergeben.

==== Analyse der Struktur ====

* der sed-Befehl geht über mehrere Zeilen und scheint aus mehreren Befehlen zu bestehen, also verallgemeinern wir ihn erst mal, in dem wir die sed-Befehle extrahieren und die Regulären Ausdrücke wegblenden.
/ADRESSE1/{
s///
q
}
/ADRESSE2/{
s///
q
}
/ADRESSE3/{
s///
q
}
s ; q
* Den sed-Befehl '''"q"''' hatten wir bisher noch nicht, das ist der Abbruchbefehl von sed. Dort wird also das Programm vorzeitig beendet, vorher wird bei fehlender Option '''-n''' noch die Ausgabe des Musterspeichers veranlaßt.
* die Bedeutung, die '''"{ }"''' hier hat, ist auch neu für uns. Die Befehle die in dieser Klammer stehen gehören alle zur selben Adresse, (die Befehle müssen aber durch ''';''' oder '''\n''' getrennt werden)
* Also haben wir 3 Adressen die beim Zutreffen jeweils einen s-Befehl ausführen und dann '''sed''' beenden. und wenn keine dieser Adressen zutreffen sollte, den s-Befehl am Ende des Programms, der dann ausgeführt wird.

==== Schauen wir uns zuerst die s-Befehle an ====

* die ersten 3 s-Befehle sind gleich '''"s//\1/"''' das ist auch neu für uns. Der Suchstring, den gibt es gar nicht, da die '''//''' unmittelbar hintereinander stehen, dennoch greifen wir auf die Gruppe '''"\1"''' beim Ersetzen zu ?
:: würden wir diesen Befehl auf der Konsole versuchen, '''sed 's//\1/'''' käme eine Fehlermedung, "fehlender Suchstring"
:: sed nimmt hier für den fehlenden Suchstrings den selben Regulären Ausdruck wie in der Adresse, also mit der Adresse zusammen funktioniert der Befehl, ohne Adresse oder Adresse aus Zeilennummer funktioniert er nicht.
* der letzte s-Befehl ist einfach '''"s/.*/./"''' ersetzt alles oder nichts durch einen einzigen Punk

==== Analyse der Adressen ====

* ADRESSE1: '''^.*\/$[^/][^/]*$\/*$''' wir haben jetzt schon etwas Übung mit entwerteten Zeichen und Regulären Ausdrücken desshalb gleich mal die Zusammenfassung.
::gesucht und gruppiert wird "ein mindestens 2 Zeichen langes Wort" Wortbegrenzer ist "/" gefunden wird die ganze Zeile.
:: Achtung: hier "'''^.*\/'''" treffen wir auf ein Phänomen der Regulären Ausdrücke, das auch neu für uns ist.[http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gieriges_Verhalten gieriges Verhalten] '''(Greediness of RegEx)'''
:: gesucht wird am Zeilenanfang "irgendwas oder nichts bis ein '''"/"''' kommt"
::: ist in der Shellvariable eine oder mehrere '''"/"''' (also das Programm mit dem Path aufgerufen,) dann wird hier als "irgendwas" der längst mögliche String gefunden
:: durch das Greediness wird bei dieser Adresse hier gefunden und gruppiert der "Scriptname ohne den Path"
:: dieser wird dann auch nach dem s-Befehl ausgegeben, und das sed-Programm beendet.

* ADRESSE2 '''"^X\/$\/\/$$"''' kommt also nur zum Zug wenn ADRESSE1 nicht zutrifft.
:: sie sucht nach '''"X///"''' und gruppiert die letzten beiden '''"/"'''
:: der s-Befehl würde also '''"//"''' ausgeben und sich beenden.

* ADRESSE3 '''"^X\/$\/$.*"''' (nur wenn sowohl Adresse1 und Adresse2 nicht zutreffen) funktioniert ähnlich wie ADRESSE2 nur sucht sie nur nach einem '''"/"''' weniger würde auch fündig werden bei vielen aneinandergereihten '''"/"''' und gibt nur ein '''"/"''' aus

* Treffen keine der 3 Adressen zu, z.B. weil '''"$0"''' leer sein sollte, dann wird der letzte s-Befehl ausgeführt, der nur einen Punkt ausgibt.

==== Da ist noch ein kleiner Trick im Script versteckt ====

Damit bei einer Leeren "$0" das sed-Programm überhaupt arbeiten kann, wird als Trick
echo X/"$0"
benutzt. Das vorangestellte '''"X/"''' wird beim Ersetzten innerhalb von '''sed''' jedesmal wieder entfernt, aber es sichert bei leeren '''$0''' eine ordnungsgemäße Funktion des Programms.

==== Das Ergebnis des gesamten sed-Programms ====

Das Ergebniss des gesamten sed-Scriptes ist also abhängig vom Inhalt der Shell Variable '''$0''' und ist entweder der '''"Scriptname ohne Path" ; "//" ; "/" oder "."'''

-----

== weiterführende Links ==

* [http://www.grymoire.com/Unix/Sed.html An Introduction and Tutorial]
* [http://www.tty1.net/sed-tutorium_de.html sed-Tutorium-de]
* [http://sed.sourceforge.net/sedfaq.html THE SED FAQ]
* [http://sed.sourceforge.net/#tools Hilfreiche Tools für Sed-Programmierung]
* [http://www.gnu.org/software/sed/manual/ GNU sed user's manual]

-----

[[Konsole#Unixwerkzeuge|zurück zu UNIX-Werkzeuge]]
[[Kategorie:Konsole]][[Kategorie:Scripte]]

Sed

2019-06-05T03:41:26Z

Itu: /* das Funktionsprinzip */ ditto

SED - eine kleine Einführung und Übersicht über ein mächtiges UNIX-Werkzeug

== Was ist sed und was kann sed ? ==

[http://linux.die.net/man/1/sed sed] ('''S'''tream-'''ED'''itor) ist ein universelles Textbearbeitungstool und auf jedem UNIX- und Linux-System zu finden. Ein Texteditor im gewöhnlichen Sinn, ist ein Programm mit dem wir mittels Tastatur einen Text erstellen oder ändern können, und genau das ist '''sed''' nicht.

Der Stream-Editor liest die Standardeingabe, (oder wenn angegeben eine oder mehrere Dateien) ein, ändert diesen Text nach einem "programmiertem Rezept" welches wir ihm beim Aufruf mitgeben ab, und gibt den so geänderten Text auf der Standardausgabe (oder umgeleitet auch als Datei) wieder aus. Es handelt sich also um einen universell programmierbaren '''Text-Bearbeitungs-Filter''', mit dem wir nicht interaktiv arbeiten, sondern dem wir beim Programmaufruf Regeln mitgeben, nach denen ein Text zu ändern ist.

sed wurde 1973/74 von [http://senseis.xmp.net/?McMahon Lee E. McMahon] entwickelt. Es ist eine interpretierende Scriptsprache mit sehr begrenzten Funktionsmöglichkeiten und speziell für die Bearbeitung von Text ausgelegt. Sie baut direkt auf [[Reguläre Ausdrücke|Regulären Ausdrücken]] auf und umfasst nur wenige [[#Befehlsübersicht|Befehle]]. Alle Befehle und Schlüsselworte bestehen nur aus einem einzigem Zeichen, entweder Buchstabe oder Sonderzeichen. Nahe Verwandte von '''sed''' sind der Zeileneditor [http://linux.die.net/man/1/ed ed] (der zwar noch auf den meisten Systemen installiert ist, aber doch stark in die Jahre gekommen ist und kaum noch Verwendung findet) und der klassische UNIX Standard-Editor '''[[VIM|vi]]'''.

'''sed''' erlaubt eine sehr kompakte Programmierung. Für einen Ungübten sehen kleine Programme auf den ersten Blick oftmals wie eine zufällige Folge von Buchstaben und Sonderzeichen aus, Der Anteil der Sonderzeichen kann in einer einzelnen Zeile bisweilen erschreckend hoch werden. Folgendes kleines Beispiel zeigt eine etwas längere typischen Befehlszeile.
sed 's/ //g;s/$^.*$,$.*$$/\2,\1/;s/$^.*$,$.*,$$.*$$/\1 \3 \2/;s/,/ /g'
Diese Zeile hat durchaus einen Sinn und eine Funktion, sie wurde auch nicht boshafter Weise extra kompliziert geschrieben, sondern das ist normale SED-Sprache.
Eine solche Befehlszeile wird man sich natürlich nicht merken können und kaum buchstabieren können, ja man kann sie kaum fehlerfrei abschreiben, eventuelle Fehler durch fehlerhafte Schreibweise oder auch logische Fehler sind deshalb auch sehr schwer zu erkennen und zu beseitigen. Das war auch einer der Gründe für die Entstehung von [[awk]]

Die auf dem ersten Blick sehr ungewöhnliche Schreibweise wird bei etwas Beschäftigung mit '''sed''' schon durchsichtiger, und wer sich öfter und intensiver mit '''sed''' beschäftigt, wird durchaus schnell bemerken, wie hilfreich diese kryptische Sprache ist. Für manch einen ist es sogar eine Art Kult geworden und sie haben zur Übung, Demonstration oder aus Spaß mit '''sed''' die brauchbarsten und die unmöglichsten Dinge, sogar kleine Spiele mit '''sed''' programmiert. In diesem [http://sed.sourceforge.net/grabbag/scripts/ SED Script Archiv] sind einige solcher Programme zu finden. Weitere [http://sed.sourceforge.net/#scripts sed-scripte] und weitere [http://sed.sourceforge.net/#gamez Spiele ] gibt es auf [http://sed.sourceforge.net/ einer der wichtigsten SED-Seiten] (Web-Seiten geschrieben übrigens mit ? : [http://sed.sourceforge.net/local/scripts/sedindex2html.sed.html natürlich mit sed] ;-)))

Heute gibt es eine Vielzahl von [http://sed.sourceforge.net/sedfaq2.html#s2.2 '''sed''' Implementierungen für die unterschiedlichsten Betriebssysteme] die zT die eine oder andere Erweiterung unterstützen oder nicht. Unterschiede gibt es vor allem im Umfeld der [http://de.wikipedia.org/wiki/Regul%C3%A4re_Ausdr%C3%BCcke Regulären Ausdrücke], da es dort einige Spezifikationen gibt, die sich in Details unterscheiden. Unter Linux haben wir ein sehr leistungsfähiges [http://www.gnu.org/software/sed/manual/ GNUsed] das einige Erweiterungen beinhaltet, die nicht unbedingt portabel zu anderen Sed-Versionen sind.

=== Für was benötigen wir sed heute ? ===

Mit '''sed''' lassen sich kleinere Probleme schnell und effektiv lösen. Solche sed-Programme sind meist Einzeiler und werden nicht nur innerhalb von Scripten und der Shell benutzt, sondern durchaus auch einmal aus anderen Programmen oder Programmiersprachen heraus. Auch dort wird hin und wieder einmal auf eine Shellfunktion mit sed-Befehlszeile zurückgegriffen.

Für Randprobleme besonders bei Ein- und Ausgabe oder bei Konvertierung von Textdateien ist '''sed''' oftmals ein sehr hilfreiches Tool.
Darüber hinaus kann man '''sed''' überall dort einsetzen, wo häufig und regelmäßig immer die selben oder ähnliche Dinge erledigt werden sollen, oder wo viele Textdateien nach einem ganz bestimmten Muster verändert werden sollen. Beispiele hierfür sind z.B:

* Umwandlung von Textausgaben in bestimmte andere Formate oder zurück (z.B: Text nach HTML oder HTML nach Text);
* Extrahieren bestimmter Abschnitte aus Texten, oder bestimmte Textformatierungen
* das Ändern oder Korrigieren von Kleinigkeiten über viele HTML-Dateien oder an vielen Quellcode-Dateien

Überall dort wo der Aufwand für manuelle Änderung am Text ansteigt, wird '''sed''' interessant. Mit dem Stream Editor lassen sich eine Vielzahl von [http://sed.sourceforge.net/local/docs/emulating_unix.txt Standardkommandos von UNIX simulieren]. Auch diese Standardkommandos haben alle ihre Ausnahmen und Problemfälle, und auch dort kann man hin und wieder einmal '''sed''' als die Lösung für solche Problemfälle finden. 

Wer gezielt im WWW sucht, wird eine ganze Reihe von kleinen hilfreichen Anwendungen und Tricks rund um '''sed''' finden, Für viele Dinge, wie gezieltes Suchen, Extrahieren oder Änderungen in umfangreichen Texten, in vielen Dateien oder zur automatischen Bearbeitung von z.B. Konfigurationsdateien, wird man wohl auch morgen noch gerne auf '''sed''' zurückgreifen. Wenn moderne Programmiersprachen zu groß und mächtig oder unangemessen für winzige Probleme sind, oder wenn auf einige größere Standard-Tools auf Klein- und Minimalsystemen mal verzeichtet werden muss, dann ist eventuell '''sed''' als die kleine elegante Lösung die beste Option.

Für viele kleine Dinge ist '''sed''' durchaus gut geeignet, besonders wenn es sich kurz und knapp auf einer Zeile programmieren läßt, für viele Dinge insbesondere bei listenähnlichen Texten ist '''awk''' (wenn auch etwas langsamer bei der Arbeit) aber dennoch meist besser geeignet. Man sollte '''sed''' auch nicht dort einsetzen, wo die normalen Standard-Tools oder Programme das gewünschte Ergebnis mit vertretbaren Aufwand selbst liefern können, diese sind schneller und oftmals auch genauer. Bei größeren und komplizierten Probleme wird man freiwillig und gerne auf eine höhere Programmiersprache wie z.B. Perl oder Phyton ausweichen.

== das Funktionsprinzip ==

Das Prinzip von '''sed''' ist recht simpel, aber man muss es sich genau verinnerlichen, sonst bekommt man schnell Verständnisprobleme beim Schreiben oder Interpretieren von sed-Programmen.

Beim Aufruf von '''sed''' werden die Regeln zum Ändern des Textes beim Programmaufruf mit übergeben. Wird keine Datei angegeben, dann nimmt '''sed''' den Standardeingabekanal als Eingangsdatei, wird eine Datei angegeben, dann diese. Werden mehrere Dateien angegeben, dann werden die Dateien der Reihe nach bearbeitet, und zwar werden die Dateien aneinander gereiht, der '''Zeilenzähler''' wird also bei einer neuen Datei nicht wieder zurückgesetzt. Die Ausgabe erfolgt auf der Standardausgabe und kann von hier mit den normalen Umleitungen auch an andere Befehle übergeben werden, oder in eine Datei umgeleitet werden. Die Eingangsdateien werden also nicht geändert.

'''sed''' hat einen Textbuffer den sogenannten '''Musterspeicher''', dieser ist beim Starten des Programms leer. In diesen Musterspeicher wird die erste Zeile der Eingangsdatei geladen. Jetzt werden die Regeln auf diesen Musterspeicher angewendet und diese Zeile damit entsprechend geändert oder auch nicht. Sind alle Regeln abgearbeitet, dann wird der Inhalt des jetzt geänderten Musterspeichers nach stdout ausgegeben. Der Musterspeicher wird gelöscht und die nächste Zeile geladen, usw bis alle Zeilen der Eingabe verarbeitet sind. Beim Laden der neuen Zeile wird jeweils der interne Zeilenzähler um eins erhöht. Diesen Zeilenzähler können wir auch im sed-Program abfragen und auswerten.

Das Grundverhalten, dass '''sed''' jede bearbeitete Zeile selbstständig ausgibt bevor die nächste Zeile geladen wird, können wir mit einer Option beim Start von '''sed''' verhindern. Dann müssen wir jedoch innerhalb der Regeln festlegen, was '''sed''' denn ausgeben soll, wir müssen also "Print-Befehle" benutzen. Die Option bei Aufruf von '''sed''' dazu ist "'''-n'''".

Angenommen wir wollen aus einem Text die 2. Zeile löschen, dann müssen wir ohne Benutzung der Option '''-n''' die Regel nur so angeben, dass die 2. Zeile gelöscht oder übersprungen wird. Verwenden wir jedoch die Option '''-n''' so müssen wir ersteinmal dafür sorgen, dass wir alle Zeilen ausgeben und nur die 2. Zeile entweder bei der Ausgabe überspringen oder erst löschen bevor wir den dann leeren Buffer ausgeben. 
Das sind oftmals fast gegensätzliche Ansatzweisen für den gesamten Programmablauf, und innerhalb des Programms benötigen wir dabei oftmals gegensätzliche Befehle oder Optionen. Welche Option für welche Aufgabe jeweils besser geeignet ist, müssen wir beim Erstellen eines sed-Programms von Aufgabe zu Aufgabe selbst entscheiden. In der Anfangszeit, bei den ersten Programmierversuchen, wird es öfter passieren, dass entweder Zeilen doppelt vorkommen, oder gar keine oder nur unvollständige Ausgaben kommen, nicht selten  Option '''-n''' ;-))

=== was beinhaltet sed und was kann man damit machen ===

Neben dem '''Musterspeicher''' gibt es noch einen 2. Textbuffer, den sogenannten '''Haltespeicher'''. Auch dieser ist beim Start des Programms leer. In ihm könnte man jetzt zB den Inhalt des Musterspeichers kopieren und den Inhalt dort solange aufbewahren, bis er zu einem späteren Zeitpunkt benötigt wird, und dann wieder in den Musterspeicher laden. Hierfür gibt es einige [[#Befehlsübersicht| '''sed''' Kommandos]] mit denen die Daten zwischen diesen beiden Textbuffern ausgetauscht werden also:
''
* Musterspeicher durch Haltespeicher ersetzen
* Haltespeicher durch Musterspeicher ersetzen
* Inhalt von Halte- und Musterspeicher tauschen
* Inhalt von Musterspeicher an den Haltespeicher anhängen
* Inhalt von Haltespeicher an den Musterspeicher anhängen
'''Im Haltespeicher selbst kann aber nichts abgefragt oder gar verändert werden.''' Er dient nur zum Zwischenspeichern.

Und was geht jetzt mit dem Musterspeicher? 
Einige Funktionen mehr, denn hier kann auch der Inhalt geändert werden, und von hier aus werden auch die Ausgaben gemacht zB:
''
* Musterspeicher löschen
* die nächste Zeile einlesen
* die nächste Zeile hinten hinzufügen
* Musterspeicher nach stdout ausgeben
* Inhalte mit dem Haltespeicher austauschen
* den Musterspeicher leeren dafür aber einen im Programm enthaltenen Text ausgeben
* oder diesen Text vor dem Inhalt oder erst nach dem Inhalt des aktuellen Musterspeichers ausgeben
* den Musterspeicher in eine Datei schreiben
* Programmsprung je nach dem ob bestimmte Befehle den Musterspeicher geändert haben oder nicht
* einzelne Zeichen durch andere Zeichen ersetzen (ähnlich dem Befehl [http://linux.die.net/man/1/tr tr])
* und das Wichtigste, '''innerhalb des Musterspeichers suchen und ersetzen'''''

; Variablen ?
: außer dem Haltespeicher und der Variable in der '''sed''' automatisch die Eingabezeilen zählt, die wir aber nicht selbst ändern können, gibt es nichts 
; Schleifen ?
: gibt es auch keine, aber es gibt 2 '''Sprungbefehle''', ähnlich wie '''GOTO-Befehle''' und natürlich einen vorzeitigen Programmabbruch 
Wenn man jetzt noch die Kommentar-Möglichkeit und Befehlsgruppierung hinzuzählt hat man '''sed''' schon sogut wie komplett erklärt.

=== wie kann man damit Probleme lösen ===

Nun kann man sich ja fragen, wie man mit so einer spartanischen Ausstattung und einem minimalem Befehlssatz überhaupt größere und komplexe Probleme lösen könnte?

Der Befehl, der den Hauptteil der Arbeit innerhalb von '''sed''' leistet, ist oben nur als '''"suchen und ersetzen"''' angegeben. Dieser '''s-Befehl''' ist in der Kombination mit [[Reguläre Ausdrücke|Regulären Ausdrücken]] sehr mächtig, ''([[#der s-Befehl|weiter unten, spezielles Kapitel]])''. Er bietet wesentlich mehr Möglichkeiten als nur einzelne Worte auszutauschen, so wie man das von gleichnamigen Funktionen aus Text-Bearbeitungs-Programmen kennt. '''Suchen und ersetzen''' umfasst hier zB auch ''"eine bestimmte Stelle suchen und dort NICHTS gegen einen Text ersetzen"''. Unterstützt wird das Ganze durch Reguläre Ausdrücke. So lassen sich mit dem s-Befehl alle typischen Arbeiten an einem Text simulieren, zB: Einfügen; Überschreiben; Löschen; Verschieben; Erweitern; usw. 
'''Aber wie gesagt: alles immer jeweils nur in dem Text, der momentan im Musterspeicher steht.'''

Ein kleines Problem ergibt wohl auch in sed-Programmierung nur 1 , 2 oder einige wenige Befehle, und ist mit etwas Übung schnell zu entwerfen. Beim Entwickeln von Lösungen zu komplexen Problemen mit '''sed''' muss das Problem sehr genau analysiert werden, in kleinste Einzelschritte zerlegt, entsprechend der begrenzten Möglichkeiten von '''sed''' ein logischer Lösungsweg gefunden werden und dieser dann in Einzelschritten zu einem fertigen sed-Programm aneinandergereiht werden. Die vielen Annehmlichkeiten moderner Programmiersprachen gibt es bei '''sed''' nicht, hier muss man gelegentlich auch mal einen Lösungsweg von ganz unten und nur mit purer Logig selbst neu erfinden. Und genau in dieser Herausforderung liegt wohl auch oftmals der Reiz dennoch einmal selbst ein größeres Problem mit '''sed''' anzugehen. 
Das Ganze erinnert etwas an [http://de.wikipedia.org/wiki/Assemblersprache Assembler-Programmierung], und das nicht ganz unbegründet. Die Mehrzahl der Befehle von '''sed''', sind in ihrer Funktion sehr elementar und nicht unähnlich den Operationen die in einer CPU auf Registerebene ausgeführt werden. Der Unterschied ist: die CPU arbeitet mit Registern einer definierten Bit Breite und '''sed''' arbeitet mit einem Textbuffer in dem sich eine beliebige Anzahl von Textzeichen befinden. Bei den Akkumulator Befehlen (also den Befehlen mit denen wir zB. Vergleichen und Ändern können) haben wir bei der CPU allerdings nur die vergleichsweise einfache Bit-Logig, in '''sed''' gibt es dort universelle und komplexe Reguläre Ausdrücke die auf Buchstaben, Sonderzeichen, Wörter und ganze Texte angewendet werden. 

Und warum der Stream-Editor so funktioniert und nicht anders, wird deutlich wenn man sich noch einmal vor Augen führt, wann dieser Stream-Editor entwickelt wurde. 
1973 da hatten die [http://de.wikipedia.org/wiki/PDP-11 Rechner] Hauptspeicher von typisch 16-64KB Größe, Speichermedien von wenigen MB waren riesige Massenspeicher, UNIX und die Grundzüge der Programmiersprache C waren gerade erst geboren, bzw wurden gerade von Assembler Programmierung auf C portiert und komplett überarbeitet ([http://de.wikipedia.org/wiki/Geschichte_von_Unix Geschichte von Unix]).
 Terminals gab es zwar, aber der verbreitetste Weg durch einen Rechner war immer noch, von der [http://technikum29.de/de/rechnertechnik/lochkarten-edv Lochkarte] oder [http://www.pdp8.net/tu56/tu56.shtml einem Magnetband] über den Rechner auf den Drucker. Alles was vorher kam war sehr viel Assembler-Programmierung, erste brauchbare universelle Betriebssysteme wie [http://web.mit.edu/multics-history/source/Multics_Internet_Server/Multics_sources.html Multics] und [http://infolab.stanford.edu/pub/voy/museum/pictures/display/3-1.htm nackte Logig], das gesamte Umfeld war ein Tummelplatz von genialen Wissenschaftlern. 
Wenn wir also heute immer noch mit dem Stream Editor arbeiten, dann muss in ihm wohl eine geniale Idee verbaut sein.

== der Aufruf und die Optionen von sed ==

=== die Optionen ===

Eine Option '''-n''' steuert direkt die innere Abarbeitung und wurde oben schon besprochen. Weitere wichtige Optionen sind '''-e''' und '''-f'''

; sed -e REGEL:
hinter der Option steht unmittelbar die Regeln für die Bearbeitung. Sind in der REGEL Leer- oder Sonderzeichen enthalten dann müssen wir sie vor der Interpretation der Shell durch Hochkomma schützen werden ( also sogut wie immer ;-))). Die Option '''-e REGEL''' kann auch mehrfach bei einem Aufruf angegeben werden, und auch in Kombination mit der folgenden Option benutzt werden. ( Die Option '''-e''' ist nicht zwingend erforderlich, '''sed''' interpretiert automatisch das erste Zeichen das nicht eindeutig einer Option zugeordnet werden kann, als der Begin einer Regel. Man sollte sich dennoch angewöhnen die Optionen sauber auszuschreiben)
; sed -f REGELDATEI:
Die Regel oder mehrere Regeln stehen in einer separaten Datei, die beim Start mit der Option ''' -f ''' an '''sed''' übergeben wird. Auch diese Option kann in der Befehlszeile mehrfach vorkommen (auch in Kombination mit obriger Option), es werden dann der Reihe nach alle Regeln auf die zu bearbeitende Datei angewendet.
; weitere Optionen sind abhängig von der speziellen sed-Implementierung :
diese könnten spezielle Steuerungsoptionen für den Umgang der Eingabedateien beinhalten, oder auch die Interpretation der Regulären Ausdrücke beeinflussen. Diese Optionen sind nicht zwingend kompatibel zu anderen sed-Implementierungen, und werden auch nur in Einzelfällen benötigt.

=== der Aufruf ===

Nachfolgend ein paar Beispiele wie sed-Programme auf der Konsole oder aus einem Script heraus aufgerufen werden können
<pre>
BEFEHL | sed -e 'REGEL' > AUSGABEDATEI

sed -n -e 'REGEL' EINGABEDATEI > AUSGABEDATEI

BEFEHL | sed -f REGELDATEI | BEFEHL

sed -e 'REGEL1' -f REGELDATEI -e 'REGEL2' <EINGABEDATEI >AUSGABEDATEI

VARIABLE=`BEFEHL | sed -e 'REGEL1' | sed -ne 'REGEL2' | BEFEHL `
</pre>
Oftmals lassen sich die Regeln für ein sed-Programm aus bestimmten Regelgründen nicht in eine Zeile schreiben.
<pre>sed -ne '
BEFEHL1\
Optionen zum BEFEHL1\
weitere Optionen
; BEFEHL2 ; BEFEHL3\
Optionen zum BEFEHL3
; BEFEHL4 ; BEFEHL5
'</pre>

==== sed-Programm als Script ====

'''sed''' Programme lassen sich auch als eigenständige Script schreiben. Dazu wird der Programmtext in eine Datei geschrieben. An den Begin der Datei wird die '''[http://de.wikipedia.org/wiki/Shebang Magic Line''' (shebang)]
#!/usr/bin/sed -f
(eventuell noch zusätzlich die Option '''-n''') gesetzt. 
Die Datei erhält Ausführungsrechte. Jetzt kann sie wie andere Scripte auch, direkt mit ihrem Namen ausgeführt werden.

==== Übergabe von Shell-Variablen an Sed-Programme ====

'''sed''' selbst kann nicht auf Variablen der Shell zurückgreifen und kennt auch keine eigenen Variablen, es kennt nur seinen Programmtext. Also muss bei Bedarf der Programmtext beim Aufruf von '''sed''' entprechend der Shellvariablen angepasst werden. In Shellscripten findet man sehr oft einen kleinen Trick.

Die Quotierung des Befehlstext, der den Befehlstext vor der Interpretation der Shell schützen soll, ist an einigen Stellen unterbrochen. An diesen Stellen stehen dann '''$Shellvariable'''. Beim Aufruf des sed-Kommandos sieht die Shell diese Variablen und ersetzt sie im Programmtext durch den Wert der Shellvariable. Somit hat man eine sehr elegante Steuerung der Funktion des sed-Scriptes durch Variable der Shell
#!/bin/bash

sed -n '
'/$1/' !{
#no match - put the current line in the hold buffer
x
# delete the old one, which is
# now in the pattern buffer
d
}'
Die genaue Funktion die sed ausführen soll, soll uns hier erst einmal nicht interessieren, gemeint ist hier die unterbrochen Quotierung 
 
''''/$1/'!{ ''' 
 
die roten Hochkommas lassen die Shell '''/$1/''' sehen und damit wird die Shell beim Aufruf von '''sed''' an dieser Stelle anstatt '''$1''' den Wert des ersten Arguments des Scriptes einsetzen. Wir haben hier also über die Optionen beim Aufruf des Shellscript direkten Einfluss auf die Funktionsweise von '''sed'''

==== Nutzung von sed in Here-Dokuments's ====

Eine weitere häufig benutzte Aufrufmöglichkeit von '''sed''' innerhalb von Shell-Scripten ist das [http://en.wikipedia.org/wiki/Heredoc Here Document]
Auch hier wird oftmals mit der oben gezeigten Methode auf Shellvariablen zurückgegriffen. Die Eingabefile die '''sed''' verarbeitet, ist dabei der Inhalt des Here-Dokumentes. folgendes Beispiel soll das verdeutlichen.
<pre>
#!/bin/bash
KASSE=129.32
WAEHRUNG="EURO"
MITARBEITER="Hr. Maier"

sed -e 's/XXXX/'$KASSE'/g;s/YYYY/'"$WAEHRUNG"'/g;s/ZZZZ/'"$MITARBEITER"'/g' <<EOF
Der Bargeldbestand von XXXX YYYY wurde heute festgestellt
verantwortlich ist wie immer ZZZZ
EOF
</pre>
hier wird auf 3 Shellvariablen zugegriffen die beim Aufruf durch deren Werte ersetzt werden. Die Ausgabe ist dann der Inhalt des Here-Dokumentes und die Platzhalter '''XXXX ; YYYY ; ZZZZ ''' werden durch '''sed''' dann durch diese Werte ersetzt, die '''sed''' beim Kommandoaufruf von der Shell in den sed-Programmtext eingefügt bekommt.
<pre>Der Bargeldbestand von 129.32 EURO wurde heute festgestellt
verantwortlich ist wie immer Hr. Maier</pre>

== die Befehle ==

Wie oben schon angedeutet gibt es nicht übermäßig viele Befehle. Die Befehle bestehen alle aus nur einem einzigem Zeichen, meist ein Buchstabe den man auch leicht als Kürzel für den Befehl interpretieren kann. (damit hat man wenigstens eine Gedankenstütze)
* p = '''p'''rint
* l = '''l'''ist
* i = '''i'''insert
* a = '''a'''pend
*usw

zu einigen Befehlen gehören noch Optionen, und zu den meisten Befehlen können Adressen angegeben werden.

=== Adressierung der Befehle ===

Unter Adressen versteht man das Auswahlkriterium der Zeilen, auf denen der Befehl Anwendung finden soll. Die Adressenmöglichkeiten der einzelnen Befehle ist unterschiedlich, nicht alle Befehle können zB mit 2 Adressen versehen werden, manche kann man gar nicht mit Adressen versehen. Adressen können, müssen aber nicht angegeben sein. Die Adresse steht vor dem Befehl. Ein Negationszeichen '''!''' zwischen der Adresse und dem Befehl negiert die Adresse, ( also "alle Anderen außer den adressierten Zeilen" treffen zu )

* Ist keine Adresse angegeben, dann wird dieser Befehl auf alle Zeilen der Eingabedatei ausgeführt
* gibt es eine Adresse, dann wird dieser Befehl nur auf solche Zeilen ausgeführt, die zu dieser Adresse passen
* viele haben 2 Adressen in der Schreibweise '''Adresse1,Adresse2''' Hier handelt es sich um ein '''von Adresse1 bis zur Adresse2'''
* (GNU)sed unter Linux erlaubt noch einiges mehr was aber nicht portable zu anderen sed-Implentationen ist (zB '''3~4''' würde bedeuten ab Zeile 3 jede 4.Zeile)

Die Adressierungsmöglichkeiten unterliegen folgenden Regeln

* Eine Adresse kann eine Zahl sein, diese bedeutet die entsprechende Zeilennummer der Eingabedatei
* Eine Adresse kann ein Regulären Ausdruck sein '''/regex/''' entspricht alle Zeilen auf die dieser Reguläre Ausdruck passt, ( hierbei ist es möglich aber selten gebräuchlich auch '''\%regex\%''' zu schreiben, wobei '''%''' ein beliebiges Zeichen ist)
* zwei Adressen '''Zahl1,Zahl2''' enspricht von Zeilennummer '''Zahl1''' bis Zeilennummer '''Zahl2''' bezogen auf die Eingangsdatei
* '''/regex1/,/regex2/''' bedeutet vom der Zeile die '''regex1''' erfüllt bis zur Zeile die '''regex2''' erfüllt
* Kominationen von '''Zahl,/regex/''' und '''/regex/,Zahl''' sind möglich
* anstatt einer Zahl das Zeichen '''$''' bedeutet die letzte Zeile
* Zeilenberechnungen mit Zeilennummern wie zB '''$-10''' (als Adresse für die letzten 10 Zeilen gemeint) geht nicht
* Die Adressierung kann für eine Gruppe von Befehlen erfolgen wenn die Befehle in '''{ }''' eingeschlossen sind und durch ''';''' voneinander getrennt werden. Die Adresse steht vor der öffnenden Klammer. ''' Achtung: } muss dabei auf einer Zeile am Zeilenanfang stehen, dass heißt es dürfen davor nur Leer oder Tabulatorzeichen stehen'''
* Das Zeichen '''!''' zwischen der Adresse und dem Befehl negiert die Adresse, also alle Zeilen die nicht auf die Adresse zutreffen.

==== Beispiele für Adressierung ====

einfache Beispiel in Kombination mit den Befehlen '''p'''rint und '''d'''elete und der Einfluss der Option '''-n'''
<pre>
sed -ne '1,10p' # Zeilen 1 bis 10 ausgeben
sed -e '1,10p' # Zeilen 1 bis 10 doppelt restlichen Zeilen einfach ausgeben
sed -e '2d' # 2. Zeile löschen
sed -e '2,10!d' # Zeilen 2 bis 10 ausgeben
sed -ne '2,10p' # Zeilen 2 bis 10 ausgeben
sed -e '10,$p' # Zeilen 1 bis 9 einfach und alle anderen Zeilen doppelt ausgeben
sed -ne '$p' # letzte Zeile ausgeben

sed -e '/Text/d' # Alle Zeilen die nicht "Text" enthalten, ausgeben
sed -e '/Text/!d' # Alle Zeilen die "Text" enthalten, ausgeben
sed -ne '/Text/,$!p' # Alle Zeilen bevor eine Zeile mit "Text" kommt, ausgeben
sed -ne '/Begin/,/END/p' # Alle Zeilen von "Begin" bis "END" ausgeben (wird "END" nicht gefunden bis Schluss)
# Kommt nach einem "END" wieder ein "Begin" dann von dort aus wieder ausgeben </pre>

hier jetzt mal ein paar Beispiele zur Verwendung von [http://sed.sourceforge.net/sedfaq3.html#s3.7 Charakter Klassen] und ähnlichen Neuerungen die in GNU-sed unter anderem also auf Linux funktionieren, aber nicht 100% portabel sind
<pre>
sed -ne '/^[[:alnum:]]/!p' # Ausgabe alle Zeilen die nicht mit einem Buchstaben oder Zahl beginnen
sed -ne '3~2p' # Ab der 3.Zeile jede 2.Zeile ausgeben (also ungerade Zeilen ab Zeile 3 )
sed -ne '5,/Text/p' # Ab der 5.Zeile bis zu einer Zeile mit "Text" ausgeben
sed -ne '3,+7p' # Die 3.Zeile und die 7 folgenden Zeilen ausgeben
sed -ne '/Begin/,+2p' # Die Zeilen die "Begin" enthalten und jeweils die nächsten 2 Zeilen ausgeben
</pre>

Bisher wurden nur sehr einfache Reguläre Ausdrücke verwendet, aber da geht natürlich einiges mehr
<pre>
sed -ne '/^[EBH]/p' # alle Zeilen die mit "E","B" oder "H" beginnen ausgeben
sed -e '/^$/d' # alle leeren Zeilen löschen
sed -ne '/^[^#].*/p' # jede Zeile ausgeben, die mit einem anderem Zeichen als "#" beginnt
sed -ne '/^[[:space:]]*#/d' # Zeilen deren erstes Zeichen (außer Space und Tabulator) "#" ist, löschen
sed -ne '/^.\{64\}/p' # Alle Zeilen die mindestens 64 Zeichen lang sind, ausgeben
sed -ne '/[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}/p'
# druckt jede Zeile in der eine IP-Adresse enthalten sein könnte
</pre>

und man merkt sehr schnell, dass es mit Regulären Ausdrücken hier schon langsam unübersichlich wird. Reguläre Ausdrücke sind schon eine kleine Wissenschaft für sich, da aber bei '''sed''' noch zusätzliche Sonderzeichen und auch noch weitere Regeln dazukommen, also bestimmte Zeichen noch zusätzlich entweder entwertet oder aktiviert werden müssen, kann man hier das Chaos durchaus noch etwas perfektionieren.

Um zB alle fehlerfreien Zeilen zu suchen, die einen Zeitstring '''YYYY-MM-DD''' entsprechen wie ihn zB auch '''date +%F''' liefert, müsste man mit '''sed''' wie folgt adressieren. Hier mal gleich der Konsolausdruck. ;-)
<pre>
LINUX: # cat test1
2008-10-02
2008-03-19
2007-09-01
2006-07-28
2008-10-05
2007-13-01
2006-06-31
2008-30-02
2005-02-29
2006-11-31
2008-00-02
2004-02-29
LINUX: # sed -ne '/[1-9][0-9][0-9][0-9]-$\(0[1-9]\|1[0-2]$-$[01][1-9]\|10\|2[0-8]$\|$0[13-9]\|1[0-2]$-$29\|30$\|$0[13578]\|1[02]$-31\)\|$[0-9][0-9]\(0[48]\|[2468][048]\|[13579][26]$\|$0[48]\|[2468][048]\|[13579][26]$00\)-02-29/p' test1
2008-10-02
2008-03-19
2007-09-01
2006-07-28
2008-10-05
2004-02-29
LINUX: #
</pre>
Und damit fängt es langsam an Spaß zu machen, aber wir wollen hier bei '''sed''' bleiben. Für komplizierte Reguläre Ausdrücke gibt es auch [http://regexp-evaluator.de/evaluator/ Tools] und jede Menge gute Seiten im WWW.

==== ein paar Regeln zu Regulären Ausdrücken in sed ====

Nur mal so als Gedankenstütze zum nachlesen beim nächsten Problem mit '''sed''' und Regulären Ausdrücken mal hier einige Regeln 
'''sed''' verwendet '''"Basic Regular Expressions"''' einige Unterschiede zu den '''"Erweiterten Regulären Ausdrücken"''' sind zB:

* Die Quantifikatoren "'''|'''", "'''+'''" und "'''?'''" sind normale Zeichen ''(GNU-sed wie es in Linux enthalten ist, kennt jedoch diese Operatoren, wenn sie durch einen vorangestellten Backslash "escaped" werden)''

* die Klammern '''"{" "}" "(" ''' und ''' ")"''' sind normale Zeichen und müssen mit Backslashes "escaped" (aktiviert) werden, also als "'''\{'''" ; "'''\}'''" ; "'''$'''" und "'''$'''"geschrieben werden.

* die Zeichen, die durch "'''$'''" und "'''$'''" eingeschlossen werden, können später mit "'''\1'''" usw. (max "'''\9'''" ) dereferenziert werden

* "'''^'''" ist ein normales Zeichen, wenn es nicht am Beginn eines Ausdrucks, oder eines Klammerausdrucks steht

* "'''$'''" ist ein normales Zeichen, wenn es nicht am Ende eines Ausdrucks oder eines Klammerausdrucks steht

* "'''*'''" ist am Beginn eines Ausdrucks oder eines Klammerausdrucks ein normales Zeichen

=== der s-Befehl ===

Der mit Abstand wichtigste Befehl in '''sed''', der Befehl '''"s///"'''. Alle anderen Befehle sind nur das Beiwerk. Wer sich schon einmal etwas intensiver mit [[VIM|vi oder VIM]] beschäftigt hat, wird diesem Befehl vielleicht schon einmal benutzt haben. Die prinzipelle Funktion dieses Befehles ist schnell mit "suchen und ersetzen" erklärt. Die Schreibweise: 
 
[ADRESSE]'''s/'''SUCHMUSTER'''/'''ERSETZUNG'''/'''[FLAG] 


* '''ADRESSE''' ist der optionale Ausdruck wie er [[#Adressierung der Befehle|oben]] schon beschrieben ist, fehlt er, wird der Befehl auf alle Zeilen angewendet
* '''FLAG''' steuert die Eigenschaften des Befehls und ist ebenfalls optional, [[#Adressierung der Befehle|Übersicht der möglichen Flags]]; ist kein Flag angegeben, gilt '''1''' ; welches dann bedeutet, es wird nur der erste gefundene Ausdruck der auf das Suchmuster passt, ersetzt.
* '''s''' ist der Befehlsname selbst
* '''SUCHMUSTER''' ist ein [[Reguläre Ausdrücke|Regulärer Ausdruck]] nach dem gesucht wird
* '''ERSETZUNG''' enthält den Text, der den Teil des Orginaltextes ersetzt, der durch das Suchmuster gefunden wird.
* Als Abrenzung der einzelnen Optionen sind 3 '''"/"''' Begrenzer zu setzen. ''(Bei Bedarf darf hier auch statt '''"/"''' jedes andere Zeichen verwendet werden, es gilt das Zeichen als Trennzeichen, dass unmittelbar auf '''s''' folgt. Diese Option sollte jedoch mit Sorgfalt verwendet werden, da es ein späteres Interpretieren eines komplizierten Befehls durchaus auch erschweren kann)''

In einer der häufigsten und einfachsten Anwendungsbereiche könnte ein kompletter Befehl jetzt so aussehen.
sed -e 's/Strauch/Baum/g'
; Erläuterung
: * es gibt keine Adresse, also wird der s-Befehl auf jede Zeile angewendet
: * Reguläre Suchausdruck lautet in diesem Beispiel einfach '''"Strauch"'''
: * Der Ersetzungtext ist '''"Baum"'''
: * als Flag wird '''"global"''' verwendet, es werden also alle gefundenen Stellen pro Zeile ersetzt.
: * da sed ohne die Option '''-n''' gestartet wurde erfolgt eine automatische Ausgabe.

Damit würde in einer Datei jedes Vorkommens der Buchstabenkombination "Stauch" durch "Baum" ersetzt, also nicht nur das Wort Strauch selbst, sonder zB würde aus dem Wort "Strauchdieb" das Wort "Baumdieb"

Der Befehl wird jetzt desshalb so mächtig, da Reguläre Ausdrücke nicht nur Buchstabenkombinationen kennen, sondern man damit jede nur erdenkliche Zeichenkombination universell in logischer Form eindeutig beschreiben kann, man Zeilenanfang und Zeilenende bestimmen kann, mit Zeichengruppen, Zeichenklassen, Alternativen, Wiederholungszeichen, und gruppierten Ausdrücken arbeiten kann.

==== die Bedeutung der Flags ====

Mit den Flags kann die Funktion des '''s-Befehls''' gesteuert werden. Ist kein Flag angegeben gilt '''1''' ; also nur Ersetzung des ersten Vorkommens des gefunden Strings

{| border=1
|+ '''Bedeutung der Flags beim s-Befehl '''
! Flag !! Bedeutung !! Beispiel !! Bemerkung
|-
!| N
|| N=Zahl (1 < 512) ; das N'te Vorkommen
!| s/AB/CD/2
|| wird N nicht angegeben dann erste Vorkommen
|-
!| g
|| global ; alle Vorkommen
!| s/AB/CD/g
|| es werden alle Vorkommen ersetzt
|-
!| p
|| print ; Ausgabe bei Ersetzung
!| s/AB/CD/p
|| wurde eine Ersetzung vorgenommen wird der Buffer an stdout ausgegeben
|-
!| w DATEI
|| write DATEI bei Ersetzung
!| s/AB/CD/w FILE
|| bei Ersetzung Ausgabe des Buffers in die angegebene Datei
|-
!| i
|| case-insensitive ; Groß-Kleinschreibung ignorieren
!| s/AB/CD/i
|| ist nicht kompatibel zu allen SED-Implementierung
|-
!| m
|| ||
|| betrifft Interpretation von '''^ '''und''' $''' ; nicht kompatibel
|-
!| x
|| ||
|| nicht kompatibel ; nur bei ssed im Perlmodus
|-
!| s
|| ||
|| nicht kompatibel ; nur bei ssed im Perlmodus
|}
es sind auch mehr als nur ein einzelnes Flag möglich, soweit die Kombination einen Sinn ergibt. zB
<pre>
LINUX: # echo "abcabcabc" | sed -ne 's/AB/CD/2ip'
abcCDcabc
LINUX: # </pre>

==== kleine Befehlsbeispiele zum Suchen und Ersetzten ====
<pre>
sed -e 's/blau\|lila/rot/2' # Das 2.Vorkommen je Zeile von "blau" oder "lila" wird durch "rot" ersetzt

sed -e '/^$/!s/^/#/ ' # bei alle nichtleeren Zeilen am Zeilenanfang "#" einfügen

sed -e 's/#.*$//' # von einem Zeichen "#" bis zum Zeilenende alles löschen

sed 's/^[ \t]*//;s/[ \t]*$//' # entferne alle Leerzeichen und Tabulatoren am Anfang und Ende der Zeilen

sed -e 's/Michael[^a]/Herr &/' # ersetze "Michael" durch "Herr Michael" jedoch nicht wenn hinter "Michael" ein "a" folgt.

sed -e 's/[Cc]olor/[b]&[\/b]/g' # jedes "Color" und "color" in "[b]Color[/b]" oder "[b]color[/b]" änderen

date +%F | sed -e 's/$[0-9]\{4\}$-$[0-9]\{2\}$-$[0-9]\{2\}$/heute ist der \3.\2. \1/'
#das Datumsformat YYYY-MM-DD umwandeln zu "heute ist der DD.MM. YYYY"
</pre>
'''Besonderheiten der Beispiele''' 

# Beispiel: es wird eine Oderverknüpfung benutzt '''|''' muss dabei entwertet werden also '''\|'''
# Beispiel: Verwendung der Sonderzeichen '''^''' für Zeilenanfang und '''$''' für Zeilenende
# Beispiel: '''#.*$''' bedeutet Zeichen '''#''' anschließend müssen 0 oder beliebig viele beliebige Zeichen '''(.*)''' stehen, bis Zeilenende '''($)''' ; alles wird durch NICHTS ersetzt '''(//)'''
# Beispiel: '''[ \t]''' an dieser Stelle entweder ein Leerzeichen oder ein Tabulator, das '''"*"''' darf sich 0 bis beliebig oft wiederholen. Hier wurden 2 Sedbefehle durch '''";"''' getrennt, beide werden hintereinander auf alle Zeilen ausgeführt.
# Beispiel: '''[^a]''' das '''"a"''' ist durch '''"^"''' negiert, das Bedeutet ('''nicht "a"''') an dieser Stelle, das '''"&"''' im Ersetzungsfeld bedeutet an dieser Stelle der gesamte mit dem Muster gefundene String einsetzen.
# Beispiel: Im Ersetzungsfeld steht wieder '''"&"''' der '''"/"''' im Ersetzungstext musste entwertet werden '''"\/"'''
# Beispiel: Hier haben wir zum einem '''"\{ \}"''' mit der geschweiften Klammer läßt sich festlegen wie oft sich der vorhergehende Ausdruck oder Zeichen wiederholen soll, hier zB '''[0-9]\{4\}''' bedeutet genau 4 Mal eine Ziffer 0 bis 9, weiterhin haben wir '''""''' das ist eine Gruppierung (ähnlich einer Variable) mit '''"\1" bis "\9"''' kann sie im Ersetzungsfeld verwenden können. der Inhalt ist der jeweilige mit der entsprechende Klammer gefundene Text, in diesem Beispiel haben wir 3 solche Gruppen und wir geben sie in umgegehrter Reihenfolge wieder aus '''"\3 \2 \1"'''

=== Befehlsübersicht ===

{| border=2
|+ '''Übersicht der Befehle und Schlüsselworte'''
! Kommando !! Addr !! stdin !! stdout !! Muster Speicher !! Halte Speicher !! Erklärung
|-
! ; || - || - || - || - || -
|| Trennzeichen zwischen einzelner Befehle
|-
! ! || - || - || - || - || -
|| Negationszeichen vor Befehl (Steht zwischen Adresse und Befehl und kehrt die Adresse ins Gegenteil)
|-
! { } || 2 || - || - || - || -
|| umschließt einen Block, der mehrere Kommandos beinhalten kann, diese müssen durch ''';''' getrennt werden
|-
! # || - || - || - || - || -
||Kommentar, alle nachfolgenden Zeichen bis Newline werden nicht als Programmcode interpretiert
|-
! : MARKE || - || - || - || - || -
|| definiert das Sprungziel '''MARKE''' Siehe Kommandos '''b''' oder '''t'''
|-
! = || 2 || - || X || - || -
|| gibt die aktuelle ZeilenNr der Eingabedatei auf separater Zeile aus
|-
! a || 1 || - || X || - || -
|| gibt die nachfolgenden Text nach der Ausgabe des Buffers aus
|-
! b MARKE || 2 || - || - || - || -
|| Sprungbefehl zur '''MARKE''' bzw. zum Ende des Scripts
|-
! c || 2 || - || X || X || -
|| Musterspeicher bzw Bereich löschen und stattdessen nachfolgenden Text ausgeben
|-
! d || 2 || - || - || X || -
|| Musterspeicher löschen
|-
! D || 2 || - || - || X || -
|| Musterspeicher bis zum Zeichen „newline“ löschen
|-
! g || 2 || - || - || X || -
|| Musterspeicher wird durch den Inhalt des Haltespeicher ersetzt.
|-
! G || 2 || - || - || X || -
|| Haltespeicher wird an den Inhalt des Musterspeicher angefügt
|-
! h || 2 || - || - || - || X
|| Haltespeicher wird durch den Inhalt des Musterspeicher ersetzt
|-
! H || 2 || - || - || - || X
|| Musterspeicher wird an den Inhalt des Haltespeicher angefügt
|-
! i || 1 || - || X || - || -
|| gibt die nachfolgenden Text vor der Ausgabe des Buffers aus
|-
! l || 1 || - || X || - || -
|| Musterspeicher ausgegeben. ("C-Notation" unbekannte Zeichen in Oktalformat)
|-
! n || 2 || X || ? || X || -
|| je nach Option '''-n''' wird der Buffer ausgegeben oder nicht, neue Zeile laden
|-
! N || 2 || X || - || X || -
|| Nächste Zeile an Inhalt des Musterspeichers angefügen
|-
! p || 2 || - || X || - || -
|| Musterspeicher ausgegeben.
|-
! P || 2 || - || X || - || -
|| Musterspeicher bis zum nächsten „newline“-Zeichen ausgeben.
|-
! q || 1 || - || - || - || -
|| sed Beenden, bei nicht gesetzter Option '''-n''' wird Musterspeicher ausgegeben
|-
! r FILE|| 1 || - || X || - || -
|| Inhalt einer angegebenen '''FILE''' wird eingelesen und ausgegeben.
|-
! s/regex/rpl/flg|| 2 || - || - || X || -
|| Ersetzt '''regex''' durch '''rpl'''. Null oder mehrere '''flg''' wirken steuernd ein
|-
! t MARKE || 2 || - || - || - || -
|| bedingter Sprungbefehl zur '''MARKE''' abhängig von vorheriger '''s''' oder '''y''' Kommandos
|-
! w FILE|| 2 || - || X || - || -
|| Schreibt Musterspeicher in '''FILE'''
|-
! x || 2 || - || - || X || X
|| Inhalt von Muster- und Haltespeicher vertauschen
|-
! y/src/rpc/flg|| 2 || - || - || X || -
|| Ersetzt jedes Zeichen im pattern buffer welches in '''src''' vorkommt durch das entsprechenden Zeichen in '''rpc'''
|}

== kleine sed Programme am praktischen Beispiel erklärt ==

Auf unseren Rechnern in vielen Standard-Scripten sind hunderte von kleinen und kleinsten sed-Befehlen eingebettet. Größere und komplizierter sed-Befehle, sind dabei sehr selten. Es sind fast alles nur sehr einfache Befehle, die sollten mit dem bisschen Wissen hier aus diesem Artikel und ein wenig Verständnis für Reguläre Ausdrücke sicherlich schnell zu durchschauen sein, auch wenn sie eventuell auf dem ersten Blick sehr kompliziert aussehen.
Machen wir doch die Probe aufs Exempel:

=== Beispiel 1 ===

gefunden in '''/etc/rc.d/rpmconfigcheck'''
sed -e 's/^/ /' < $configcheckfile
* einfacher s-Befehl, Eingabedatei ist der Variable '''configcheckfile''' gespeichert
* '''"^"''' Zeilenanfang wird durch einige Leerzeichen ersetzt, also weiter nichts wie einrücken von Text.

=== Beispiel 2 ===

gefunden in '''/etc/rc.d/smbfs'''
mountpoint=$( echo "$mountpoint"|sed "s/\/*$//")
* es wird die Variable '''mountpoint''' (in der scheinbar Text steht) mit '''echo''' ausgegeben, durch '''sed''' gefiltert und die Ausgabe wieder in der Variable '''mountpoint''' gespeichert
* '''"s/\/*$//"''' Trennzeichen ist '''"/"''' das haben wir aber 4 Mal ;-) , Beim näheren Hinsehen ist das 2 '''"/"''' mit '''"\"''' entwertet
* damit lautet unsere Suchmaske ohne Quotierung "'''/*$'''" und das ist schlichtweg als letztes Zeichen vor Zeilenende (eventuelle auch mehrfach vorhanden) '''"/"''' ([http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Quantoren_.28Angabe_der_Anzahl_Wiederholungen.29 Quantoren])
gemeint
* ersetzt wird mit NICHTS, also macht der Befehl nichts weiter als eventuelle '''"/"''' am Ende des Variableinhaltes abzuschneiden

=== Beispiel 3 ===

gefunden in '''/etc/rc.d/fbset'''
mode=`echo $FBSET_PARAMS | sed -e 's/^-[^ ]*//' -e 's/ -[^ ]*//g'`
* auch hier wird der Inhalt einer Variable durch '''sed''' gefiltert und das Ergebnis in einer anderen Variable gespeichert
* '''sed''' hat hier 2 Regeln wie wir an 2 mal '''-e''' und der Quotierung schnell herauslesen.
* die erste Regel ist ein s-Befehl, Suchmuster ist '''"^-[^ ]*"''' bedeutet Am Zeilenanfang '''"^"''' ein '''"-"''' und dann''' "[^ ]*"''' also [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Ein_Zeichen_aus_einer_Auswahl alles andere nur kein Leerzeichen] und das sooft es will. Ersetzt wird durch NICHTS, also schneidet die erste Regel am Zeilenanfang alles was mit einem Strich anfängt bis zum ersten Leerzeichen weg.
* die zweite Regel auch ein s-Befehl, macht fast das selbe, nur nicht vom Zeilenanfang an, sondern das Zeichen vor dem ersten Strich muss ein Leerzeichen sein, dann wird auch bis zum nächsten Leerzeichen nach dem Strich alles gelöscht.
* der 2. Befehl arbeitet global, das heist es werden alle " -irgendwas" gelöscht.
* In Summe macht der gesamte sed-Befehl also nichts anderes, als alle Optionen mit beginnendem "-" aus dem Variabelinhalt zu beseitigen.

=== Beispiel 4 ===

gefunden in '''/etc/rc.d/network'''
RL=`sed -n 's=^id:$.$:initdefault.*$=\1=p' /etc/inittab`
* der Inhalt von /etc/inittab wird durch '''sed''' gefiltert und in der Variable''' RL''' abgelegt.
* es ist ein s-Befehl '''-n''', also keine automatische Ausgabe,
*Dieses Mal ist das Begrenzungszeichen '''"="''' da es unmittelbar nach dem '''"s"''' kommt, der Befehl hat also hier die Struktur '''s===''' und nicht wie bisher gewohnt '''s///'''
* als Flag haben wir ein '''"p"''', also sollte '''sed''' hier eine Ersetzung vornehmen, wird danach automatisch ausgegeben, ansonsten nichts ausgeben
* Suchmuster: am Anfang '''"id:"''' dann kommt [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Beliebiges_Zeichen irgend ein Zeichen] das mit '''""''' [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gruppierung_mit_runden_Klammern gruppiert] ist, und dann geht es weiter mit '''":initdefault"''' und anschließen alle Zeichen bis Zeilenende.
* Ersetzt wird also die gesammte Zeile von Anfang bis Ende aber nur durch Inhalt von '''"\1"''' also dem was vom Muster in der '''''' Klammer gefunden wird ([http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gruppierung_mit_runden_Klammern Rückwärtsreferenz]).
* Ein Blick in die /etc/inittab, zeigt, da steht an dieser Stelle der Standardrunlevel (also normalerweisee 2 3 oder 5) und genau das ist das mögliche Ergebniss des ganzen Befehles.

=== Beispiel 5 ===

gefunden in '''/etc/rc.d/xdm'''
/etc/X11/xdm/SuSEconfig.xdm | \
sed 's+$.*$+/etc/init.d/xdm: \1+g' | \
/bin/logger

* nicht dadurch stören lassen, dass hier ein Befehl über mehrere Zeilen geschrieben wurde, Die Zeilen enden mit "\" das bedeutet der Zeilensprung ist auskommentiert, den sieht die bash beim starten der Befehle nicht.
* es wird ein Script '''/etc/X11/xdm/SuSEconfig.xdm''' ausgeführt und die Ausgabe durch '''sed''' mit einem s-Befehl gefiltert, diese Ausgabe wird dem Programm '''/bin/logger''' übergeben.
* der s-Befehl hat hier die Struktur '''s+++''' da ein '''"+"''' unmittelbar dem '''"s"''' folgt.
* eine Adressierung gibt es nicht, also alle Zeilen werden bearbeitet.
* die Suchmaske ist '''$.*$''' und bedeutet soviel wie gruppiert '''''' wird "Alles" (beliebiges Zeichen, 0 mal oder beliebig oft)
* ersetzt wird es durch "'''/etc/init.d/xdm: \1'''" , wobei '''\1''' durch die gefundene Gruppe, also der ganzen ursprünglichen Zeile, ersetzt wird.
* das Flag '''"g"''' ist hier eigentlich nicht nötig, da es ja nur eine einzigen Treffer pro Zeile geben kann.
* Der Sed-Befehl macht also nichts weiter, als an den Anfang jeder Zeile '''"/etc/init.d/xdm: "''' einzufügen.

=== Beispiel 6 ===

gefunden in '''/usr/bin/texi2dvi4a2ps'''
BEFEHL | sed -n 's/^.*\[$.*$version $....$-$..$-$..$.*$/txiformat=\1 txiversion="\2\3\4"/p'

* der BEFEHL dessen Ausgabe hier gefiltert wird soll uns mal nicht stören.
* sed wird mit '''"-n"''' gestartet, also keine automatische Ausgabe jeder Zeile
* der s-Befehl hat keine Adresse und normale Struktur '''s///''' , Flag ist '''"p"''' bedeutet also gibt es eine Ersetzung dann wird diese ausgegeben, ansonsten wird nichts ausgegeben.
* Suchmuster ist '''^.*\[$.*$version $....$-$..$-$..$.*$''' ; gesucht wird vom Zeilenbegnin nach einer eckigen Klammer '''"\["''' ; dann kommt irgendetwas oder nichts '''".*"''' , das wird wiedermal gruppiert '''''', die Gruppe endet vor der Zeichenfolge '''"version "'''; Anschließend wird nach Zeichen im Format "XXXX-XX-XX" gesucht und irgendwas oder nichts kann bis Zeilenende kommen.
* von dem XXXX-XX-XX Format werden 3 weitere Gruppen gebildet, wir haben also insgesamt 4 Gruppierungen im Suchmuster definiert.
* ersetzt wird die gesamte Zeile durch '''"txiformat=\1 txiversion="\2\3\4"''' die \1 \2 \3 \4 wird durch die Gruppen ersetzt.
* der sed-Befehl formatiert also eine "Versionszeile" neu, und gibt sie aus, Andere Zeilen erzeugen keine Ausgabe.

=== Beispiel 7 (für Fortgeschrittene) ===

gefunden in '''/usr/bin/autoconf'''
echo X/"$0" |
sed '/^.*\/$[^/][^/]*$\/*$/{
s//\1/
q
}
/^X\/$\/\/$$/{
s//\1/
q
}
/^X\/$\/$.*/{
s//\1/
q
}
s/.*/./; q'

* hier wird '''"X/"''' vor '''"$0"''' (also der aufgerufene Name des Scriptes) mit '''echo''' ausgegeben und an '''sed''' übergeben.

==== Analyse der Struktur ====

* der sed-Befehl geht über mehrere Zeilen und scheint aus mehreren Befehlen zu bestehen, also verallgemeinern wir ihn erst mal, in dem wir die sed-Befehle extrahieren und die Regulären Ausdrücke wegblenden.
/ADRESSE1/{
s///
q
}
/ADRESSE2/{
s///
q
}
/ADRESSE3/{
s///
q
}
s ; q
* Den sed-Befehl '''"q"''' hatten wir bisher noch nicht, das ist der Abbruchbefehl von sed. Dort wird also das Programm vorzeitig beendet, vorher wird bei fehlender Option '''-n''' noch die Ausgabe des Musterspeichers veranlaßt.
* die Bedeutung, die '''"{ }"''' hier hat, ist auch neu für uns. Die Befehle die in dieser Klammer stehen gehören alle zur selben Adresse, (die Befehle müssen aber durch ''';''' oder '''\n''' getrennt werden)
* Also haben wir 3 Adressen die beim Zutreffen jeweils einen s-Befehl ausführen und dann '''sed''' beenden. und wenn keine dieser Adressen zutreffen sollte, den s-Befehl am Ende des Programms, der dann ausgeführt wird.

==== Schauen wir uns zuerst die s-Befehle an ====

* die ersten 3 s-Befehle sind gleich '''"s//\1/"''' das ist auch neu für uns. Der Suchstring, den gibt es gar nicht, da die '''//''' unmittelbar hintereinander stehen, dennoch greifen wir auf die Gruppe '''"\1"''' beim Ersetzen zu ?
:: würden wir diesen Befehl auf der Konsole versuchen, '''sed 's//\1/'''' käme eine Fehlermedung, "fehlender Suchstring"
:: sed nimmt hier für den fehlenden Suchstrings den selben Regulären Ausdruck wie in der Adresse, also mit der Adresse zusammen funktioniert der Befehl, ohne Adresse oder Adresse aus Zeilennummer funktioniert er nicht.
* der letzte s-Befehl ist einfach '''"s/.*/./"''' ersetzt alles oder nichts durch einen einzigen Punk

==== Analyse der Adressen ====

* ADRESSE1: '''^.*\/$[^/][^/]*$\/*$''' wir haben jetzt schon etwas Übung mit entwerteten Zeichen und Regulären Ausdrücken desshalb gleich mal die Zusammenfassung.
::gesucht und gruppiert wird "ein mindestens 2 Zeichen langes Wort" Wortbegrenzer ist "/" gefunden wird die ganze Zeile.
:: Achtung: hier "'''^.*\/'''" treffen wir auf ein Phänomen der Regulären Ausdrücke, das auch neu für uns ist.[http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gieriges_Verhalten gieriges Verhalten] '''(Greediness of RegEx)'''
:: gesucht wird am Zeilenanfang "irgendwas oder nichts bis ein '''"/"''' kommt"
::: ist in der Shellvariable eine oder mehrere '''"/"''' (also das Programm mit dem Path aufgerufen,) dann wird hier als "irgendwas" der längst mögliche String gefunden
:: durch das Greediness wird bei dieser Adresse hier gefunden und gruppiert der "Scriptname ohne den Path"
:: dieser wird dann auch nach dem s-Befehl ausgegeben, und das sed-Programm beendet.

* ADRESSE2 '''"^X\/$\/\/$$"''' kommt also nur zum Zug wenn ADRESSE1 nicht zutrifft.
:: sie sucht nach '''"X///"''' und gruppiert die letzten beiden '''"/"'''
:: der s-Befehl würde also '''"//"''' ausgeben und sich beenden.

* ADRESSE3 '''"^X\/$\/$.*"''' (nur wenn sowohl Adresse1 und Adresse2 nicht zutreffen) funktioniert ähnlich wie ADRESSE2 nur sucht sie nur nach einem '''"/"''' weniger würde auch fündig werden bei vielen aneinandergereihten '''"/"''' und gibt nur ein '''"/"''' aus

* Treffen keine der 3 Adressen zu, zB weil '''"$0"''' leer sein sollte, dann wird der letzte s-Befehl ausgeführt, der nur einen Punkt ausgibt.

==== Da ist noch ein kleiner Trick im Script versteckt ====

Damit bei einer Leeren "$0" das sed-Programm überhaupt arbeiten kann, wird als Trick
echo X/"$0"
benutzt. Das vorangestellte '''"X/"''' wird beim Ersetzten innerhalb von '''sed''' jedesmal wieder entfernt, aber es sichert bei leeren '''$0''' eine ordnungsgemäße Funktion des Programmes.

==== Das Ergebnis des gesamten sed-Programmes ====

Das Ergebniss des gesamten sed-Scriptes ist also abhängig vom Inhalt der Shell Variable '''$0''' und ist entweder der '''"Scriptname ohne Path" ; "//" ; "/" oder "."'''

-----

== weiterführende Links ==

* [http://www.grymoire.com/Unix/Sed.html An Introduction and Tutorial]
* [http://www.tty1.net/sed-tutorium_de.html sed-Tutorium-de]
* [http://sed.sourceforge.net/sedfaq.html THE SED FAQ]
* [http://sed.sourceforge.net/#tools Hilfreiche Tools für Sed-Programmierung]
* [http://www.gnu.org/software/sed/manual/ GNU sed user's manual]

-----

[[Konsole#Unixwerkzeuge|zurück zu UNIX-Werkzeuge]]
[[Kategorie:Konsole]][[Kategorie:Scripte]]

Sed

2019-06-05T02:46:21Z

Itu: /* Was ist sed und was kann sed ? */ Rechtschreibung... (hier gibt es ein Problem mit der Diffanzeige)

SED - eine kleine Einführung und Übersicht über ein mächtiges UNIX-Werkzeug

== Was ist sed und was kann sed ? ==

[http://linux.die.net/man/1/sed sed] ('''S'''tream-'''ED'''itor) ist ein universelles Textbearbeitungstool und auf jedem UNIX- und Linux-System zu finden. Ein Texteditor im gewöhnlichen Sinn, ist ein Programm mit dem wir mittels Tastatur einen Text erstellen oder ändern können, und genau das ist '''sed''' nicht.

Der Stream-Editor liest die Standardeingabe, (oder wenn angegeben eine oder mehrere Dateien) ein, ändert diesen Text nach einem "programmiertem Rezept" welches wir ihm beim Aufruf mitgeben ab, und gibt den so geänderten Text auf der Standardausgabe (oder umgeleitet auch als Datei) wieder aus. Es handelt sich also um einen universell programmierbaren '''Text-Bearbeitungs-Filter''', mit dem wir nicht interaktiv arbeiten, sondern dem wir beim Programmaufruf Regeln mitgeben, nach denen ein Text zu ändern ist.

sed wurde 1973/74 von [http://senseis.xmp.net/?McMahon Lee E. McMahon] entwickelt. Es ist eine interpretierende Scriptsprache mit sehr begrenzten Funktionsmöglichkeiten und speziell für die Bearbeitung von Text ausgelegt. Sie baut direkt auf [[Reguläre Ausdrücke|Regulären Ausdrücken]] auf und umfasst nur wenige [[#Befehlsübersicht|Befehle]]. Alle Befehle und Schlüsselworte bestehen nur aus einem einzigem Zeichen, entweder Buchstabe oder Sonderzeichen. Nahe Verwandte von '''sed''' sind der Zeileneditor [http://linux.die.net/man/1/ed ed] (der zwar noch auf den meisten Systemen installiert ist, aber doch stark in die Jahre gekommen ist und kaum noch Verwendung findet) und der klassische UNIX Standard-Editor '''[[VIM|vi]]'''.

'''sed''' erlaubt eine sehr kompakte Programmierung. Für einen Ungübten sehen kleine Programme auf den ersten Blick oftmals wie eine zufällige Folge von Buchstaben und Sonderzeichen aus, Der Anteil der Sonderzeichen kann in einer einzelnen Zeile bisweilen erschreckend hoch werden. Folgendes kleines Beispiel zeigt eine etwas längere typischen Befehlszeile.
sed 's/ //g;s/$^.*$,$.*$$/\2,\1/;s/$^.*$,$.*,$$.*$$/\1 \3 \2/;s/,/ /g'
Diese Zeile hat durchaus einen Sinn und eine Funktion, sie wurde auch nicht boshafter Weise extra kompliziert geschrieben, sondern das ist normale SED-Sprache.
Eine solche Befehlszeile wird man sich natürlich nicht merken können und kaum buchstabieren können, ja man kann sie kaum fehlerfrei abschreiben, eventuelle Fehler durch fehlerhafte Schreibweise oder auch logische Fehler sind deshalb auch sehr schwer zu erkennen und zu beseitigen. Das war auch einer der Gründe für die Entstehung von [[awk]]

Die auf dem ersten Blick sehr ungewöhnliche Schreibweise wird bei etwas Beschäftigung mit '''sed''' schon durchsichtiger, und wer sich öfter und intensiver mit '''sed''' beschäftigt, wird durchaus schnell bemerken, wie hilfreich diese kryptische Sprache ist. Für manch einen ist es sogar eine Art Kult geworden und sie haben zur Übung, Demonstration oder aus Spaß mit '''sed''' die brauchbarsten und die unmöglichsten Dinge, sogar kleine Spiele mit '''sed''' programmiert. In diesem [http://sed.sourceforge.net/grabbag/scripts/ SED Script Archiv] sind einige solcher Programme zu finden. Weitere [http://sed.sourceforge.net/#scripts sed-scripte] und weitere [http://sed.sourceforge.net/#gamez Spiele ] gibt es auf [http://sed.sourceforge.net/ einer der wichtigsten SED-Seiten] (Web-Seiten geschrieben übrigens mit ? : [http://sed.sourceforge.net/local/scripts/sedindex2html.sed.html natürlich mit sed] ;-)))

Heute gibt es eine Vielzahl von [http://sed.sourceforge.net/sedfaq2.html#s2.2 '''sed''' Implementierungen für die unterschiedlichsten Betriebssysteme] die zT die eine oder andere Erweiterung unterstützen oder nicht. Unterschiede gibt es vor allem im Umfeld der [http://de.wikipedia.org/wiki/Regul%C3%A4re_Ausdr%C3%BCcke Regulären Ausdrücke], da es dort einige Spezifikationen gibt, die sich in Details unterscheiden. Unter Linux haben wir ein sehr leistungsfähiges [http://www.gnu.org/software/sed/manual/ GNUsed] das einige Erweiterungen beinhaltet, die nicht unbedingt portabel zu anderen Sed-Versionen sind.

=== Für was benötigen wir sed heute ? ===

Mit '''sed''' lassen sich kleinere Probleme schnell und effektiv lösen. Solche sed-Programme sind meist Einzeiler und werden nicht nur innerhalb von Scripten und der Shell benutzt, sondern durchaus auch einmal aus anderen Programmen oder Programmiersprachen heraus. Auch dort wird hin und wieder einmal auf eine Shellfunktion mit sed-Befehlszeile zurückgegriffen.

Für Randprobleme besonders bei Ein- und Ausgabe oder bei Konvertierung von Textdateien ist '''sed''' oftmals ein sehr hilfreiches Tool.
Darüber hinaus kann man '''sed''' überall dort einsetzen, wo häufig und regelmäßig immer die selben oder ähnliche Dinge erledigt werden sollen, oder wo viele Textdateien nach einem ganz bestimmten Muster verändert werden sollen. Beispiele hierfür sind z.B:

* Umwandlung von Textausgaben in bestimmte andere Formate oder zurück (z.B: Text nach HTML oder HTML nach Text);
* Extrahieren bestimmter Abschnitte aus Texten, oder bestimmte Textformatierungen
* das Ändern oder Korrigieren von Kleinigkeiten über viele HTML-Dateien oder an vielen Quellcode-Dateien

Überall dort wo der Aufwand für manuelle Änderung am Text ansteigt, wird '''sed''' interessant. Mit dem Stream Editor lassen sich eine Vielzahl von [http://sed.sourceforge.net/local/docs/emulating_unix.txt Standardkommandos von UNIX simulieren]. Auch diese Standardkommandos haben alle ihre Ausnahmen und Problemfälle, und auch dort kann man hin und wieder einmal '''sed''' als die Lösung für solche Problemfälle finden. 

Wer gezielt im WWW sucht, wird eine ganze Reihe von kleinen hilfreichen Anwendungen und Tricks rund um '''sed''' finden, Für viele Dinge, wie gezieltes Suchen, Extrahieren oder Änderungen in umfangreichen Texten, in vielen Dateien oder zur automatischen Bearbeitung von z.B. Konfigurationsdateien, wird man wohl auch morgen noch gerne auf '''sed''' zurückgreifen. Wenn moderne Programmiersprachen zu groß und mächtig oder unangemessen für winzige Probleme sind, oder wenn auf einige größere Standard-Tools auf Klein- und Minimalsystemen mal verzeichtet werden muss, dann ist eventuell '''sed''' als die kleine elegante Lösung die beste Option.

Für viele kleine Dinge ist '''sed''' durchaus gut geeignet, besonders wenn es sich kurz und knapp auf einer Zeile programmieren läßt, für viele Dinge insbesondere bei listenähnlichen Texten ist '''awk''' (wenn auch etwas langsamer bei der Arbeit) aber dennoch meist besser geeignet. Man sollte '''sed''' auch nicht dort einsetzen, wo die normalen Standard-Tools oder Programme das gewünschte Ergebnis mit vertretbaren Aufwand selbst liefern können, diese sind schneller und oftmals auch genauer. Bei größeren und komplizierten Probleme wird man freiwillig und gerne auf eine höhere Programmiersprache wie z.B. Perl oder Phyton ausweichen.

== das Funktionsprinzip ==

Das Prinzip von '''sed''' ist recht simpel, aber man muss es sich genau verinnerlichen, sonst bekommt man schnell Verständnissprobleme beim Schreiben oder Interpretieren von Sed-Programmen.

Beim Aufruf von '''sed''' werden die Regeln zum Ändern des Textes beim Programmaufruf mit übergeben. Wird keine Datei angegeben, dann nimmt ''' sed''' den Standardeingabekanal als Eingangsdatei, wird eine Datei angegeben, dann diese. Werden mehrere Dateien angegeben, dann werden die Dateien der Reihe nach bearbeitet, und zwar werden die Dateien aneinander gereiht, der '''Zeilenzähler''' wird also bei einer neuen Datei nicht wieder zurückgesetzt. Die Ausgabe erfolgt auf der Standardausgabe und kann von hier mit den normalen Umleitungen auch an andere Befehle übergeben werden, oder in eine Datei umgeleitet werden. Die Eingangsdateien werden also nicht geändert.

'''sed''' hat einen Textbuffer den sogenannten '''Musterspeicher''', dieser ist beim Starten des Programmes leer. In diesen Musterspeicher wird die erste Zeile der Eingangsdatei geladen. Jetzt werden die Regeln auf diese Musterspeicher angewendet und diese Zeile damit entsprechend geändert oder auch nicht. Sind alle Regeln abgearbeitet, dann wird der Inhalt des jetzt geänderten Musterspeichers nach stdout ausgegeben. Der Musterspeicher wird gelöscht und die nächste Zeile geladen, usw bis alle Zeilen der Eingabe verarbeitet sind. Beim Laden der neuen Zeile wird jeweils der interne Zeilenzähler um eins erhöht. Diesen Zeilenzähler können wir auch im sed-Program abfragen und auswerten.

Das Grundverhalten, dass '''sed''' jede bearbeitete Zeile selbstständig ausgibt bevor die nächste Zeile geladen wird, können wir mit einer Option beim Start von '''sed''' verhindern. Dann müssen wir jedoch innerhalb der Regeln festlegen, was '''sed''' denn ausgeben soll, wir müssen also "Print-Befehle" benutzen. Die Option bei Aufruf von '''sed''' dazu ist "'''-n'''".

Angenommen wir wollen aus einem Text die 2. Zeile löschen, dann müssen wir ohne Benutzung der Option '''-n''' die Regel nur so angeben, dass die 2. Zeile gelöscht oder übersprungen wird. Verwenden wir jedoch die Option '''-n''' so müssen wir ersteinmal dafür sorgen, dass wir alle Zeilen ausgeben und nur die 2. Zeile entweder bei der Ausgabe überspringen oder erst löschen bevor wir den dann leeren Buffer ausgeben. 
Das sind oftmals fast gegensätzliche Ansatzweisen für den gesamten Programmablauf, und innerhalb des Programmes benötigen wir dabei oftmals gegensätzliche Befehle oder Optionen. Welche Option für welche Aufgabe jeweils besser geeignet ist, müssen wir beim Erstellen eines sed-Programmes von Aufgabe zu Aufgabe selbst entscheiden. In der Anfangszeit, bei den ersten Programmierversuchen, wird es öfter passieren, dass entweder Zeilen doppelt vorkommen, oder gar keine oder nur unvollständige Ausgaben kommen, Nicht selten Option '''-n''' ;-))

=== was beinhaltet sed und was kann man damit machen ===

Neben dem '''Musterspeicher''' gibt es noch einen 2. Textbuffer, den sogenannten '''Haltespeicher'''. Auch dieser ist beim Start des Programmes leer. In ihm könnte man jetzt zB den Inhalt des Musterspeichers kopieren und den Inhalt dort solange aufbewahren, bis er zu einem späteren Zeitpunkt benötigt wird, und dann wieder in den Musterspeicher laden. Hierfür gibt es einige [[#Befehlsübersicht| '''sed''' Kommandos]] mit denen die Daten zwischen diesen beiden Textbuffern ausgetauscht werden also:
''
* Musterspeicher durch Haltespeicher ersetzen
* Haltespeicher durch Musterspeicher ersetzen
* Inhalt von Halte- und Musterspeicher tauschen
* Inhalt von Musterspeicher an den Haltespeicher anhängen
* Inhalt von Haltespeicher an den Musterspeicher anhängen
'''Im Haltespeicher selbst kann aber nichts abgefragt oder gar verändert werden.''' er ist nur zum Zwischenspeichern

Und was geht jetzt mit dem Musterspeicher? 
Einige Funktionen mehr, denn hier kann auch der Inhalt geändert werden, und von hier aus werden auch die Ausgaben gemacht zB:
''
* Musterspeicher löschen
* die nächste Zeile einlesen
* die nächste Zeile hinten hinzufügen
* Musterspeicher nach stdout ausgeben
* Inhalte mit dem Haltespeicher austauschen
* den Musterspeicher leeren dafür aber einen im Programm enthaltenen Text ausgeben
* oder diesen Text vor dem Inhalt oder erst nach dem Inhalt des aktuellen Musterspeichers ausgeben
* den Musterspeicher in eine Datei schreiben
* Programmsprung je nach dem ob bestimmte Befehle den Musterspeicher geändert haben oder nicht
* einzelne Zeichen durch andere Zeichen ersetzen (ähnlich dem Befehl [http://linux.die.net/man/1/tr tr])
* und das Wichtigste, '''innerhalb des Musterspeichers suchen und ersetzen'''''

; Variablen ?
: außer dem Haltespeicher und der Variable in der '''sed''' automatisch die Eingabezeilen zählt, die wir aber nicht selbst ändern können, gibt es nichts 
; Schleifen ?
: gibt es auch keine, aber es gibt 2 '''Sprungbefehle''', ähnlich wie '''GOTO-Befehle''' und natürlich einen vorzeitigen Programmabbruch 
Wenn man jetzt noch die Kommentar-Möglichkeit und Befehlsgruppierung hinzuzählt hat man '''sed''' schon sogut wie komplett erklärt.

=== wie kann man damit Probleme lösen ===

Nun kann man sich ja fragen, wie man mit so einer spartanischen Ausstattung und einem minimalem Befehlssatz überhaupt größere und komplexe Probleme lösen könnte?

Der Befehl, der den Hauptteil der Arbeit innerhalb von '''sed''' leistet, ist oben nur als '''"suchen und ersetzen"''' angegeben. Dieser '''s-Befehl''' ist in der Kombination mit [[Reguläre Ausdrücke|Regulären Ausdürcken]] sehr mächtig, ''([[#der s-Befehl|weiter unten spezielles Kapitel]])''. Er bietet wesentlich mehr Möglichkeiten als nur einzelne Worte auszutauschen, so wie man das von gleichnamigen Funktionen aus Text-Bearbeitungs-Programmen kennt. '''Suchen und ersetzen''' umfasst hier zB auch ''"eine bestimmte Stelle suchen und dort NICHTS gegen einen Text ersetzen"''. Unterstützt wird das Ganze durch Reguläre Ausdrücke. So lassen sich mit dem s-Befehl alle typischen Arbeiten an einem Text simulieren zB: Einfügen; Überschreiben; Löschen; Verschieben; Erweitern; usw. 
'''Aber wie gesagt: alles immer jeweils nur in dem Text, der momentan im Musterspeicher steht.'''

Ein kleines Problem, ergibt wohl auch in sed-Programmierung nur 1 , 2 oder einige wenige Befehle, und ist mit etwas Übung schnell zu entwerfen. Beim Entwickeln von Lösungen zu komplexen Problemen mit '''sed''' muss das Problem sehr genau analysiert werden, in kleinste Einzelschritte zerlegt, entsprechend der begrenzten Möglichkeiten von '''sed''' ein logischer Lösungsweg gefunden werden und dieser dann in Einzelschritten zu einem fertigen sed-Programm aneinandergereiht werden. Die vielen Annehmlichkeiten moderner Programmiersprachen gibt es bei '''sed''' nicht, hier muss man gelegentlich auch mal einen Lösungsweg von ganz unten und nur mit purer Logig selbst neu erfinden. Und genau in dieser Herausforderung liegt wohl auch oftmals der Reiz dennoch einmal selbst ein größeres Probleme mit '''sed''' anzugehen. 
Das Ganze erinnert etwas an [http://de.wikipedia.org/wiki/Assemblersprache Assembler-Programmierung], und nicht ganz unbegründet. Die Mehrzahl der Befehle von '''sed''', sind in ihrer Funktion sehr elementar und nicht unähnlich der Operationen die in einer CPU auf Registerebene auch ausgeführt werden können. Der Unterschied ist nur, die CPU arbeitet mit Registern einer definierten Bit Breite und '''sed''' arbeiten mit einem Textbuffer in dem sich eine beliebige Anzahl von Textzeichen befinden. Bei den Akkumulator Befehlen (also den Befehlen mit denen wir zB. Vergleichen und Ändern können) haben wir bei der CPU allerdings nur die vergleichsweise einfache Bit-Logig, in '''sed''' gibt es dort universelle und komplexe Reguläre Ausdrücke die auf Buchstaben, Sonderzeichen, Wörter und ganze Texte angewendet werden. 

Und warum der Stream-Editor so funktioniert und nicht anders, wird deutlich wenn man sich noch einmal vor Augen führt, wann dieser Stream-Editor entwickelt wurde. 
1973 da hatten die [http://de.wikipedia.org/wiki/PDP-11 Rechner] Hauptspeicher von typisch 16-64KB Größe, Speichermedien von wenigen MB waren riesige Massenspeicher, UNIX und die Grundzüge der Programmiersprache C waren gerade erst geboren, bzw wurden gerade von Assembler Programmierung auf C portiert und komplett überarbeitet ([http://de.wikipedia.org/wiki/Geschichte_von_Unix Geschichte von Unix]).
 Terminals gab es zwar, aber der verbreiteste Weg durch einen Rechner war immernoch, von der [http://technikum29.de/de/rechnertechnik/lochkarten-edv Lochkarte] oder [http://www.pdp8.net/tu56/tu56.shtml einem Magnetband] über den Rechner auf den Drucker. Alles was vorher kam war sehr viel Assembler-Programmierung, erste brauchbare universelle Betriebssysteme wie [http://web.mit.edu/multics-history/source/Multics_Internet_Server/Multics_sources.html Multics] und [http://infolab.stanford.edu/pub/voy/museum/pictures/display/3-1.htm nackte Logig], das gesammte Umfeld war ein Tummelplatz von genialen Wissenschaftlern. 
Wenn wir also heute immer noch mit dem Stream Editor arbeiten, dann muss in ihm wohl eine geniale Idee verbaut sein.

== der Aufruf und die Optionen von sed ==

=== die Optionen ===

Eine Option '''-n''' steuert direkt die innere Abarbeitung und wurde oben schon besprochen. Weitere wichtige Optionen sind '''-e''' und '''-f'''

; sed -e REGEL:
hinter der Option steht unmittelbar die Regeln für die Bearbeitung. Sind in der REGEL Leer- oder Sonderzeichen enthalten dann müssen wir sie vor der Interpretation der Shell durch Hochkomma schützen werden ( also sogut wie immer ;-))). Die Option '''-e REGEL''' kann auch mehrfach bei einem Aufruf angegeben werden, und auch in Kombination mit der folgenden Option benutzt werden. ( Die Option '''-e''' ist nicht zwingend erforderlich, '''sed''' interpretiert automatisch das erste Zeichen das nicht eindeutig einer Option zugeordnet werden kann, als der Begin einer Regel. Man sollte sich dennoch angewöhnen die Optionen sauber auszuschreiben)
; sed -f REGELDATEI:
Die Regel oder mehrere Regeln stehen in einer separaten Datei, die beim Start mit der Option ''' -f ''' an '''sed''' übergeben wird. Auch diese Option kann in der Befehlszeile mehrfach vorkommen (auch in Kombination mit obriger Option), es werden dann der Reihe nach alle Regeln auf die zu bearbeitende Datei angewendet.
; weitere Optionen sind abhängig von der speziellen sed-Implementierung :
diese könnten spezielle Steuerungsoptionen für den Umgang der Eingabedateien beinhalten, oder auch die Interpretation der Regulären Ausdrücke beeinflussen. Diese Optionen sind nicht zwingend kompatibel zu anderen sed-Implementierungen, und werden auch nur in Einzelfällen benötigt.

=== der Aufruf ===

Nachfolgend ein paar Beispiele wie sed-Programme auf der Konsole oder aus einem Script heraus aufgerufen werden können
<pre>
BEFEHL | sed -e 'REGEL' > AUSGABEDATEI

sed -n -e 'REGEL' EINGABEDATEI > AUSGABEDATEI

BEFEHL | sed -f REGELDATEI | BEFEHL

sed -e 'REGEL1' -f REGELDATEI -e 'REGEL2' <EINGABEDATEI >AUSGABEDATEI

VARIABLE=`BEFEHL | sed -e 'REGEL1' | sed -ne 'REGEL2' | BEFEHL `
</pre>
Oftmals lassen sich die Regeln für ein sed-Programm aus bestimmten Regelgründen nicht in eine Zeile schreiben.
<pre>sed -ne '
BEFEHL1\
Optionen zum BEFEHL1\
weitere Optionen
; BEFEHL2 ; BEFEHL3\
Optionen zum BEFEHL3
; BEFEHL4 ; BEFEHL5
'</pre>

==== sed-Programm als Script ====

'''sed''' Programme lassen sich auch als eigenständige Script schreiben. Dazu wird der Programmtext in eine Datei geschrieben. An den Begin der Datei wird die '''[http://de.wikipedia.org/wiki/Shebang Magic Line''' (shebang)]
#!/usr/bin/sed -f
(eventuell noch zusätzlich die Option '''-n''') gesetzt. 
Die Datei erhält Ausführungsrechte. Jetzt kann sie wie andere Scripte auch, direkt mit ihrem Namen ausgeführt werden.

==== Übergabe von Shell-Variablen an Sed-Programme ====

'''sed''' selbst kann nicht auf Variablen der Shell zurückgreifen und kennt auch keine eigenen Variablen, es kennt nur seinen Programmtext. Also muss bei Bedarf der Programmtext beim Aufruf von '''sed''' entprechend der Shellvariablen angepasst werden. In Shellscripten findet man sehr oft einen kleinen Trick.

Die Quotierung des Befehlstext, der den Befehlstext vor der Interpretation der Shell schützen soll, ist an einigen Stellen unterbrochen. An diesen Stellen stehen dann '''$Shellvariable'''. Beim Aufruf des sed-Kommandos sieht die Shell diese Variablen und ersetzt sie im Programmtext durch den Wert der Shellvariable. Somit hat man eine sehr elegante Steuerung der Funktion des sed-Scriptes durch Variable der Shell
#!/bin/bash

sed -n '
'/$1/' !{
#no match - put the current line in the hold buffer
x
# delete the old one, which is
# now in the pattern buffer
d
}'
Die genaue Funktion die sed ausführen soll, soll uns hier erst einmal nicht interessieren, gemeint ist hier die unterbrochen Quotierung 
 
''''/$1/'!{ ''' 
 
die roten Hochkommas lassen die Shell '''/$1/''' sehen und damit wird die Shell beim Aufruf von '''sed''' an dieser Stelle anstatt '''$1''' den Wert des ersten Arguments des Scriptes einsetzen. Wir haben hier also über die Optionen beim Aufruf des Shellscript direkten Einfluss auf die Funktionsweise von '''sed'''

==== Nutzung von sed in Here-Dokuments's ====

Eine weitere häufig benutzte Aufrufmöglichkeit von '''sed''' innerhalb von Shell-Scripten ist das [http://en.wikipedia.org/wiki/Heredoc Here Document]
Auch hier wird oftmals mit der oben gezeigten Methode auf Shellvariablen zurückgegriffen. Die Eingabefile die '''sed''' verarbeitet, ist dabei der Inhalt des Here-Dokumentes. folgendes Beispiel soll das verdeutlichen.
<pre>
#!/bin/bash
KASSE=129.32
WAEHRUNG="EURO"
MITARBEITER="Hr. Maier"

sed -e 's/XXXX/'$KASSE'/g;s/YYYY/'"$WAEHRUNG"'/g;s/ZZZZ/'"$MITARBEITER"'/g' <<EOF
Der Bargeldbestand von XXXX YYYY wurde heute festgestellt
verantwortlich ist wie immer ZZZZ
EOF
</pre>
hier wird auf 3 Shellvariablen zugegriffen die beim Aufruf durch deren Werte ersetzt werden. Die Ausgabe ist dann der Inhalt des Here-Dokumentes und die Platzhalter '''XXXX ; YYYY ; ZZZZ ''' werden durch '''sed''' dann durch diese Werte ersetzt, die '''sed''' beim Kommandoaufruf von der Shell in den sed-Programmtext eingefügt bekommt.
<pre>Der Bargeldbestand von 129.32 EURO wurde heute festgestellt
verantwortlich ist wie immer Hr. Maier</pre>

== die Befehle ==

Wie oben schon angedeutet gibt es nicht übermäßig viele Befehle. Die Befehle bestehen alle aus nur einem einzigem Zeichen, meist ein Buchstabe den man auch leicht als Kürzel für den Befehl interpretieren kann. (damit hat man wenigstens eine Gedankenstütze)
* p = '''p'''rint
* l = '''l'''ist
* i = '''i'''insert
* a = '''a'''pend
*usw

zu einigen Befehlen gehören noch Optionen, und zu den meisten Befehlen können Adressen angegeben werden.

=== Adressierung der Befehle ===

Unter Adressen versteht man das Auswahlkriterium der Zeilen, auf denen der Befehl Anwendung finden soll. Die Adressenmöglichkeiten der einzelnen Befehle ist unterschiedlich, nicht alle Befehle können zB mit 2 Adressen versehen werden, manche kann man gar nicht mit Adressen versehen. Adressen können, müssen aber nicht angegeben sein. Die Adresse steht vor dem Befehl. Ein Negationszeichen '''!''' zwischen der Adresse und dem Befehl negiert die Adresse, ( also "alle Anderen außer den adressierten Zeilen" treffen zu )

* Ist keine Adresse angegeben, dann wird dieser Befehl auf alle Zeilen der Eingabedatei ausgeführt
* gibt es eine Adresse, dann wird dieser Befehl nur auf solche Zeilen ausgeführt, die zu dieser Adresse passen
* viele haben 2 Adressen in der Schreibweise '''Adresse1,Adresse2''' Hier handelt es sich um ein '''von Adresse1 bis zur Adresse2'''
* (GNU)sed unter Linux erlaubt noch einiges mehr was aber nicht portable zu anderen sed-Implentationen ist (zB '''3~4''' würde bedeuten ab Zeile 3 jede 4.Zeile)

Die Adressierungsmöglichkeiten unterliegen folgenden Regeln

* Eine Adresse kann eine Zahl sein, diese bedeutet die entsprechende Zeilennummer der Eingabedatei
* Eine Adresse kann ein Regulären Ausdruck sein '''/regex/''' entspricht alle Zeilen auf die dieser Reguläre Ausdruck passt, ( hierbei ist es möglich aber selten gebräuchlich auch '''\%regex\%''' zu schreiben, wobei '''%''' ein beliebiges Zeichen ist)
* zwei Adressen '''Zahl1,Zahl2''' enspricht von Zeilennummer '''Zahl1''' bis Zeilennummer '''Zahl2''' bezogen auf die Eingangsdatei
* '''/regex1/,/regex2/''' bedeutet vom der Zeile die '''regex1''' erfüllt bis zur Zeile die '''regex2''' erfüllt
* Kominationen von '''Zahl,/regex/''' und '''/regex/,Zahl''' sind möglich
* anstatt einer Zahl das Zeichen '''$''' bedeutet die letzte Zeile
* Zeilenberechnungen mit Zeilennummern wie zB '''$-10''' (als Adresse für die letzten 10 Zeilen gemeint) geht nicht
* Die Adressierung kann für eine Gruppe von Befehlen erfolgen wenn die Befehle in '''{ }''' eingeschlossen sind und durch ''';''' voneinander getrennt werden. Die Adresse steht vor der öffnenden Klammer. ''' Achtung: } muss dabei auf einer Zeile am Zeilenanfang stehen, dass heißt es dürfen davor nur Leer oder Tabulatorzeichen stehen'''
* Das Zeichen '''!''' zwischen der Adresse und dem Befehl negiert die Adresse, also alle Zeilen die nicht auf die Adresse zutreffen.

==== Beispiele für Adressierung ====

einfache Beispiel in Kombination mit den Befehlen '''p'''rint und '''d'''elete und der Einfluss der Option '''-n'''
<pre>
sed -ne '1,10p' # Zeilen 1 bis 10 ausgeben
sed -e '1,10p' # Zeilen 1 bis 10 doppelt restlichen Zeilen einfach ausgeben
sed -e '2d' # 2. Zeile löschen
sed -e '2,10!d' # Zeilen 2 bis 10 ausgeben
sed -ne '2,10p' # Zeilen 2 bis 10 ausgeben
sed -e '10,$p' # Zeilen 1 bis 9 einfach und alle anderen Zeilen doppelt ausgeben
sed -ne '$p' # letzte Zeile ausgeben

sed -e '/Text/d' # Alle Zeilen die nicht "Text" enthalten, ausgeben
sed -e '/Text/!d' # Alle Zeilen die "Text" enthalten, ausgeben
sed -ne '/Text/,$!p' # Alle Zeilen bevor eine Zeile mit "Text" kommt, ausgeben
sed -ne '/Begin/,/END/p' # Alle Zeilen von "Begin" bis "END" ausgeben (wird "END" nicht gefunden bis Schluss)
# Kommt nach einem "END" wieder ein "Begin" dann von dort aus wieder ausgeben </pre>

hier jetzt mal ein paar Beispiele zur Verwendung von [http://sed.sourceforge.net/sedfaq3.html#s3.7 Charakter Klassen] und ähnlichen Neuerungen die in GNU-sed unter anderem also auf Linux funktionieren, aber nicht 100% portabel sind
<pre>
sed -ne '/^[[:alnum:]]/!p' # Ausgabe alle Zeilen die nicht mit einem Buchstaben oder Zahl beginnen
sed -ne '3~2p' # Ab der 3.Zeile jede 2.Zeile ausgeben (also ungerade Zeilen ab Zeile 3 )
sed -ne '5,/Text/p' # Ab der 5.Zeile bis zu einer Zeile mit "Text" ausgeben
sed -ne '3,+7p' # Die 3.Zeile und die 7 folgenden Zeilen ausgeben
sed -ne '/Begin/,+2p' # Die Zeilen die "Begin" enthalten und jeweils die nächsten 2 Zeilen ausgeben
</pre>

Bisher wurden nur sehr einfache Reguläre Ausdrücke verwendet, aber da geht natürlich einiges mehr
<pre>
sed -ne '/^[EBH]/p' # alle Zeilen die mit "E","B" oder "H" beginnen ausgeben
sed -e '/^$/d' # alle leeren Zeilen löschen
sed -ne '/^[^#].*/p' # jede Zeile ausgeben, die mit einem anderem Zeichen als "#" beginnt
sed -ne '/^[[:space:]]*#/d' # Zeilen deren erstes Zeichen (außer Space und Tabulator) "#" ist, löschen
sed -ne '/^.\{64\}/p' # Alle Zeilen die mindestens 64 Zeichen lang sind, ausgeben
sed -ne '/[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}\.[[:digit:]]\{1,3\}/p'
# druckt jede Zeile in der eine IP-Adresse enthalten sein könnte
</pre>

und man merkt sehr schnell, dass es mit Regulären Ausdrücken hier schon langsam unübersichlich wird. Reguläre Ausdrücke sind schon eine kleine Wissenschaft für sich, da aber bei '''sed''' noch zusätzliche Sonderzeichen und auch noch weitere Regeln dazukommen, also bestimmte Zeichen noch zusätzlich entweder entwertet oder aktiviert werden müssen, kann man hier das Chaos durchaus noch etwas perfektionieren.

Um zB alle fehlerfreien Zeilen zu suchen, die einen Zeitstring '''YYYY-MM-DD''' entsprechen wie ihn zB auch '''date +%F''' liefert, müsste man mit '''sed''' wie folgt adressieren. Hier mal gleich der Konsolausdruck. ;-)
<pre>
LINUX: # cat test1
2008-10-02
2008-03-19
2007-09-01
2006-07-28
2008-10-05
2007-13-01
2006-06-31
2008-30-02
2005-02-29
2006-11-31
2008-00-02
2004-02-29
LINUX: # sed -ne '/[1-9][0-9][0-9][0-9]-$\(0[1-9]\|1[0-2]$-$[01][1-9]\|10\|2[0-8]$\|$0[13-9]\|1[0-2]$-$29\|30$\|$0[13578]\|1[02]$-31\)\|$[0-9][0-9]\(0[48]\|[2468][048]\|[13579][26]$\|$0[48]\|[2468][048]\|[13579][26]$00\)-02-29/p' test1
2008-10-02
2008-03-19
2007-09-01
2006-07-28
2008-10-05
2004-02-29
LINUX: #
</pre>
Und damit fängt es langsam an Spaß zu machen, aber wir wollen hier bei '''sed''' bleiben. Für komplizierte Reguläre Ausdrücke gibt es auch [http://regexp-evaluator.de/evaluator/ Tools] und jede Menge gute Seiten im WWW.

==== ein paar Regeln zu Regulären Ausdrücken in sed ====

Nur mal so als Gedankenstütze zum nachlesen beim nächsten Problem mit '''sed''' und Regulären Ausdrücken mal hier einige Regeln 
'''sed''' verwendet '''"Basic Regular Expressions"''' einige Unterschiede zu den '''"Erweiterten Regulären Ausdrücken"''' sind zB:

* Die Quantifikatoren "'''|'''", "'''+'''" und "'''?'''" sind normale Zeichen ''(GNU-sed wie es in Linux enthalten ist, kennt jedoch diese Operatoren, wenn sie durch einen vorangestellten Backslash "escaped" werden)''

* die Klammern '''"{" "}" "(" ''' und ''' ")"''' sind normale Zeichen und müssen mit Backslashes "escaped" (aktiviert) werden, also als "'''\{'''" ; "'''\}'''" ; "'''$'''" und "'''$'''"geschrieben werden.

* die Zeichen, die durch "'''$'''" und "'''$'''" eingeschlossen werden, können später mit "'''\1'''" usw. (max "'''\9'''" ) dereferenziert werden

* "'''^'''" ist ein normales Zeichen, wenn es nicht am Beginn eines Ausdrucks, oder eines Klammerausdrucks steht

* "'''$'''" ist ein normales Zeichen, wenn es nicht am Ende eines Ausdrucks oder eines Klammerausdrucks steht

* "'''*'''" ist am Beginn eines Ausdrucks oder eines Klammerausdrucks ein normales Zeichen

=== der s-Befehl ===

Der mit Abstand wichtigste Befehl in '''sed''', der Befehl '''"s///"'''. Alle anderen Befehle sind nur das Beiwerk. Wer sich schon einmal etwas intensiver mit [[VIM|vi oder VIM]] beschäftigt hat, wird diesem Befehl vielleicht schon einmal benutzt haben. Die prinzipelle Funktion dieses Befehles ist schnell mit "suchen und ersetzen" erklärt. Die Schreibweise: 
 
[ADRESSE]'''s/'''SUCHMUSTER'''/'''ERSETZUNG'''/'''[FLAG] 


* '''ADRESSE''' ist der optionale Ausdruck wie er [[#Adressierung der Befehle|oben]] schon beschrieben ist, fehlt er, wird der Befehl auf alle Zeilen angewendet
* '''FLAG''' steuert die Eigenschaften des Befehls und ist ebenfalls optional, [[#Adressierung der Befehle|Übersicht der möglichen Flags]]; ist kein Flag angegeben, gilt '''1''' ; welches dann bedeutet, es wird nur der erste gefundene Ausdruck der auf das Suchmuster passt, ersetzt.
* '''s''' ist der Befehlsname selbst
* '''SUCHMUSTER''' ist ein [[Reguläre Ausdrücke|Regulärer Ausdruck]] nach dem gesucht wird
* '''ERSETZUNG''' enthält den Text, der den Teil des Orginaltextes ersetzt, der durch das Suchmuster gefunden wird.
* Als Abrenzung der einzelnen Optionen sind 3 '''"/"''' Begrenzer zu setzen. ''(Bei Bedarf darf hier auch statt '''"/"''' jedes andere Zeichen verwendet werden, es gilt das Zeichen als Trennzeichen, dass unmittelbar auf '''s''' folgt. Diese Option sollte jedoch mit Sorgfalt verwendet werden, da es ein späteres Interpretieren eines komplizierten Befehls durchaus auch erschweren kann)''

In einer der häufigsten und einfachsten Anwendungsbereiche könnte ein kompletter Befehl jetzt so aussehen.
sed -e 's/Strauch/Baum/g'
; Erläuterung
: * es gibt keine Adresse, also wird der s-Befehl auf jede Zeile angewendet
: * Reguläre Suchausdruck lautet in diesem Beispiel einfach '''"Strauch"'''
: * Der Ersetzungtext ist '''"Baum"'''
: * als Flag wird '''"global"''' verwendet, es werden also alle gefundenen Stellen pro Zeile ersetzt.
: * da sed ohne die Option '''-n''' gestartet wurde erfolgt eine automatische Ausgabe.

Damit würde in einer Datei jedes Vorkommens der Buchstabenkombination "Stauch" durch "Baum" ersetzt, also nicht nur das Wort Strauch selbst, sonder zB würde aus dem Wort "Strauchdieb" das Wort "Baumdieb"

Der Befehl wird jetzt desshalb so mächtig, da Reguläre Ausdrücke nicht nur Buchstabenkombinationen kennen, sondern man damit jede nur erdenkliche Zeichenkombination universell in logischer Form eindeutig beschreiben kann, man Zeilenanfang und Zeilenende bestimmen kann, mit Zeichengruppen, Zeichenklassen, Alternativen, Wiederholungszeichen, und gruppierten Ausdrücken arbeiten kann.

==== die Bedeutung der Flags ====

Mit den Flags kann die Funktion des '''s-Befehls''' gesteuert werden. Ist kein Flag angegeben gilt '''1''' ; also nur Ersetzung des ersten Vorkommens des gefunden Strings

{| border=1
|+ '''Bedeutung der Flags beim s-Befehl '''
! Flag !! Bedeutung !! Beispiel !! Bemerkung
|-
!| N
|| N=Zahl (1 < 512) ; das N'te Vorkommen
!| s/AB/CD/2
|| wird N nicht angegeben dann erste Vorkommen
|-
!| g
|| global ; alle Vorkommen
!| s/AB/CD/g
|| es werden alle Vorkommen ersetzt
|-
!| p
|| print ; Ausgabe bei Ersetzung
!| s/AB/CD/p
|| wurde eine Ersetzung vorgenommen wird der Buffer an stdout ausgegeben
|-
!| w DATEI
|| write DATEI bei Ersetzung
!| s/AB/CD/w FILE
|| bei Ersetzung Ausgabe des Buffers in die angegebene Datei
|-
!| i
|| case-insensitive ; Groß-Kleinschreibung ignorieren
!| s/AB/CD/i
|| ist nicht kompatibel zu allen SED-Implementierung
|-
!| m
|| ||
|| betrifft Interpretation von '''^ '''und''' $''' ; nicht kompatibel
|-
!| x
|| ||
|| nicht kompatibel ; nur bei ssed im Perlmodus
|-
!| s
|| ||
|| nicht kompatibel ; nur bei ssed im Perlmodus
|}
es sind auch mehr als nur ein einzelnes Flag möglich, soweit die Kombination einen Sinn ergibt. zB
<pre>
LINUX: # echo "abcabcabc" | sed -ne 's/AB/CD/2ip'
abcCDcabc
LINUX: # </pre>

==== kleine Befehlsbeispiele zum Suchen und Ersetzten ====
<pre>
sed -e 's/blau\|lila/rot/2' # Das 2.Vorkommen je Zeile von "blau" oder "lila" wird durch "rot" ersetzt

sed -e '/^$/!s/^/#/ ' # bei alle nichtleeren Zeilen am Zeilenanfang "#" einfügen

sed -e 's/#.*$//' # von einem Zeichen "#" bis zum Zeilenende alles löschen

sed 's/^[ \t]*//;s/[ \t]*$//' # entferne alle Leerzeichen und Tabulatoren am Anfang und Ende der Zeilen

sed -e 's/Michael[^a]/Herr &/' # ersetze "Michael" durch "Herr Michael" jedoch nicht wenn hinter "Michael" ein "a" folgt.

sed -e 's/[Cc]olor/[b]&[\/b]/g' # jedes "Color" und "color" in "[b]Color[/b]" oder "[b]color[/b]" änderen

date +%F | sed -e 's/$[0-9]\{4\}$-$[0-9]\{2\}$-$[0-9]\{2\}$/heute ist der \3.\2. \1/'
#das Datumsformat YYYY-MM-DD umwandeln zu "heute ist der DD.MM. YYYY"
</pre>
'''Besonderheiten der Beispiele''' 

# Beispiel: es wird eine Oderverknüpfung benutzt '''|''' muss dabei entwertet werden also '''\|'''
# Beispiel: Verwendung der Sonderzeichen '''^''' für Zeilenanfang und '''$''' für Zeilenende
# Beispiel: '''#.*$''' bedeutet Zeichen '''#''' anschließend müssen 0 oder beliebig viele beliebige Zeichen '''(.*)''' stehen, bis Zeilenende '''($)''' ; alles wird durch NICHTS ersetzt '''(//)'''
# Beispiel: '''[ \t]''' an dieser Stelle entweder ein Leerzeichen oder ein Tabulator, das '''"*"''' darf sich 0 bis beliebig oft wiederholen. Hier wurden 2 Sedbefehle durch '''";"''' getrennt, beide werden hintereinander auf alle Zeilen ausgeführt.
# Beispiel: '''[^a]''' das '''"a"''' ist durch '''"^"''' negiert, das Bedeutet ('''nicht "a"''') an dieser Stelle, das '''"&"''' im Ersetzungsfeld bedeutet an dieser Stelle der gesamte mit dem Muster gefundene String einsetzen.
# Beispiel: Im Ersetzungsfeld steht wieder '''"&"''' der '''"/"''' im Ersetzungstext musste entwertet werden '''"\/"'''
# Beispiel: Hier haben wir zum einem '''"\{ \}"''' mit der geschweiften Klammer läßt sich festlegen wie oft sich der vorhergehende Ausdruck oder Zeichen wiederholen soll, hier zB '''[0-9]\{4\}''' bedeutet genau 4 Mal eine Ziffer 0 bis 9, weiterhin haben wir '''""''' das ist eine Gruppierung (ähnlich einer Variable) mit '''"\1" bis "\9"''' kann sie im Ersetzungsfeld verwenden können. der Inhalt ist der jeweilige mit der entsprechende Klammer gefundene Text, in diesem Beispiel haben wir 3 solche Gruppen und wir geben sie in umgegehrter Reihenfolge wieder aus '''"\3 \2 \1"'''

=== Befehlsübersicht ===

{| border=2
|+ '''Übersicht der Befehle und Schlüsselworte'''
! Kommando !! Addr !! stdin !! stdout !! Muster Speicher !! Halte Speicher !! Erklärung
|-
! ; || - || - || - || - || -
|| Trennzeichen zwischen einzelner Befehle
|-
! ! || - || - || - || - || -
|| Negationszeichen vor Befehl (Steht zwischen Adresse und Befehl und kehrt die Adresse ins Gegenteil)
|-
! { } || 2 || - || - || - || -
|| umschließt einen Block, der mehrere Kommandos beinhalten kann, diese müssen durch ''';''' getrennt werden
|-
! # || - || - || - || - || -
||Kommentar, alle nachfolgenden Zeichen bis Newline werden nicht als Programmcode interpretiert
|-
! : MARKE || - || - || - || - || -
|| definiert das Sprungziel '''MARKE''' Siehe Kommandos '''b''' oder '''t'''
|-
! = || 2 || - || X || - || -
|| gibt die aktuelle ZeilenNr der Eingabedatei auf separater Zeile aus
|-
! a || 1 || - || X || - || -
|| gibt die nachfolgenden Text nach der Ausgabe des Buffers aus
|-
! b MARKE || 2 || - || - || - || -
|| Sprungbefehl zur '''MARKE''' bzw. zum Ende des Scripts
|-
! c || 2 || - || X || X || -
|| Musterspeicher bzw Bereich löschen und stattdessen nachfolgenden Text ausgeben
|-
! d || 2 || - || - || X || -
|| Musterspeicher löschen
|-
! D || 2 || - || - || X || -
|| Musterspeicher bis zum Zeichen „newline“ löschen
|-
! g || 2 || - || - || X || -
|| Musterspeicher wird durch den Inhalt des Haltespeicher ersetzt.
|-
! G || 2 || - || - || X || -
|| Haltespeicher wird an den Inhalt des Musterspeicher angefügt
|-
! h || 2 || - || - || - || X
|| Haltespeicher wird durch den Inhalt des Musterspeicher ersetzt
|-
! H || 2 || - || - || - || X
|| Musterspeicher wird an den Inhalt des Haltespeicher angefügt
|-
! i || 1 || - || X || - || -
|| gibt die nachfolgenden Text vor der Ausgabe des Buffers aus
|-
! l || 1 || - || X || - || -
|| Musterspeicher ausgegeben. ("C-Notation" unbekannte Zeichen in Oktalformat)
|-
! n || 2 || X || ? || X || -
|| je nach Option '''-n''' wird der Buffer ausgegeben oder nicht, neue Zeile laden
|-
! N || 2 || X || - || X || -
|| Nächste Zeile an Inhalt des Musterspeichers angefügen
|-
! p || 2 || - || X || - || -
|| Musterspeicher ausgegeben.
|-
! P || 2 || - || X || - || -
|| Musterspeicher bis zum nächsten „newline“-Zeichen ausgeben.
|-
! q || 1 || - || - || - || -
|| sed Beenden, bei nicht gesetzter Option '''-n''' wird Musterspeicher ausgegeben
|-
! r FILE|| 1 || - || X || - || -
|| Inhalt einer angegebenen '''FILE''' wird eingelesen und ausgegeben.
|-
! s/regex/rpl/flg|| 2 || - || - || X || -
|| Ersetzt '''regex''' durch '''rpl'''. Null oder mehrere '''flg''' wirken steuernd ein
|-
! t MARKE || 2 || - || - || - || -
|| bedingter Sprungbefehl zur '''MARKE''' abhängig von vorheriger '''s''' oder '''y''' Kommandos
|-
! w FILE|| 2 || - || X || - || -
|| Schreibt Musterspeicher in '''FILE'''
|-
! x || 2 || - || - || X || X
|| Inhalt von Muster- und Haltespeicher vertauschen
|-
! y/src/rpc/flg|| 2 || - || - || X || -
|| Ersetzt jedes Zeichen im pattern buffer welches in '''src''' vorkommt durch das entsprechenden Zeichen in '''rpc'''
|}

== kleine sed Programme am praktischen Beispiel erklärt ==

Auf unseren Rechnern in vielen Standard-Scripten sind hunderte von kleinen und kleinsten sed-Befehlen eingebettet. Größere und komplizierter sed-Befehle, sind dabei sehr selten. Es sind fast alles nur sehr einfache Befehle, die sollten mit dem bisschen Wissen hier aus diesem Artikel und ein wenig Verständnis für Reguläre Ausdrücke sicherlich schnell zu durchschauen sein, auch wenn sie eventuell auf dem ersten Blick sehr kompliziert aussehen.
Machen wir doch die Probe aufs Exempel:

=== Beispiel 1 ===

gefunden in '''/etc/rc.d/rpmconfigcheck'''
sed -e 's/^/ /' < $configcheckfile
* einfacher s-Befehl, Eingabedatei ist der Variable '''configcheckfile''' gespeichert
* '''"^"''' Zeilenanfang wird durch einige Leerzeichen ersetzt, also weiter nichts wie einrücken von Text.

=== Beispiel 2 ===

gefunden in '''/etc/rc.d/smbfs'''
mountpoint=$( echo "$mountpoint"|sed "s/\/*$//")
* es wird die Variable '''mountpoint''' (in der scheinbar Text steht) mit '''echo''' ausgegeben, durch '''sed''' gefiltert und die Ausgabe wieder in der Variable '''mountpoint''' gespeichert
* '''"s/\/*$//"''' Trennzeichen ist '''"/"''' das haben wir aber 4 Mal ;-) , Beim näheren Hinsehen ist das 2 '''"/"''' mit '''"\"''' entwertet
* damit lautet unsere Suchmaske ohne Quotierung "'''/*$'''" und das ist schlichtweg als letztes Zeichen vor Zeilenende (eventuelle auch mehrfach vorhanden) '''"/"''' ([http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Quantoren_.28Angabe_der_Anzahl_Wiederholungen.29 Quantoren])
gemeint
* ersetzt wird mit NICHTS, also macht der Befehl nichts weiter als eventuelle '''"/"''' am Ende des Variableinhaltes abzuschneiden

=== Beispiel 3 ===

gefunden in '''/etc/rc.d/fbset'''
mode=`echo $FBSET_PARAMS | sed -e 's/^-[^ ]*//' -e 's/ -[^ ]*//g'`
* auch hier wird der Inhalt einer Variable durch '''sed''' gefiltert und das Ergebnis in einer anderen Variable gespeichert
* '''sed''' hat hier 2 Regeln wie wir an 2 mal '''-e''' und der Quotierung schnell herauslesen.
* die erste Regel ist ein s-Befehl, Suchmuster ist '''"^-[^ ]*"''' bedeutet Am Zeilenanfang '''"^"''' ein '''"-"''' und dann''' "[^ ]*"''' also [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Ein_Zeichen_aus_einer_Auswahl alles andere nur kein Leerzeichen] und das sooft es will. Ersetzt wird durch NICHTS, also schneidet die erste Regel am Zeilenanfang alles was mit einem Strich anfängt bis zum ersten Leerzeichen weg.
* die zweite Regel auch ein s-Befehl, macht fast das selbe, nur nicht vom Zeilenanfang an, sondern das Zeichen vor dem ersten Strich muss ein Leerzeichen sein, dann wird auch bis zum nächsten Leerzeichen nach dem Strich alles gelöscht.
* der 2. Befehl arbeitet global, das heist es werden alle " -irgendwas" gelöscht.
* In Summe macht der gesamte sed-Befehl also nichts anderes, als alle Optionen mit beginnendem "-" aus dem Variabelinhalt zu beseitigen.

=== Beispiel 4 ===

gefunden in '''/etc/rc.d/network'''
RL=`sed -n 's=^id:$.$:initdefault.*$=\1=p' /etc/inittab`
* der Inhalt von /etc/inittab wird durch '''sed''' gefiltert und in der Variable''' RL''' abgelegt.
* es ist ein s-Befehl '''-n''', also keine automatische Ausgabe,
*Dieses Mal ist das Begrenzungszeichen '''"="''' da es unmittelbar nach dem '''"s"''' kommt, der Befehl hat also hier die Struktur '''s===''' und nicht wie bisher gewohnt '''s///'''
* als Flag haben wir ein '''"p"''', also sollte '''sed''' hier eine Ersetzung vornehmen, wird danach automatisch ausgegeben, ansonsten nichts ausgeben
* Suchmuster: am Anfang '''"id:"''' dann kommt [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Beliebiges_Zeichen irgend ein Zeichen] das mit '''""''' [http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gruppierung_mit_runden_Klammern gruppiert] ist, und dann geht es weiter mit '''":initdefault"''' und anschließen alle Zeichen bis Zeilenende.
* Ersetzt wird also die gesammte Zeile von Anfang bis Ende aber nur durch Inhalt von '''"\1"''' also dem was vom Muster in der '''''' Klammer gefunden wird ([http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gruppierung_mit_runden_Klammern Rückwärtsreferenz]).
* Ein Blick in die /etc/inittab, zeigt, da steht an dieser Stelle der Standardrunlevel (also normalerweisee 2 3 oder 5) und genau das ist das mögliche Ergebniss des ganzen Befehles.

=== Beispiel 5 ===

gefunden in '''/etc/rc.d/xdm'''
/etc/X11/xdm/SuSEconfig.xdm | \
sed 's+$.*$+/etc/init.d/xdm: \1+g' | \
/bin/logger

* nicht dadurch stören lassen, dass hier ein Befehl über mehrere Zeilen geschrieben wurde, Die Zeilen enden mit "\" das bedeutet der Zeilensprung ist auskommentiert, den sieht die bash beim starten der Befehle nicht.
* es wird ein Script '''/etc/X11/xdm/SuSEconfig.xdm''' ausgeführt und die Ausgabe durch '''sed''' mit einem s-Befehl gefiltert, diese Ausgabe wird dem Programm '''/bin/logger''' übergeben.
* der s-Befehl hat hier die Struktur '''s+++''' da ein '''"+"''' unmittelbar dem '''"s"''' folgt.
* eine Adressierung gibt es nicht, also alle Zeilen werden bearbeitet.
* die Suchmaske ist '''$.*$''' und bedeutet soviel wie gruppiert '''''' wird "Alles" (beliebiges Zeichen, 0 mal oder beliebig oft)
* ersetzt wird es durch "'''/etc/init.d/xdm: \1'''" , wobei '''\1''' durch die gefundene Gruppe, also der ganzen ursprünglichen Zeile, ersetzt wird.
* das Flag '''"g"''' ist hier eigentlich nicht nötig, da es ja nur eine einzigen Treffer pro Zeile geben kann.
* Der Sed-Befehl macht also nichts weiter, als an den Anfang jeder Zeile '''"/etc/init.d/xdm: "''' einzufügen.

=== Beispiel 6 ===

gefunden in '''/usr/bin/texi2dvi4a2ps'''
BEFEHL | sed -n 's/^.*\[$.*$version $....$-$..$-$..$.*$/txiformat=\1 txiversion="\2\3\4"/p'

* der BEFEHL dessen Ausgabe hier gefiltert wird soll uns mal nicht stören.
* sed wird mit '''"-n"''' gestartet, also keine automatische Ausgabe jeder Zeile
* der s-Befehl hat keine Adresse und normale Struktur '''s///''' , Flag ist '''"p"''' bedeutet also gibt es eine Ersetzung dann wird diese ausgegeben, ansonsten wird nichts ausgegeben.
* Suchmuster ist '''^.*\[$.*$version $....$-$..$-$..$.*$''' ; gesucht wird vom Zeilenbegnin nach einer eckigen Klammer '''"\["''' ; dann kommt irgendetwas oder nichts '''".*"''' , das wird wiedermal gruppiert '''''', die Gruppe endet vor der Zeichenfolge '''"version "'''; Anschließend wird nach Zeichen im Format "XXXX-XX-XX" gesucht und irgendwas oder nichts kann bis Zeilenende kommen.
* von dem XXXX-XX-XX Format werden 3 weitere Gruppen gebildet, wir haben also insgesamt 4 Gruppierungen im Suchmuster definiert.
* ersetzt wird die gesamte Zeile durch '''"txiformat=\1 txiversion="\2\3\4"''' die \1 \2 \3 \4 wird durch die Gruppen ersetzt.
* der sed-Befehl formatiert also eine "Versionszeile" neu, und gibt sie aus, Andere Zeilen erzeugen keine Ausgabe.

=== Beispiel 7 (für Fortgeschrittene) ===

gefunden in '''/usr/bin/autoconf'''
echo X/"$0" |
sed '/^.*\/$[^/][^/]*$\/*$/{
s//\1/
q
}
/^X\/$\/\/$$/{
s//\1/
q
}
/^X\/$\/$.*/{
s//\1/
q
}
s/.*/./; q'

* hier wird '''"X/"''' vor '''"$0"''' (also der aufgerufene Name des Scriptes) mit '''echo''' ausgegeben und an '''sed''' übergeben.

==== Analyse der Struktur ====

* der sed-Befehl geht über mehrere Zeilen und scheint aus mehreren Befehlen zu bestehen, also verallgemeinern wir ihn erst mal, in dem wir die sed-Befehle extrahieren und die Regulären Ausdrücke wegblenden.
/ADRESSE1/{
s///
q
}
/ADRESSE2/{
s///
q
}
/ADRESSE3/{
s///
q
}
s ; q
* Den sed-Befehl '''"q"''' hatten wir bisher noch nicht, das ist der Abbruchbefehl von sed. Dort wird also das Programm vorzeitig beendet, vorher wird bei fehlender Option '''-n''' noch die Ausgabe des Musterspeichers veranlaßt.
* die Bedeutung, die '''"{ }"''' hier hat, ist auch neu für uns. Die Befehle die in dieser Klammer stehen gehören alle zur selben Adresse, (die Befehle müssen aber durch ''';''' oder '''\n''' getrennt werden)
* Also haben wir 3 Adressen die beim Zutreffen jeweils einen s-Befehl ausführen und dann '''sed''' beenden. und wenn keine dieser Adressen zutreffen sollte, den s-Befehl am Ende des Programms, der dann ausgeführt wird.

==== Schauen wir uns zuerst die s-Befehle an ====

* die ersten 3 s-Befehle sind gleich '''"s//\1/"''' das ist auch neu für uns. Der Suchstring, den gibt es gar nicht, da die '''//''' unmittelbar hintereinander stehen, dennoch greifen wir auf die Gruppe '''"\1"''' beim Ersetzen zu ?
:: würden wir diesen Befehl auf der Konsole versuchen, '''sed 's//\1/'''' käme eine Fehlermedung, "fehlender Suchstring"
:: sed nimmt hier für den fehlenden Suchstrings den selben Regulären Ausdruck wie in der Adresse, also mit der Adresse zusammen funktioniert der Befehl, ohne Adresse oder Adresse aus Zeilennummer funktioniert er nicht.
* der letzte s-Befehl ist einfach '''"s/.*/./"''' ersetzt alles oder nichts durch einen einzigen Punk

==== Analyse der Adressen ====

* ADRESSE1: '''^.*\/$[^/][^/]*$\/*$''' wir haben jetzt schon etwas Übung mit entwerteten Zeichen und Regulären Ausdrücken desshalb gleich mal die Zusammenfassung.
::gesucht und gruppiert wird "ein mindestens 2 Zeichen langes Wort" Wortbegrenzer ist "/" gefunden wird die ganze Zeile.
:: Achtung: hier "'''^.*\/'''" treffen wir auf ein Phänomen der Regulären Ausdrücke, das auch neu für uns ist.[http://de.wikipedia.org/wiki/Regul%C3%A4rer_Ausdruck#Gieriges_Verhalten gieriges Verhalten] '''(Greediness of RegEx)'''
:: gesucht wird am Zeilenanfang "irgendwas oder nichts bis ein '''"/"''' kommt"
::: ist in der Shellvariable eine oder mehrere '''"/"''' (also das Programm mit dem Path aufgerufen,) dann wird hier als "irgendwas" der längst mögliche String gefunden
:: durch das Greediness wird bei dieser Adresse hier gefunden und gruppiert der "Scriptname ohne den Path"
:: dieser wird dann auch nach dem s-Befehl ausgegeben, und das sed-Programm beendet.

* ADRESSE2 '''"^X\/$\/\/$$"''' kommt also nur zum Zug wenn ADRESSE1 nicht zutrifft.
:: sie sucht nach '''"X///"''' und gruppiert die letzten beiden '''"/"'''
:: der s-Befehl würde also '''"//"''' ausgeben und sich beenden.

* ADRESSE3 '''"^X\/$\/$.*"''' (nur wenn sowohl Adresse1 und Adresse2 nicht zutreffen) funktioniert ähnlich wie ADRESSE2 nur sucht sie nur nach einem '''"/"''' weniger würde auch fündig werden bei vielen aneinandergereihten '''"/"''' und gibt nur ein '''"/"''' aus

* Treffen keine der 3 Adressen zu, zB weil '''"$0"''' leer sein sollte, dann wird der letzte s-Befehl ausgeführt, der nur einen Punkt ausgibt.

==== Da ist noch ein kleiner Trick im Script versteckt ====

Damit bei einer Leeren "$0" das sed-Programm überhaupt arbeiten kann, wird als Trick
echo X/"$0"
benutzt. Das vorangestellte '''"X/"''' wird beim Ersetzten innerhalb von '''sed''' jedesmal wieder entfernt, aber es sichert bei leeren '''$0''' eine ordnungsgemäße Funktion des Programmes.

==== Das Ergebnis des gesamten sed-Programmes ====

Das Ergebniss des gesamten sed-Scriptes ist also abhängig vom Inhalt der Shell Variable '''$0''' und ist entweder der '''"Scriptname ohne Path" ; "//" ; "/" oder "."'''

-----

== weiterführende Links ==

* [http://www.grymoire.com/Unix/Sed.html An Introduction and Tutorial]
* [http://www.tty1.net/sed-tutorium_de.html sed-Tutorium-de]
* [http://sed.sourceforge.net/sedfaq.html THE SED FAQ]
* [http://sed.sourceforge.net/#tools Hilfreiche Tools für Sed-Programmierung]
* [http://www.gnu.org/software/sed/manual/ GNU sed user's manual]

-----

[[Konsole#Unixwerkzeuge|zurück zu UNIX-Werkzeuge]]
[[Kategorie:Konsole]][[Kategorie:Scripte]]

Benutzer:Itu

2019-06-05T02:14:28Z

Itu:

Komme gewissermassen aktuell vom [http://de.linwiki.org linwiki] <big>(†)</big> hierher, welches so verlassen war dass es drohte von Vandalen und Spammern eingenommen zu werden.... 

Mir fällt gerade auf dass es in beiden Wikis doch sehr hochwertige Artikel gibt.

Eigentlich fahre ich auf dem Linux-Hauptzug: Ubuntu . Aber das dortige Wiki ist mir zu umständlich, also leider nicht ''wiki wiki'' genug und vieles ist ja auch nicht distributionsabhängig.

--[[Benutzer:Itu|Itu]] 18:04, 18. Sep. 2011 (UTC) 
--[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 04:14, 5. Jun. 2019 (CEST)

Partitionen vergrößern (GParted)

2014-01-29T14:45:55Z

Itu: /* Links */ per favore: mein artikel im linwiki

{{Review|Kompletter Artikel}}--[[Benutzer:Gehrke|Gehrke]] ([[Benutzer Diskussion:Gehrke|Diskussion]]) 10:24, 27. Dez. 2013 (CET)

Manchmal muss man die Partitionierung eines konfigurierten Systems ändern, beispielsweise weil sich einzelne Partitionen als zu klein herausgestellt haben. Dieser Artikel beschreibt beispielhaft ein Verfahren, bei welchem der Umbau ohne Neuinstallation und vor allem ohne Datenverlust durchgeführt werden kann.

Hierzu wird die Live-Version von [[GParted]] verwendet. Das Beispiel wurde in einer virtualisierten Umgebung unter [[VirtualBox]] durchgeführt.

{{Box Achtung||Warnung: Es ist absolut notwendig, von allen relevanten Daten zuvor eine valide Sicherheitskopie anzufertigen. Die hier behandelten Schritte bergen ein hohes Risiko für die Konsistenz des gesamten Datenbestandes!}}

=Ausgangsbasis=
Das folgende Partitionierungsschema zeigt die aktuelle Konfiguration:
<pre>
localhost:~ # lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 8G 0 disk
├─sda1 8:1 0 101M 0 part /boot
├─sda2 8:2 0 6.6G 0 part
│ ├─system-root 253:0 0 6.1G 0 lvm /
│ └─system-swap 253:1 0 512M 0 lvm [SWAP]
└─sda3 8:3 0 1.3G 0 part /images-pp
sdb 8:16 0 8G 0 disk
└─sdb1 8:17 0 8G 0 part /root/sdb1
</pre>
Hinweis: Hier handelt es sich um eine Konfiguration für einen ganz bestimmten Zweck, diese soll keinesfalls als beispielhaft für eine sinnvolle Partitionierung im produktiven Einsatz gelten!

=Ziel=
Was soll gemacht werden?
*sda1 soll auf 4GB erweitert werden.
*sda2 soll auf 15GB erweitert werden.
*sda3 wird gelöscht.
*sdb dient nur temporär der Aufnahme der Images und ist nicht Gegenstand einer Partitionsbearbeitung.

=Sicherung=
Zuvor wurden von 'sda1' und 'sda2' per dd Images in 'sdb1' erstellt. Dies geschah in einer separaten Sitzung, gebootet in einem Recovery-System - also nicht am laufenden System!

Test, ob die Images valide sind:
<pre>
localhost:~ # mkdir /root/sdb1
localhost:~ # mount -o ro /dev/sdb1 /root/sdb1
localhost:~ # mkdir /root/sda1; mount -o loop /root/sdb1/sda1-boot.img /root/sda1

localhost:~ # mkdir /root/sda2; mount -o loop /root/sdb1/sda2-root-lvm.img /root/sda2
mount: unknown filesystem type 'LVM2_member'
</pre>
Das sollte in diesem Kontext ausreichen...

=Vergrößerung=
==Schritt 1: sda vergrößern==
Das wird mit VirtualBox-Werkzeugen auf dem Host erreicht, während die VM down ist.
<pre>
j2:~ # ls -ltar /home/user/VirtualBox\ VMs/OpenSUSE\ 13.1\ NoCrypt/OpenSUSE\ 13.1\ NoCrypt.vdi
-rw------- 1 user 1000 7703924736 Dec 22 15:45 /home/user/VirtualBox VMs/OpenSUSE 13.1 NoCrypt/OpenSUSE 13.1 NoCrypt.vdi
j2:~ # VBoxManage modifyhd "/home/user/VirtualBox VMs/OpenSUSE 13.1 NoCrypt/OpenSUSE 13.1 NoCrypt.vdi" --resize 19456
0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
j2:~ # ls -ltar /home/user/VirtualBox\ VMs/OpenSUSE\ 13.1\ NoCrypt/OpenSUSE\ 13.1\ NoCrypt.vdi
-rw------- 1 user 1000 7704973312 Dec 24 09:58 /home/user/VirtualBox VMs/OpenSUSE 13.1 NoCrypt/OpenSUSE 13.1 NoCrypt.vdi
</pre>
Die geringe Größenänderung hier scheint plausibel durch die Sparse-Konfiguration erklärbar zu sein. VirtualBox meldet jedenfalls die neue Größe von 19 GB.

In der realen Welt entspricht dieser Schritt dem Einbau einer größeren Festplatte und dem Übertragen des Diskimages per [[dd]] von der alten auf die neue Platte.

Danach startet die VM problemlos, nutzt aber den zusätzlichen Speicher nicht:
<pre>
localhost:~ # fdisk -l /dev/sda

Disk /dev/sda: 8589 MB, 8589934592 bytes, 16777216 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x000d8d71

Device Boot Start End Blocks Id System
/dev/sda1 * 2048 208895 103424 83 Linux
/dev/sda2 208896 14057471 6924288 8e Linux LVM
/dev/sda3 14057472 16756735 1349632 83 Linux
</pre>
[[Bild:Partitionierung mit GParted ändern - 1.png|thumb|c|right|250px|GParted - Vergrößerung der Festplatte wird innerhalb der VM nicht erkannt]]Das System hat von dem neuen Speicherplatz noch nichts mitbekommen. Das Verhalten zeigt sich ebenfalls, wenn die VM von einer Live-Version von GParted gebootet wird:

[[Bild:Partitionierung mit GParted ändern - 2.png|thumb|c|right|250px|GParted - Die neue Größe wurde erkannt. Noch keine Änderungen durchgeführt.]]Hier wird ein Bug von [[VirtualBox]] vermutet. Es ist ein kleiner Trick notwendig, um die Änderung in der VM zu reflektieren. Dabei wird eine '''neue''' virtuelle Maschine erzeugt, welche das vergrößerte Image als Festplatte enthält und das ISO-Image der Live-Version von GParted als CD zum Booten zugeteilt bekommt. Darin wird die neue Größe dann erkannt.

==Schritt 2: Änderung der Partitionierung==
Zur Änderung der Partitionierung wird das System mit einer Live-Version von GParted gebootet. Innerhalb von GParted wird dort ein Bereich von 11 GB als 'unallocated' vermerkt.

Die Schritte im einzelnen:
===Löschen von 'sda3'===
Erfolgt über das Kontextmenü, danach sind 12.3 GB frei.
==='sda2' verschieben und vergrößern===
Das erfolgt ebenfalls über das Kontextmenü 'Resize/Move' mit diesen Parametern:
*Free space preceding (MiB): 4098
*New size (MiB): 15360
*Free space following (MiB): 0
==='sda1' vergrößern===
Parameter:
*Free space preceding (MiB): 0
*New size (MiB): 4095
*Free space following (MiB): 0
===Durchführung der Schritte===
[[Bild:Partitionierung mit GParted ändern - 3.png|thumb|c|right|250px|GParted - Noch ausstehende Konfigurationsänderungen]]
[[Bild:Partitionierung mit GParted ändern - 4.png|thumb|c|right|250px|GParted - Durchführung der Änderungen]]
Abschließend auf 'Apply' klicken, um alle Schritte durchzuführen. Es werden noch mal alle Schritte aufgeführt, die durchgeführt werden sollen und eine explizite Bestätigung eingeholt, weil die folgenden Aktivitäten Datenbestände löschen können bzw. werden.

Die folgende Durchführung kann einige Zeit in Anspruch nehmen.

Abschließend sollte die virtuelle Maschine sauber beendet werden.

=Vergrößerung der Dateisysteme=
Nach dem Start der VM wird überprüft, ob die Partitionierung nun den Erwartungen entspricht.

Hinweis: Der erste Start der virtuellen Maschine kann unverhältnismäßig lange dauern, weil nach der Partitionsänderung Dateisystem-Checks durchgeführt werden.

<pre>
localhost:~ # fdisk -l /dev/sda

Disk /dev/sda: 20.4 GB, 20401094656 bytes, 39845888 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x000d8d71

Device Boot Start End Blocks Id System
/dev/sda1 * 2048 8386559 4192256 83 Linux
/dev/sda2 8388608 39843839 15727616 8e Linux LVM

localhost:~ # lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 19G 0 disk
├─sda1 8:1 0 4G 0 part /boot
└─sda2 8:2 0 15G 0 part
├─system-root 253:0 0 6.1G 0 lvm /
└─system-swap 253:1 0 512M 0 lvm [SWAP]

localhost:~ # pvs
PV VG Fmt Attr PSize PFree
/dev/sda2 system lvm2 a-- 15.00g 8.40g

localhost:~ # lvs
LV VG Attr LSize Pool Origin Data% Move Log Copy% Convert
root system -wi-ao--- 6.10g
swap system -wi-ao--- 512.00m

localhost:~ # df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/system-root 5.9G 4.5G 1.2G 81% /
devtmpfs 486M 32K 486M 1% /dev
tmpfs 499M 80K 499M 1% /dev/shm
tmpfs 499M 2.7M 496M 1% /run
tmpfs 499M 0 499M 0% /sys/fs/cgroup
tmpfs 499M 2.7M 496M 1% /var/lock
tmpfs 499M 2.7M 496M 1% /var/run
/dev/sda1 3.9G 50M 3.7G 2% /boot
</pre>
Man erkennt, dass /boot auf ''sda1'' und das PV auf ''sda2'' vergrössert wurde.

Aber das LV für /root ist noch unverändert und muss separat vergrößert werden. Auch dies sollte '''auf keinen Fall im laufenden System''' durchgeführt werden, sondern stattdessen nochmal mit dem GParted-ISO gebootet werden:
<pre>
user@debian:~$ sudo lvchange -a y system/root

user@debian:~$ sudo lvresize --resizefs --size +8.3G system/root
Rounding size to boundary between physical extents: 8.30 GiB
fsck from util-linux 2.20.1
/dev/mapper/system-root: clean, 147123/399840 files, 1184202/1598464 blocks
Extending logical volume root to 14.40 GiB
Logical volume root successfully resized
resize2fs 1.42.8 (20-Jun-2013)
Resizing the filesystem on /dev/mapper/system-root to 3774464 (4k) blocks.
The filesystem on /dev/mapper/system-root is now 3774464 blocks long.
</pre>
Anschließend steht der Speicherplatz vollständig zur Verfügung:
<pre>
localhost:~ # lvs
LV VG Attr LSize Pool Origin Data% Move Log Copy% Convert
root system -wi-ao--- 14.40g
swap system -wi-ao--- 512.00m

localhost:~ # df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/system-root 15G 4.5G 8.9G 34% /
devtmpfs 486M 32K 486M 1% /dev
tmpfs 499M 80K 499M 1% /dev/shm
tmpfs 499M 2.6M 496M 1% /run
tmpfs 499M 0 499M 0% /sys/fs/cgroup
tmpfs 499M 2.6M 496M 1% /var/lock
tmpfs 499M 2.6M 496M 1% /var/run
/dev/sda1 3.9G 240M 3.5G 7% /boot
</pre>

=Links=
*[[GParted LiveCD]]
*[[LVM]]
*[http://derekmolloy.ie/resize-a-virtualbox-disk/ Resize a VirtualBox guest Linux VDI Disk (Derek Molloy)]
*linwiki.org: [http://de.linwiki.org/wiki/Partitionsgr%C3%B6sse_%C3%A4ndern Partitionsgrösse ändern]

[[Kategorie:Partitionen]]

Diskussion:Standardeintrag Bootmenü ändern (GRUB2)

2014-01-29T14:43:03Z

Itu:

=Änderung über den Namen 'menuentry' (GRUB_DEFAULT=saved)=
Diesen Part habe ich entfernt. Er funktioniert zwar, aber es scheint mir eher eine missbräuchliche Verwendung der Konfiguration zu sein. --[[Benutzer:Gehrke|Gehrke]] ([[Benutzer Diskussion:Gehrke|Diskussion]]) 11:12, 7. Dez. 2013 (CET)

Mein Review: Schwer verständlich für jemand, der sich nicht gut auskennt mit Grub: Was ist der Standardeintrag, was ist der Index? Einfach mehr erklären, Platz ist ja noch... --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 15:43, 29. Jan. 2014 (CET)

Partitionen vergrößern (GParted)

2014-01-29T14:36:19Z

Itu:

Linux mit hdparm beschleunigen

2014-01-27T11:49:57Z

Itu: /* Befehlsbeispiele */ lost

== Linux beschleunigen durch hdparm ==

; hdparm : ist ein Konsolentool mit dessen Hilfe man die EIDE-/ATAPI-Parameter abfragen und einstellen kann.

Mittels des Befehls hdparm lassen sich von den IDE Geräten die Hardwaredaten und aktuelle Einstellungen auslesen. Darüber hinaus lassen sich in diesen Geräten auch bestimmte Parameter gezielt setzen.

=== Wichtigste Funktionen ===

* Auslesen der Identification Info
* Auslesen der Drive Geometry
* I/O Kommunikationsparameter abfragen und setzen
* Kommunikationsgeschwindigkeit testen
* Power Management
* Akustik Management

=== Befehlsbeispiele ===

; hdparm : Eine Liste aller bekannter Optionen analog --help
; hdparm /dev/hda : Ausgabe der wichtigsten momentan aktiven Einstellungen
; hdparm -i /dev/hda : Identifikation und unterstützte Optionen
; hdparm -tT /dev/hda : Lese-Geschwindigkeitstest
; hdparm -d1 /dev/hda : Einschalten des DMA-Modus
; hdparm -M128 /dev/hda : Festplatte in den Flüstermodus versetzen
; hdparm -S ??? /dev/hda : nach einer gewissen Zeit der Inaktivität wird Platte abgeschaltet, Die Zeit errechnet sich ??? (1-251), bei 0 dann deaktiviert
; hdparm -y /dev/hda : sofortiger Stand-by-Modus
; hdparm -Y /dev/hda : sofortiges vollständiges Abschalten (Vorsicht)

Einen Überblick und Erklärung dazu liefert man hdparm

Es gibt auch ein GUI front end für hdparm, im LC sind derzeit aber noch keinerlei Meinungen über dieses Tool eingegangen.
* http://rpmfind.net/linux/RPM/sourceforge/d/dr/drivetweak/ghdparm-gnome-0.1-1.i386.html

=== Geschwindigkeit der Laufwerke optimieren ===

Mit hdparm können die I/O Parameter der IDE Festplatten beeinflusst werden. In früheren Linuxversionen gab es hiermit eine ganze Menge Optimierungpotential, das die Geschwindigkeit des gesamten Linuxsystems positiv beeinflussen konnte. In den aktuellen Linuxversionen sind die Einstellungen, die Linux hier von Haus aus vornimmt, schon oftmals so gut, dass man hier meist nicht mehr sehr viele Geschwindigkeitsgewinne erzielen kann. Dennoch ist das Verfahren nach wie vor das gleiche. Es gibt eine ganze Reihe von Seiten im Netz, die die Vorgehensweise genau erklären, hier nur einige wenige Links

Links zu Seiten in denen die Benutzung von hdparm zur Optimierung des I/O erklärt ist
* [http://www.linuxdevcenter.com/pub/a/linux/2000/06/29/hdparm.html Speeding up Linux Using hdparm]
* [http://www.linux-magazin.de/Artikel/ausgabe/2004/03/hdparm/hdparm.html Wer bremst, verschenkt]
* [http://www.pc-erfahrung.de/Index.html?linux_hdparm.html Festplatenleistung optimieren]
* http://www.pro-linux.de/news/2002/0066.html

Wer sich gerne näher damit beschäftigen möchte dem sei das [http://tomshardware.thgweb.de/2002/07/30/ide_kurs_teil_1_grundlagen_und_technik_im_detail/index.html hier] zur Lektüre empfohlen.

==== Fehler nach Optimierung mit hdparm ====
Entscheidend für die maximal zu erreichende Geschwindigkeit ist unter anderem der Typ des Bus Kontrollers, der Kontroller auf dem Gerät selbst und die Verkabelung. Es gibt für verschiedene Busgeschwindigkeiten auch verschiedene Kabeltypen. Auch die Güte und der Zustand der Kabel sowie der Steckverbindungen kann unter Umständen schon bei maximalen Geschwindigkeiten Probleme bereiten.

Solche Probleme machen sich in der /var/log/messages und in dmesg oft als lange Liste folgender Meldungen breit
<pre>
hda: dma_intr: status=0x51 { DriveReady SeekComplete Error }
hda: dma_intr: error=0x84 { DriveStatusError BadCRC }
</pre>
Sollten solche Meldungen sich häufen, dann sollte man entweder versuchen die I/O Geschwindigkeit wieder niedriger einzustellen oder nach den Ursachen zu suchen. Ursachen sind meist die Kabel und Steckverbindungen, seltener die Platte oder Kontroller selbst. Möglich ist auch, dass an einem Bus zwei Geräte angeschlossen sind, eines mit DMA und eines ohne DMA konfiguriert. Auch eine solche Einstellung kann Probleme verursachen und seitenweise Fehlermeldungen produzieren. [http://de.opensuse.org/SDB:Datenfehler_bei_IDE_Ger%C3%A4ten_beheben Datenfehler bei IDE Geräten beheben]

=== Warnung vor der Benutzung ===

hdparm hat eine ganze Reihe von nicht ganz ungefährlichen Optionen. Einige Optionen sind nur für spezielle Hardwareanforderungen, wie z. B. Hot plug über IDE Wechselrahmen ausgelegt, bei anderen stehen Warnhinweise in der ManPage. Prinzipiell ist dies kein Programm mit dem man ohne genauere Kenntnisse der Funktion mit schlecht dokumentierten Optionen und Optionskombinationen an einem aktivem System herumspielen sollte. Hier droht echter Datenverlust.

''nach einem TIP von '' '''oc2pus'''

----
[[Konsole|Zurück zur Konsolenübersicht]]
[[Category:Konsole]]

Scannen per Netzwerk

2014-01-22T05:36:11Z

Itu:

{{Review|kompletter Artikel}}
=Scannen per Netzwerk=
Da hat man nun einen Scanner der mit Hilfe von Sane unter Linux direkt läuft sowie ein Netzwerk und will auch von anderen Rechnern aus scannen statt nur von dem Rechner aus an dem der Scanner hängt.
Da saned (der sane-Backenddaemon) durchaus dazu in der Lage ist als Server oder als Vermittler für die eigentlichen Frontends wie kooka, xsane, xscanimage, [[GIMP]], [[Libreoffice]] oder ähnliche zu fungieren, aber die gängigen Konfigurationstools der meisten Distributionen dies nicht direkt in ihrer Konfigurationsoberfläche anbieten, benötigt man ein wenig Handarbeit um die gewünschte Funktionalität zu erhalten, und zwar sowohl auf der Serverseite als auch auf der Clientseite.

==Die Scanserverkonfiguration==
Als erstes benötigt man die Information, welche Clientrechner überhaupt scannen dürfen sollen.
Diese tragen wir entweder alle einzeln in die Datei '''/etc/sane.d/saned.conf''' bzw. bei einigen Distributionen in die '''/etc/saned.conf''' ein.
Je nachdem ob man mit verfügbarer Namensauflösung per eigenem [[DNS]]-Server im eigenen Netz arbeitet oder mit entsprechenden Einträgen in '''/etc/hosts''' oder nur puren IP-Adressen, trägt man nun entweder die Namen der Clientrechner, deren IP-Adressen oder gar einen kompletten Netzwerkadressbereich ein.

Beispiel:

## Access list
# A list of host names, IP addresses or IP subnets (CIDR notation) that
# are permitted to use local SANE devices. IPv6 addresses must be enclosed
# in brackets, and should always be specified in their compressed form.
#
# The hostname matching is not case-sensitive.
#scan-client.somedomain.firm
#192.168.0.1
192.168.2.1/24
#[2001:7a8:185e::42:12]
#[2001:7a8:185e::42:12]/64

Je nach verwendeter Software und der Frage, ob der Rechner an dem der Scanner hängt auch als Arbeitsrechner genutzt wird oder nicht, kann ein zusätzlicher Eintrag für ''localhost'' dort auch Sinn machen.

Anschließend muss im xinetd-Daemon noch in seiner Konfiguration saned aktiviert werden, damit der Scandaemon saned überhaupt über das Netzwerk verfügbar ist.

'''/etc/xinetd.d/sane-port'''
# default: off
# description: The saned provides scanner service via the network. \
# Applications like kooka, xsane or xscanimage can use the remote \
# scanner.
service sane-port
{
socket_type = stream
wait = no
disable = no
protocol = tcp
user = root
group = root
server = /usr/sbin/saned
port = 6566
}

Wie in der Konfigfuration zu sehen ist, nutzt saned den Port 6566 im TCP-Modus, weswegen noch sicherzustellen ist, dass dieser Port auch in '''/etc/services''' eingetragen ist, sowie eine eventuell laufende [[Firewall]] so eingestellt ist, dass der Paketfilter die Übertragung auf Port 6566 im lokalen Netzwerk (nicht über das Internet!) auch zulässt.

Sofern xinetd und die Firewall bereits laufen, sollte man beide neu starten oder zumindest ihre Konfigurationen neu einlesen lassen.
Der User root mit der Gruppe root wird nur benötigt, wenn man nicht die Gerätedateien mit anderen Rechten als sie per default vergeben sind versehen will. Bei den meisten Distributionen wäre jedoch der User saned aus der Gruppe saned die korrektere Wahl. Allerdings kann es bei USB-Scannern vorkommen, dass dieser Benutzer nicht auf den Scanner zugreifen darf, da die Rechte aufgrund der dynamischen Einbindung von USB-Geräten per default eben nicht dazu passen. Dort ist root eben der einfachere Weg den Zugang zu ermöglichen.

Wenn diese Schritte soweit erfolgt sind kann der erste Test stattfinden:
Man startet auf einem der Clientrechner einfach
telnet scanservername 6566
und schaut, ob dort telnet mit einer Fehlermeldung abbricht oder nicht. Wartet telnet auf eine Eingabe, dann ist kein Fehler vorhanden und der Serverdaemon läuft bereits. Abbrechen kann man telnet in der [[Konsole]] / einer Terminalemulation mit der Tastenkombination Strg-C.

Nun fehlt nur noch die Clientrechnereinrichtung.

==Die Clientrechnerkonfiguration==
Hier bedarf es nicht viel. Es muss nur das net-Backend im saned (der hier ja nicht als Server, sondern als Vermittler zum tatsächlichen Server fungieren soll) aktiviert werden und diesem Backend der Server bekanntgegeben werden.
Dazu editiert man '''/etc/sane.d/dll.conf''' und fügt folgende Zeile ein bzw. entfernt die Auskommentierung der entsprechenden Backendzeile, die per Default schon dort, aber eben auskommentiert ist:

net

Nun ist prinzipiell schon mal die Umleitung aufs Netzwerk aktiviert, aber der Clientrechner weiß ja noch nicht, welchen Server er dafür befragen soll. Dies wird sichergestellt in der Konfiguration des net-Backends unter '''/etc/sane.d/net.conf''', indem man dort den Server einträgt:

Beispiel:
'''/etc/sane.d/net.conf'''

# This is the net backend config file.
## net backend options
# Timeout for the initial connection to saned. This will prevent the backend
# from blocking for several minutes trying to connect to an unresponsive
# saned host (network outage, host down, ...). Value in seconds.
# connect_timeout = 60
## saned hosts
# Each line names a host to attach to.
# If you list "localhost" then your backends can be accessed either
# directly or through the net backend. Going through the net backend
# may be necessary to access devices that need special privileges.
# localhost
192.168.2.1

Den Eintrag ''localhost'' sollte man aktivieren, sofern man einen weiteren Scanner an dem Clientrechner hängen hat, der auch an den Server gehen soll um einen "Zweitscanner" zu erreichen, ansonsten dürfte dieser Eintrag für die meisten Frontends nicht benötigt werden.
Nun kann die Verfügbarkeit für den / die Clientrechner am Clientrechner selbst getestet werden, indem man
scanimage -L
in einer Konsole eingibt. Dort sollte der Scanner, der am Server vor der Aktivierung der Netzwerkfunktion logischerweise ja schon eingerichtet worden sein sollte, nun auch zu sehen sein und man kann das Frontend seiner Wahl nun scannen lassen.

==Weiterführende Informationen==
===Generelle Informationen===
*[http://www.sane-project.org/ Website des SANE-Projekts]

===Netzwerkfähige Frontends für SANE für diverse Nicht-Linux Systeme===
*[https://github.com/mback2k/wiasane/wiki/Downloads wiasane, ein SANE-Frontend (eher:WIA-Treiber) für Windows 7]
*[https://play.google.com/store/apps/details?id=com.sane.droid SANEDroid, ein SANE-Frontend für Android-Systeme]
*[http://sanetwain.ozuzo.net/#ini SaneTwain, eine SANE 2 Twain Bridge (Windows XP)]
*[http://www.os2warp.be/index2.php?name=tamehome Tame/2, ein SANE-Frontend für OS/2 / eComstation]
*[http://www.ellert.se/twain-sane/ TWAIN SANE Interface for MacOS X]

-----
[[Scanner|zurück zur Scannerübersicht]]
[[Kategorie:Scanner]] [[Kategorie:Netzwerk]]

Diskussion:Direkter Zugriff auf qemu-Images von einem Virtualisierungs-Host

2014-01-17T22:55:24Z

Itu:

== Review ==
Bin alles durchgegangen, finde zwar nichts zu bemängeln, aber ich verstehe da ziemlich wenig von der Thematik. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 23:55, 17. Jan. 2014 (CET)

Diskussion:Farbe in der Konsole

2014-01-12T18:57:47Z

Itu: es zählt wohl nur das lokale Terminal, oder?

Offenbar gibt es noch effektive farbcodes > 50.
for i in $(seq 1 255); do echo -ne "\033[$i"m ; echo -n $i" " ; done ; echo -e "\033[0m"
zumindest von 90 bis 106 sind da bei mir noch weitere, sehr nützliche Farben.
Siehe auch https://en.wikipedia.org/wiki/ANSI_escape_code#CSI_codes --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 11:48, 10. Jan. 2014 (CET)
:: sind aber oftmals nur in wenigen Terminaltypen bekannt, man sollte also wenn man dieses in einem Script benutzen will, vorher genau den Terminaltype und eventuell weitere Terminal Einstellungen prüfen, sonst kann das auf einem anderem Rechner oder in einem anderem Terminal sehr schnell zu unleserlichen "Itzelpritz" führen. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 22:31, 11. Jan. 2014 (CET)
:::Hm, Ubuntu hat das jedenfalls so. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 19:57, 12. Jan. 2014 (CET)

==Skript==
Kann mal jemand das Skript vom Abschnitt [[Farbe_in_der_Konsole#farbiges_Prompt]] erläutern? Die erste Zeile versteh ich sogar fast, mich interessiert der Prompt im then-zweig. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 07:53, 11. Jan. 2014 (CET)

:: meinst du das hier ?
<pre>
if test $ "$TERM" = "xterm" -o "${TERM#screen}" != "$TERM" $ -a -z "$EMACS"
then
export PS1="\[\033[31m\]\[\e]2;\u@\h:\w\007\e]1;\h\007\]\u@\h:\w> \[\033[0m\]"
else
export PS1="\[\033[31m\]\u@\h:\w> \[\033[0m\]"
fi
</pre>
::Steht fast alles im Text. '''export''' und Variablenzuweisung sowie die Bedeutung der Variable '''PS1''' lass ich mal weg. das sollte klar sein.

::Ich zitiere mal aus dem Beitragstext und markiere farbig. 
"ist folgendes Format '''\033[ , gefolgt von einer beliebigen Anzahl von Codes, die durch ; getrennt sind, und das letzte mit m abgeschlossen ist'''"

export PS1="\[\033[31m\]\u@\h:\w> \[\033[0m\]" 

:: Das ist also nichts weiter als das setzen der Farbe '''Rot (31)''' und das zurücksetzten der Attribute auf '''Defaultwert (0)''' .

:: zu erkennen hier noch zusätzlich beides Mal ist dieses zusätzlich noch in entwertete Eckige Klammern gesetzt worden. 
export PS1="'''\['''\033[31m'''\]'''\u@\h:\w> '''\['''\033[0m'''\]'''" 
::Eine Erklärung hierfür ist zu finden ebenfalls bei den promptvars die jetzt gleich kommen. Dieses ist eine Eigenheit bei den Promptvariablen. und bedeutet '''Begin'''n und '''End'''e "'''of a sequence of non-printing characters'''"

:: das "'''\u@\h:\w>''' " besteht aus den normalen Zeichen '''@ : >''' und dazwischen sind "'''\u \h \w'''" das sind '''promptvars'''
:: die Bedeutung der '''promptvars''' ist nachzulesen in der Manpage von bash unter Abschnitt '''PROMPTING''' das sind nichts weiter als Variablen die innerhalb des Prompt verwendet werden können.

:: Ich hoffe mal die Erklärung hilft und verwirrt nicht noch mehr, ist schwierig sowas im Wikiformat sauber und übersichtlich zu Formatieren damit es leicht verständlich ist. ;-)))) [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 22:11, 11. Jan. 2014 (CET)
:::Danke für die sehr ausführliche Erläuterung, aber das hier ist im wesentlich alles klar verstanden. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 19:01, 12. Jan. 2014 (CET)

::: In dem '''then''' Zweig sind jetzt hier zusätzlich noch weitere Steuerzeichen eingebettet. 
::: '''\[\e]2;\u@\h:\w\007\e]1;\h\007\]''' 
::: Diese haben nichts mit der eigentlichen Konsolfarbe zu tun, diese Sequenzen werden auch nicht mit '''m''' abgeschlossen sondern mit '''\007''' oder was dem Gleich wäre '''\a''' . '''\e]2;\u@\h:\w\007''' bin ich mir sicher das diese oben in den Titelbar des Terminalwindows schreibt, was '''\e]1;\h\007''' macht, müsste ich auch erst suchen. Auf den ersten Blick irgend was mit dem Icon. Mal selbst forschen , in meinem Xterm funktioniert beides nicht :-) 
::::: das erste( '''\[\e]2;irgendwas\a\]''' ) funktioniert doch, man muss nur xterm oder kterm benutzen. das andere scheint wohl bei KDE4 nicht zu funktionieren, ist wohl für andere Windowsmanager gedacht. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 11:37, 12. Jan. 2014 (CET)
::: versuche mal [https://dougbarton.us/Bash/Bash-prompts.html das hier] als Einsprungpunkt. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 00:04, 12. Jan. 2014 (CET)

Diskussion:Farbe in der Konsole

2014-01-12T18:01:49Z

Itu: /* Skript */

Offenbar gibt es noch effektive farbcodes > 50.
for i in $(seq 1 255); do echo -ne "\033[$i"m ; echo -n $i" " ; done ; echo -e "\033[0m"
zumindest von 90 bis 106 sind da bei mir noch weitere, sehr nützliche Farben.
Siehe auch https://en.wikipedia.org/wiki/ANSI_escape_code#CSI_codes --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 11:48, 10. Jan. 2014 (CET)
:: sind aber oftmals nur in wenigen Terminaltypen bekannt, man sollte also wenn man dieses in einem Script benutzen will, vorher genau den Terminaltype und eventuell weitere Terminal Einstellungen prüfen, sonst kann das auf einem anderem Rechner oder in einem anderem Terminal sehr schnell zu unleserlichen "Itzelpritz" führen. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 22:31, 11. Jan. 2014 (CET)
:::Hm, Ubuntu/Debian aber auch CentOS haben das alle, hier bei mir. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 18:52, 12. Jan. 2014 (CET)

==Skript==
Kann mal jemand das Skript vom Abschnitt [[Farbe_in_der_Konsole#farbiges_Prompt]] erläutern? Die erste Zeile versteh ich sogar fast, mich interessiert der Prompt im then-zweig. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 07:53, 11. Jan. 2014 (CET)

:: meinst du das hier ?
<pre>
if test $ "$TERM" = "xterm" -o "${TERM#screen}" != "$TERM" $ -a -z "$EMACS"
then
export PS1="\[\033[31m\]\[\e]2;\u@\h:\w\007\e]1;\h\007\]\u@\h:\w> \[\033[0m\]"
else
export PS1="\[\033[31m\]\u@\h:\w> \[\033[0m\]"
fi
</pre>
::Steht fast alles im Text. '''export''' und Variablenzuweisung sowie die Bedeutung der Variable '''PS1''' lass ich mal weg. das sollte klar sein.

::Ich zitiere mal aus dem Beitragstext und markiere farbig. 
"ist folgendes Format '''\033[ , gefolgt von einer beliebigen Anzahl von Codes, die durch ; getrennt sind, und das letzte mit m abgeschlossen ist'''"

export PS1="\[\033[31m\]\u@\h:\w> \[\033[0m\]" 

:: Das ist also nichts weiter als das setzen der Farbe '''Rot (31)''' und das zurücksetzten der Attribute auf '''Defaultwert (0)''' .

:: zu erkennen hier noch zusätzlich beides Mal ist dieses zusätzlich noch in entwertete Eckige Klammern gesetzt worden. 
export PS1="'''\['''\033[31m'''\]'''\u@\h:\w> '''\['''\033[0m'''\]'''" 
::Eine Erklärung hierfür ist zu finden ebenfalls bei den promptvars die jetzt gleich kommen. Dieses ist eine Eigenheit bei den Promptvariablen. und bedeutet '''Begin'''n und '''End'''e "'''of a sequence of non-printing characters'''"

:: das "'''\u@\h:\w>''' " besteht aus den normalen Zeichen '''@ : >''' und dazwischen sind "'''\u \h \w'''" das sind '''promptvars'''
:: die Bedeutung der '''promptvars''' ist nachzulesen in der Manpage von bash unter Abschnitt '''PROMPTING''' das sind nichts weiter als Variablen die innerhalb des Prompt verwendet werden können.

:: Ich hoffe mal die Erklärung hilft und verwirrt nicht noch mehr, ist schwierig sowas im Wikiformat sauber und übersichtlich zu Formatieren damit es leicht verständlich ist. ;-)))) [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 22:11, 11. Jan. 2014 (CET)
:::Danke für die sehr ausführliche Erläuterung, aber das hier ist im wesentlich alles klar verstanden. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 19:01, 12. Jan. 2014 (CET)

::: In dem '''then''' Zweig sind jetzt hier zusätzlich noch weitere Steuerzeichen eingebettet. 
::: '''\[\e]2;\u@\h:\w\007\e]1;\h\007\]''' 
::: Diese haben nichts mit der eigentlichen Konsolfarbe zu tun, diese Sequenzen werden auch nicht mit '''m''' abgeschlossen sondern mit '''\007''' oder was dem Gleich wäre '''\a''' . '''\e]2;\u@\h:\w\007''' bin ich mir sicher das diese oben in den Titelbar des Terminalwindows schreibt, was '''\e]1;\h\007''' macht, müsste ich auch erst suchen. Auf den ersten Blick irgend was mit dem Icon. Mal selbst forschen , in meinem Xterm funktioniert beides nicht :-) 
::::: das erste( '''\[\e]2;irgendwas\a\]''' ) funktioniert doch, man muss nur xterm oder kterm benutzen. das andere scheint wohl bei KDE4 nicht zu funktionieren, ist wohl für andere Windowsmanager gedacht. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 11:37, 12. Jan. 2014 (CET)
::: versuche mal [https://dougbarton.us/Bash/Bash-prompts.html das hier] als Einsprungpunkt. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 00:04, 12. Jan. 2014 (CET)

Diskussion:Farbe in der Konsole

2014-01-12T17:52:51Z

Itu:

Offenbar gibt es noch effektive farbcodes > 50.
for i in $(seq 1 255); do echo -ne "\033[$i"m ; echo -n $i" " ; done ; echo -e "\033[0m"
zumindest von 90 bis 106 sind da bei mir noch weitere, sehr nützliche Farben.
Siehe auch https://en.wikipedia.org/wiki/ANSI_escape_code#CSI_codes --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 11:48, 10. Jan. 2014 (CET)
:: sind aber oftmals nur in wenigen Terminaltypen bekannt, man sollte also wenn man dieses in einem Script benutzen will, vorher genau den Terminaltype und eventuell weitere Terminal Einstellungen prüfen, sonst kann das auf einem anderem Rechner oder in einem anderem Terminal sehr schnell zu unleserlichen "Itzelpritz" führen. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 22:31, 11. Jan. 2014 (CET)
:::Hm, Ubuntu/Debian aber auch CentOS haben das alle, hier bei mir. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 18:52, 12. Jan. 2014 (CET)

==Skript==
Kann mal jemand das Skript vom Abschnitt [[Farbe_in_der_Konsole#farbiges_Prompt]] erläutern? Die erste Zeile versteh ich sogar fast, mich interessiert der Prompt im then-zweig. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 07:53, 11. Jan. 2014 (CET)

:: meinst du das hier ?
<pre>
if test $ "$TERM" = "xterm" -o "${TERM#screen}" != "$TERM" $ -a -z "$EMACS"
then
export PS1="\[\033[31m\]\[\e]2;\u@\h:\w\007\e]1;\h\007\]\u@\h:\w> \[\033[0m\]"
else
export PS1="\[\033[31m\]\u@\h:\w> \[\033[0m\]"
fi
</pre>
::Steht fast alles im Text. '''export''' und Variabelzuweisung sowie die Bedeutung der Variable '''PS1''' lass ich mal weg. das sollte klar sein.

::Ich zitiere mal aus dem Beitragstext und markiere farbig. 
"ist folgendes Format '''\033[ , gefolgt von einer beliebigen Anzahl von Codes, die durch ; getrennt sind, und das letzte mit m abgeschlossen ist'''"

export PS1="\[\033[31m\]\u@\h:\w> \[\033[0m\]" 

:: Das ist also nichts weiter als das setzen der Farbe '''Rot (31)''' und das zurücksetzten der Attribute auf '''Defaultwert (0)''' .

:: zu erkennen hier noch zusätzlich beides Mal ist dieses zusätzlich noch in entwertete Eckige Klammern gesetzt worden. 
export PS1="'''\['''\033[31m'''\]'''\u@\h:\w> '''\['''\033[0m'''\]'''" 
::Eine Erklärung hierfür ist zu finden ebenfalls bei den promtvars die jetzt gleich kommen. Dieses ist eine Eigeneheit bei den Promptvariablen. und bedeutet '''Begin'''n und '''End'''e "'''of a sequence of non-printing characters'''"

:: das "'''\u@\h:\w>''' " besteht aus den normalen Zeichen '''@ : >''' und dazwischen sind "'''\u \h \w'''" das sind '''promptvars'''
:: die Bedeutung der '''promptvars''' ist nachzulesen in der Manpage von bash unter Abschnitt '''PROMPTING''' das sind nichts weiter als Variablen die innerhalb des Prompt verwendet werden können.

:: Ich hoffe mal die Erklärung hilft und verwirrt nicht noch mehr, ist schwierig sowas im Wikiformat sauber und übersichtlich zu Formatieren damit es leicht verständlich ist. ;-)))) [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 22:11, 11. Jan. 2014 (CET)

::: In dem '''then''' Zweig sind jetzt hier zusätzlich noch weitere Steuerzeichen eingebettet. 
::: '''\[\e]2;\u@\h:\w\007\e]1;\h\007\]''' 
::: Diese haben nichts mit der eigentlichen Konsolfarbe zu tun, diese Sequenzen werden auch nicht mit '''m''' abgeschlossen sondern mit '''\007''' oder was dem Gleich wäre '''\a''' . '''\e]2;\u@\h:\w\007''' bin ich mir sicher das diese oben in den Titelbar des Terminalwindows schreibt, was '''\e]1;\h\007''' macht, müsste ich auch erst suchen. Auf den ersten Blick irgend was mit dem Icon. Mal selbst forschen , in meinem Xterm funktioniert beides nicht :-) 
::::: das erste( '''\[\e]2;irgendwas\a\]''' ) funktioniert doch, man muss nur xterm oder kterm benutzen. das andere scheint wohl bei KDE4 nicht zu funktionieren, ist wohl für andere Windowsmanager gedacht. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 11:37, 12. Jan. 2014 (CET)
::: versuche mal [https://dougbarton.us/Bash/Bash-prompts.html das hier] als Einsprungpunkt. [[Benutzer:Robi|Robi]] ([[Benutzer Diskussion:Robi|Diskussion]]) 00:04, 12. Jan. 2014 (CET)

Diskussion:Farbe in der Konsole

2014-01-11T06:53:31Z

Itu:

Farbe in der Konsole

2014-01-10T13:29:10Z

Itu: /* Die ANSI Escape Sequence für Attribut- und Farbdarstellung */ ...

== Farbe in der Konsole ==

; Vorbemerkung :
hin und wieder möchte man auch auf einem Textterminal etwas Hervorheben oder farbig markieren. Das so etwas geht, hat wohl jeder schon einmal erlebt, nachdem man z.B. '''mc''' gestartet hat oder bei der Ausgabe von '''ls''' sich über die bunten Dateinamen gewundert hat.

* Auf einem Textterminal ist eine farbige Anzeige mittels '''ANSI Escape Sequences''' möglich
* Nicht alle Terminals unterstützen dies
* Welchen Terminaltyp man derzeit benutzt, ist in der TERM-Umgebungsvariable hinterlegt. '''echo $TERM'''
* Eine Übersicht, welche Typen farbige Ausgaben unterstützen findet man in der Datei /etc/DIR_COLORS (es ist aber nicht die authoritative Quelle)

=== Die ANSI Escape Sequence für Attribut- und Farbdarstellung ===

; das Prinzip der Escape-Sequenzen für farbige Ausgabe:
ist folgendes Format '''\033[''', gefolgt von einer beliebigen Anzahl von Codes, die durch ''';''' getrennt sind, und das letzte mit '''m''' abgeschlossen ist, z.B. '''\033[1;37;41m'''.

dabei gilt im Einzelnen
* '''Eröffnung der Sequenz''' ist immer '''\033[''' oder etwas abgekürzt '''\e['''

* Codes für die Hintergrundfarbe:
:* 40=schwarz
:* 41=rot
:* 42=grün
:* 43=braun
:* 44=blau
:* 45=violett ("magenta")
:* 46=cyan
:* 47=grau ("weiß")
:* 49=Standard
: "Standard" bezieht sich auf die Voreinstellung des Terminals bzw. des Konsolenprogramms, und kann - insbesondere bei grafischen Terminalemulatoren - von allen (40 bis 47) in der Farbe abweichen.

* Codes für Textattribute:
:* 0=alle Attribute und Farben zurücksetzen
:* 1=fett
:* 2=kursiv (wird oft nicht dargestellt oder durch eine Farbe ersetzt)
:* 4=unterstrichen
:* 5=blinken
:* 7=reverse
:* 22=fett ausschalten
:* 24=Unterstreichung ausschalten
:* 25=Blinken ausschalten
:* 27=reverse umkehren

* Codes für die Vordergrundfarben
:* Wie bei Hintergrund, aber statt 40-47,49 jeweils 30-37,39

* ''die einzelnen Codes werden mit Semikolon ohne zusätzliche Leerzeichen getrennt''

* '''den Abschluss''' bildet ein '''m'''

in Verbindung mit dem Attribut 0 oder 1 ergeben sich folgende Textfarben
<pre>
Black 0;30 Dark Gray 1;30
Blue 0;34 Light Blue 1;34
Green 0;32 Light Green 1;32
Cyan 0;36 Light Cyan 1;36
Red 0;31 Light Red 1;31
Purple 0;35 Light Purple 1;35
Brown 0;33 Yellow 1;33
Light Gray 0;37 White 1;37
</pre>

==== Beispiel für farbige Ausgaben ====

<pre>
echo -e "\033[46;1;31m TESTAUSGABE \033[43;4;34m KUNTER \033[45;1;32m BUNT \033[44;1;33m ANGESTRICHEN \033[0m"
</pre>
Am Ende sollte möglichst immer '''\033[0m''' anbinden, damit die nachfolgende Ausgabe dann wieder "normal" ist.

==== Script um eine Farbübersicht zu erhalten ====

Eine Übersicht welche Farben wie auf welcher Hintergrundfarbe wirkt, kann man mit diesem kleinem Script hier erzeugen
[[http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/x329.html Fundort]]

<pre>
#!/bin/bash
#
# This file echoes a bunch of color codes to the
# terminal to demonstrate what's available. Each
# line is the color code of one forground color,
# out of 17 (default + 16 escapes), followed by a
# test use of that color on all nine background
# colors (default + 8 escapes).
#

T='gYw' # The test text

echo -e "\n 40m 41m 42m 43m\
44m 45m 46m 47m";

for FGs in ' m' ' 1m' ' 30m' '1;30m' ' 31m' '1;31m' ' 32m' \
'1;32m' ' 33m' '1;33m' ' 34m' '1;34m' ' 35m' '1;35m' \
' 36m' '1;36m' ' 37m' '1;37m';
do FG=${FGs// /}
echo -en " $FGs \033[$FG $T "
for BG in 40m 41m 42m 43m 44m 45m 46m 47m;
do echo -en "$EINS \033[$FG\033[$BG $T \033[0m";
done
echo;
done
echo
</pre>

=== der Befehl tput ===

Wie wir es gewohnt sind, gibt es unter LINUX immer mehrere Möglichkeiten um ein und das selbe zu erreichen.
mit dem Befehl '''tput''' läßt sich ebenfalls Farbe auf die Konsole zaubern. Das ist aber nur ein Teilbereich dieses Befehls.
Für genauere Informationen bitte in die Manpages von [http://www.die.net/doc/linux/man/man1/tput.1.html tput] und [http://www.die.net/doc/linux/man/man5/terminfo.5.html terminfo] schauen. Einen kleinen Vorgeschmack über die Möglichkeiten mittels
tput die Farben innerhalb des Terminals zu beeinflussen bekommt man auch [http://tldp.org/HOWTO/Bash-Prompt-HOWTO/x405.html hier]

Neben der Wahl von Textfarbe, Hintergrundfarbe, Textattribute wie Fett und Unterstrichen (um nur mal einige der Wichtigsten zu nennen), kann man
mit tput auch den Cursor innerhalb des Terminals frei positionieren, einzelne Zeichen oder Zeilen löschen, oder neue Zeichen und Zeilen dazwischenschieben, den Bildschirm leer machen, oder das Terminal auf seine Einstellungen zurücksetzen, wenn man mal nur noch Sonderzeichen auf dem Bildschirm hat, die Eigenschaften des aktuellen Terminals abfragen und vieles mehr. Aber auch hier ist zu bemerken, dass die Möglichkeiten dieses Befehles schon durch die jeweiligen Terminaleinstellungen beschränkt werden. Man sollte also daran denken, wenn man innerhalb eines Scriptes mit tput arbeitet, dass es auf einem anderem Rechner oder den Einstellungen eines anderen Users durchaus auch ein furchtbares unansehnliches Bild ergeben kann. Auch sollte man unbedingt prüfen ob sich am Ende wirklich ein Terminal ( besser sogar noch welcher Terminaltyp ) befindet, oder die Ausgabe eventuell in eine Datei oder in eine Pipe geleitet ist. Anstelle von Erklärungen der einzelnen Funktionen und Optionen von tput hier ein kleines Script in dem einige Funktionen von tput eingebaut sind, zum Ausprobieren.

<pre>
#!/bin/bash
if [ -t 1 ]
then
typeset -i ZEILE

tput clear
for HINTERGRUND in 0 1 2 3 4 5 6 7 8
do
tput sgr0
tput setaf $HINTERGRUND
ZEILE=5+$HINTERGRUND

for POSITION in 5 30 55
do
tput cup $ZEILE $POSITION
if [ $POSITION -eq 30 ]
then tput smul
fi
if [ $POSITION -eq 55 ]
then tput bold; tput rmul;
fi

for FARBE in 0 1 2 3 4 5 6 7 8
do
tput setab $FARBE
echo -n "X-"
done

done

done
tput sgr0
tput home
for i in 1 2 3
do
tput bel
sleep 1
tput flash
done

else
echo "Ausgabe geht nicht an ein Terminal"
fi
</pre>

==== Anwendung von tput innerhalb eines Scriptes ====

oftmals wird man Farb- oder Testattribute öfter innerhalb eines Scriptes verwenden wollen.
Es ist deshalb oftmals von Vorteil, wenn man diese Attribute in Variable ablegt, und dann an Ort und Stelle in die
Ausgaben einbaut. Ein kleines Beispiel soll das verdeutlichen.

<pre>
BLACK=`tput setaf 0`
ROT=`tput setaf 1`
BLAU=`tput setaf 4`
GELB=`tput setaf 3`

echo "Das hier ist ein Text der durch ${ROT}rote${BLACK} durch ${BLAU}blaue ${BLACK}"
echo "und ${GELB}gelbe ${BLACK} Worte ${ROT}unterbrochen ${BLACK}ist."
</pre>

=== Anwendung im Shell Prompt ===

==== farbiges Prompt ====

Die Shellvariable PS1 steuert das Verhalten des Prompts.
Du kannst folgendes in deine .bashrc (in deinem Homeverzeichnis) schreiben:

<pre>
if test $ "$TERM" = "xterm" -o "${TERM#screen}" != "$TERM" $ -a -z "$EMACS"
then
export PS1="\[\033[31m\]\[\e]2;\u@\h:\w\007\e]1;\h\007\]\u@\h:\w> \[\033[0m\]"
else
export PS1="\[\033[31m\]\u@\h:\w> \[\033[0m\]"
fi
</pre>

Dann die Datei neu einlesen oder eine neue Bash eröffnen damit die Änderung wirkt 
es genügt '''.bashrc''' im Homeverzeichnis abzusetzen

Danach solltest du einen roten Prompt haben.

==== Farbiger Errorlevel im Prompt ====

Errorlevel in rot anzeigen
Folgenden Code in der aktuellen Bash ausführen oder für dauerhaften Gebrauch in der ~/.bashrc ablegen
<pre>
PROMPT_COMMAND='LASTERROR="[$?]" ; test "$LASTERROR" = "[0]" || echo -ne "\033[93;41m${LASTERROR}\033[0m"'
export PROMPT_COMMAND
</pre>

Jetzt wird der Rückgabe Wert eines Befehles oder Scriptes insofern er nicht '''0''' ist, innerhalb des folgenden Prompt farbig angezeigt, das kann sehr hilfreich sein, z. B. für das Schreiben und Testen von Befehlsketten oder Scripte.

==== Links zum Thema Prompt ====
* [http://www.tldp.org/linuxfocus/common/sart/index.html#2000-02-14%3A5 Colors in the command prompt]
* [http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/index.html Bash-Prompt]

=== Anwendungen innerhalb des ls Befehles ===

Der ls Befehl kann Dateientypen an Dateiattributen und Prefixen erkennen und farbig darstellen.

Siehe dazu auch [http://www.die.net/doc/linux/man/man1/ls.1.html man ls] 
Verantwortlich für das Einschalten dieser Funktion ist die Option '''--color'''

==== Zuordnung der Farben zu den Dateitypen ====

Die Zuordnung der Farben zu den Dateitypen wird global für alle in der '''/etc/DIR_COLORS''' vorgenommen.
Jedem User sollte es aber möglich sein diese Datei in sein Homeverzeichnis unter dem Namen '''.dir_colors''' zu kopieren, dann kann er seinen Bedürfnissen und Vorlieben entsprechend, selbst seine persönlichen Einstellungen durch ändern dieser Datei vornehmen.

<pre>
cp /etc/DIR_COLORS ~/.dir_colors
</pre>

Danach einfach die bash neu starten, damit die Änderungen wirken.

Mehr Infos mit '''man DIR_COLORS'''

==== Links zum Thema ls und Color ====

* [http://www.linux-user.de/ausgabe/2001/12/092-zubefehl/ls-3.html ls Bitte in bunt]

=== Syntax Highlighting im [[Text editieren mit vi|vi]] ===

Der [[Text editieren mit vi|Texteditor vi]] auf der Konsole, der in keinem LINUX/UNIX fehlt, ist in den modernen Linuxsystemen auf einen wesentlich leistungsfähigeren Nachfolger [http://www.vim.org/ '''vim'''] oder einen Klon davon, gelinkt. Dieser Editor kann unter Anderem auch '''Syntax Highlighting"''' für eine Vielzahl von Dateitypen.

Im Verzeichnis ''/usr/share/vim/current/syntax/'' stehen die Syntaxkonfigurationsfiles. Anhand der Endung (prefix) der zu editierenden Datei erkennt vim welche Syntax für diesen Dateitype zu benutzen ist. Selbstverständlich kann man auch seine eigenen Syntax-Konfigurationsfiles entwerfen und einsetzen und auch die Farben anpassen. Siehe dazu http://vimdoc.sourceforge.net/htmldoc/usr_44.html

==== Ein- Ausschalten des Syntax highlighting im vim ====

; permanent durch Eintrag in der Vim-Konfigurationsdatei ~/.vimrc :
anlegen der Datei bzw. erweitern dieser Datei und folgenden Eintrag vornehmen
'''syntax on'''

; bei Bedarf durch Zeilenoption beim Start von vi :
# vi +'''"syn on"''' file.prefix

; bei Bedarf während der Sitzung im Kommandomodus :
hier kann während der Sitzung dieser Modus nach Belieben Ein- und Ausgeschaltet werden
<pre>
:syntax on
</pre>
Analog Ausschalten
<pre>
:syntax off
</pre>



[[Category:Konsole]]

Diskussion:Farbe in der Konsole

2014-01-10T10:48:42Z

Itu:

Diskussion:Farbe in der Konsole

2014-01-10T09:53:14Z

Itu: Die Seite wurde neu angelegt: „Offenbar gibt es noch effektive farbcodes > 50. for i in $(seq 1 255); do echo -ne "\033[$i"m ; echo -n $i" " ; done ; echo -e "\033[0m" zumindest von 90…“

ImageMagick

2014-01-07T13:22:23Z

Itu:

{{Infobox_Software|
Name= '''ImageMagick''' [[Bild:imagemagick-logo.jpg]]
|Hersteller= ImageMagick Studio LLC
|AktuelleVersion= 6.3.3-9
|AktuelleVersionFreigabeDatum= 20.04.2007
|Betriebssystem= Linux, Windows, Solaris, MacOS, FreeBSD
|Kategorie= [[Grafik]]
|Lizenz= [http://de.wikipedia.org/wiki/GPL GLP] [http://www.imagemagick.org/script/license.php kompatibel]
|Deutsch= Nein
|Website= http://www.imagemagick.org
}}

== Was ist was kann ImageMagick ==

[http://man.cx/ImageMagick ImageMagick][http://tarr.uspto.gov/servlet/tarr?regser=serial&entry=78333969 ®] ist ein Softwarepaket, zur Erstellung und Bearbeitung von [http://de.wikipedia.org/wiki/Rastergrafik Rastergrafiken]. Es kann Bilder in eine Vielzahl gebräuchlicher Formate (derzeit ungefähr 100) einschließlich DPX, GIF, JPEG, JPEG-2000, pdf, PhotoCD, png, Postskriptum, SVG und tiff lesen, umwandeln und schreiben. Mit ImageMagick können zum Beispiel Bilder kombiniert, in andere Formate umgewandelt, gedreht, gespiegelt, zugeschnitten oder in der Größe verändert werden. Es lassen sich aber auch umfangreiche Manipulationen an den Bildfarben und verschiedene spezielle Effekte und Filter anwenden, oder Text, Linien, Polygone, Ellipsen und Bézier Kurven mit ImageMagick zeichnen. Die Funktionalität von ImageMagick wird gewöhnlich von der Kommandozeile oder aus Scripten heraus verwendet. Darüber hinaus bietet ImageMagick aber auch die Möglichkeit und Schnittstellen, um die Funktionen aus anderen Programmen und Programmiersprachen heraus, aufzurufen.
Es lassen sich Bilder auch dynamisch erzeugen oder ändern, was es unter anderem für Webanwendungen sehr interessant macht. Einen kleinen Überblick über Möglichkeiten der Bildbearbeitung mit ImageMagick kann man sich auf [http://www.imagemagick.org/script/examples.php der Beispielseite] ansehen.

ImageMagick ist eine freie Software, die sowohl als fertige Programmpakete für eine ganze Reihe Betriebssysteme, sowie auch als Quellenprogrammpaket zur Verfügung steht, und die frei verwendet, kopiert, geändert und verteilt werden kann. [http://www.imagemagick.org/script/license.php Seine Lizenz] ist mit [http://www.fsf.org/licensing/licenses/ GPL] kompatibel. ImageMagick gibt es für alle verbreiteten Betriebssysteme.

Hier sind einige Beispiele aufgeführt, was man mit ImageMagick tun kann:
* '''Formatumwandlung''': ein Bild von einem Format in andere umwandeln (z.B. png zu JPEG)
* '''Transformation''': die Größe neu bestimmen, drehen, beschneiden, flippen oder trimmen
* '''Bildtransparents''': Teile eines Bildes unsichtbar machen
* '''Zeichnen''': Formen oder Text einem Bild hinzufügen
* '''Dekorieren''': einen Rand oder einen Rahmen einem Bild hinzufügen
* '''Spezielle Effekte''': Unschärfe, schärfen, Schwellewerten anwenden oder abtönen eines Bildes
* '''Mathematische Berechnungen''': einen mathematischen Ausdruck auf ein Bild oder einzelne Bildkanäle anwenden
* '''Text u. Anmerkungen''': Schrift oder künstlerische Textverzierungen auf einem Bild einsetzen
* '''Identifikation''': das Format und die Attribute eines Bildes beschreiben oder auslesen
* '''Animation''': eine GIF Animation von einer Gruppe Bildern erstellen
* '''Bildmontage''': Überdeckung von Bildern oder Mischen der einzelnen Bildkanäle
* '''Kombinationen''': ein Set von Vorschaubildern zu einem Bild kombinieren
* '''Unterstützung für große Bilder''': Mega- und Gigapixel Bildgrößen lesen, verarbeiten oder schreiben

== Installation ==

Wohl alle größeren Linux-Distributionen bringen fertige Installationspakete von ImageMagick mit. Eventuell muss das Paket von der Installations-DVD nachinstalliert werden. Die Installation über einen Paketmanager sollte kein Problem darstellen. Einer manuellen Installation mittels rpm-Kommando wird wegen vieler Abhängigkeiten abgeraten. 
Paketname ist unter SuSE '''ImageMagick''' ( ''eines der wenigen Pakete mit Großbuchstaben im Namen'' )

=== Bemerkungen zu den Versionen ===

An ImageMagick wird zurzeit sehr viel und erfolgreich gearbeitet, das umfasst sowohl neue Funktionen und Methoden wie auch die Beseitigung von Bugs.
Es ist also nicht verwunderlich, wenn fast wöchentlich eine neue Sub-Version auf den Download-Servern zu finden ist. ([http://www.imagemagick.org/script/changelog.php Changelog])
Das hat aber nicht nur Vorteile. Nicht alles was man unter [http://www.imagemagick.org/Usage/ Beispiele] findet, wird man auf seinem Rechner zum Laufen bekommen, da dort oftmals in den Beispielen die neusten Methoden vorgestellt und dokumentiert werden. Und hat man mit Hilfe der oben genannten Beispiele endlich sein Script so, dass es genau das macht, was man will, läuft das Script aber nicht zwangläufig auf dem nächsten Rechner auch, wenn dort noch eine ältere Version darauf ist. Einen sehr großen Sprung hat es zwischen der Hauptversion 5 und 6 gegeben. ''(Die Version 5 wurde z.B. noch unter Suse 9.1 ausgeliefert)'' Hier kann man davon ausgehen, dass einige Befehle und Optionen und somit ganze Scripte zwischen beiden Hauptversionen überhaupt nicht kompatibel ist. Eine Erklärung warum das notwendig war, kann man nachlesen unter [http://www.imagemagick.org/Usage/basics/#why why]. Man sollte sich also überlegen, mit welcher Version man komplizierte Scripte und Konzepte mit ImageMagick entwickeln will, die dann auch auf anderen (eventuell unter älteren Versionen) Rechnern laufen sollen. Im Zweifelsfall sollte man daran denken, bei der Weitergabe komplizierter Scripte einen Verweis auf die eigene verwendete Version von ImageMagick zu hinterlegen. Als Anhaltspunkte hier die ausgelieferten Versionen von [[openSUSE]]. ''(Es werden bei den default-Onlineaktualisierungen von [[openSUSE]] auch keine neuen Versionen installiert sondern lediglich Erneuerungen bei Sicherheitsproblemen oder schwerwiegenden Fehlern durchgeführt.)''

Unter Suse sind folgende Versionen von ImageMagick ausgeliefert worden:
* SuSE 10.0: 6.2.3
* SuSE 10.1: 6.2.5
* [[openSUSE]] 10.2: 6.3.0
* aktuell: Version (22.04.2007) 6.3.3

=== ImageMagick selbst kompilieren ===

ImageMagick selbst zu kompilieren geht nach dem berühmten 3-Satz wie [[Software aus dem Quelltext Installieren/Deinstallieren|hier]] beschrieben.
das ''configure-Script'' ohne besondere Optionen wird sich auf dem Rechner nach jeder Menge Library und Header-Dateien umschauen, und dementsprechend ImageMagick konfigurieren.
Sobald configure fehlerfrei beendet wurde, sollte man sich dessen Ausgabe, insbesondere folgenden Abschnitt, etwas genauer anschauen:
<pre>
ImageMagick is configured as follows. Please verify that this configuration
matches your expectations.

Host system type : i686-pc-linux-gnu

Option Value
-------------------------------------------------------------------------------
Shared libraries --enable-shared=yes yes
Static libraries --enable-static=yes yes
Module support --with-modules=yes yes
GNU ld --with-gnu-ld=yes yes
Quantum depth --with-quantum-depth=16 16

Delegate Configuration:
BZLIB --with-bzlib=yes yes
DJVU --with-djvu=yes yes
DPS --with-dps=yes no
FlashPIX --with-fpx=no no
FontConfig --with-fontconfig=yes yes
FreeType --with-freetype=yes yes
GhostPCL None pcl6 (unknown)
Ghostscript None gs (8.15.3)
Ghostscript fonts --with-gs-font-dir=default /usr/share/ghostscript/fonts/
Ghostscript lib --with-gslib=yes no (failed tests)
Graphviz --with-gvc=yes no
JBIG --with-jbig=yes no
JPEG v1 --with-jpeg=yes yes
JPEG-2000 --with-jp2=yes yes
LCMS --with-lcms=yes no
Magick++ --with-magick-plus-plus=yes yes
PERL --with-perl=yes /usr/bin/perl
PNG --with-png=yes yes
RSVG --with-rsvg=yes yes
TIFF --with-tiff=yes yes
Windows fonts --with-windows-font-dir= none
WMF --with-wmf=yes yes
X11 --with-x= yes
XML --with-xml=yes yes
ZLIB --with-zlib=yes yes
</pre>
hier hat das Script entsprechend der Tools und Dateien, die es auf dem Rechner gefunden hat, die Konfiguration der optional-Features und optionalen Pakete zusammengefasst. Ist hier bei einer gewünschen Option ein '''no''' oder '''none''' eingetragen, sollten man mit dem Paketmanager die entsprechenden Devel-Pakete oder gar die entsprechenden Libray- oder Programmpakete nachinstallieren und ''configure'' noch einmal laufen lassen.

== Schnittstellen zu anderen Programmen oder Programmiersprachen ==

Zur Zeit sind folgende [http://www.imagemagick.org/script/api.php Interface für ImageMagick] bekannt.

* [https://gna.org/projects/g2f/ G2F] ('''Ada''')
* [http://www.imagemagick.org/script/magick-core.php MagickCore] ('''C''')
* [http://www.imagemagick.org/script/magick-wand.php MagickWand] ('''C''')
* [http://www.imagemagick.org/ChMagick/ ChMagick] ('''Ch''')
* [http://www.imagemagick.org/script/ImageMagickObject.php ImageMagickObject] ('''COM+''')
* [http://www.imagemagick.org/Magick++/ Magick++] ('''C++''')
* [http://www.yeo.id.au/jmagick/ JMagick] ('''Java''')
* [http://common-lisp.net/project/cl-magick/ CL-Magick] ('''Lisp''')
* [http://code.google.com/p/nmagick/ nMagick] ('''Neko/haXe''')
* [http://midimick.com/magicknet/ MagickNet] ('''.NET''')
* [http://wiki.lazarus.freepascal.org/PascalMagick PascalMagick] ('''Pascal''')
* [http://www.imagemagick.org/script/perl-magick.php PerlMagick] ('''Perl''')
* [http://www.magickwand.org/ MagickWand for PHP] ('''PHP''')
* [http://www.imagemagick.org/download/python/ PythonMagick] ('''Python''')
* [http://rmagick.rubyforge.org/ RMagick] ('''Ruby''')
* [http://tclmagick.sourceforge.net/ TclMagick] ('''Tcl/TK''')

== Die Befehle von ImageMagick ==

=== convert ===

'''convert''' ist das wohl wichtigste Kommando innerhalb ImageMagick. Die meisten Operationen können mit diesem Kommando gemacht werden.

[http://man.cx/convert Convert] kennt eine Unmenge an Operatoren, Settings und Kombinationen die auf ein oder mehrere Eingangsbilder sowohl einzeln oder in Kombinationen Anwendung finden können, um dann daraus ein oder mehrere Ausgangsbilder zu erstellen. Und damit noch lange nicht genug kann convert auch mit einer Befehlszeile ganze Sequenzen von Bilder verarbeiten, oder intern in fast beliebiger Schachtelungstiefe Zwischenbilder in eine Stack speichern, um sie von dort aus in eine der nächsten Teilschritte weiterzuverarbeiten. Eine Einführung in die Kommandostruktur und deren Möglichkeiten kann [http://www.imagemagick.org/script/command-line-processing.php hier] nachgelesen werden.

Mit convert können unter anderem Kopien von Bilddateien in andere Bildformate oder Farbtiefen hergestellt werden, es können die Größe der Bilder verändert, Bilder gedrehen, gespiegeln oder verzerren werden, Bildteile herausgeschnitten, oder weggeblendet werden, Rahmen und Hintergrund der Bilder kann gestaltet werden, es können Bilder beschriftet oder es kann mit den Zeichnenwerkzeugen oder nur durch pure Mathematik Zwischenbilder oder Bildmasken für die weitere Bildverarbeitung neu erstellt werden. Es konnen mehrere Bilder zu einen Bild montiert und dabei die Farbkanäle der einzelnen Bilder auf die unterschiedlichste Art beeinflußt werden. Es können animierte Bilder erzeugt und bearbeitet werden, und es können Fotos be- und überarbeitet werden mit so ziemlich allen Funktionen die grafische Bildbearbeitungsprogramme auch haben, und und und. 
'''Das Wichtigste: die Ursprungsbilder werden mit convert nicht überschrieben und bleiben erhalten wie sie sind, und es werden dabei immer neu Bilddateien erzeugt.'''

Die Möglichkeiten und Kombinationsmöglichkeiten dieses Kommandos sind schier unüberschaubar. Leider ist die Verständlichkeit und Übersichtlichkeit der einzelnen Kommandos dann manchmal auch nicht mehr überschaubar. 
Wer sich damit näher damit befassen möchte dem sei [http://www.imagemagick.org/Usage/ die Beispielseite] von Anthony Thyssen empfohlen.
Für alle anderen [[ImageMagick nützliche Beispiele| eine kleine Seite mit nützlichen Beispielaufrufen]] und Kommentaren zu den Befehlen.

=== mogrify ===

[http://man.cx/mogrify mogrify] ist in vielerlei Hinsicht gleich dem Kommando convert. Die Optionen sind auch analog denen von convert. Mogrify arbeitet jedoch immer ein Bild nach dem anderen ab, und nicht alle Funktionen von convert sind somit damit machbar. Der Hauptunterschied besteht jedoch darin, dass mogrify, wenn wir es ihm nicht explizid anweisen wird, die Ursprungsdatei überschreibt. Die Änderungen werden also unter dem Namen der Ursprungsdatei abgespeichert. Aus diesem Grunde sollte man mit mogrify sehr bedacht umgehen, und von den Dateien Kopien vor der Bearbeitung erstellt haben. Der Befehl eignet sich also immer dort, wo Dateien gleich an Ort und Stelle bearbeitet werden sollen, ohne dabei extra neue Dateien anzulegen.

{{Box Achtung||
der Umgang mit dem Befehl mogify ist gefährlich, da in der Vielzahl der Fälle das Ergebnisbild unter den selben Namen wie das Ursprungsbild abgelegt wird. Man sollte unbedingt vorher Sicherheitskopien der Bilder anfertigen}}
Einige [[ImageMagick nützliche Beispiele |einfache Beispiele]] für die Benutzung dieses Programmes

=== montage ===

[http://man.cx/montage Montage] ist ein weiteres Kommando zur Bildbearbeitung, das unter anderem auch eine Vielzahl Optionen von convert verarbeiten kann. Es wurde jedoch speziell für die Erzeugung von Thumbnails von Bildern und deren Gruppierung und Gruppenansicht entwickelt. Darüber hinaus wird montage vor allem dort verwendet, wo mehrere Bilder aneinander gereiht und so zu einem einzigem Bild zusammengesetzt werden sollen. Für einige Spezialanwendungen wie zB. Textgenerierung aus verschiedenen Fonts und ähnlichem, ist es sehr gut geeignet.

{{Box Hinweis||
die Optionen und Möglichkeiten dieses Befehles sind in den Hauptversionen 5 und 6 sehr unterschiedlich.}}
Einige [[ImageMagick nützliche Beispiele |einfache Beispiele]] für die Benutzung dieses Programmes

=== composite ===

[http://man.cx/composite composite] ist ein sehr spezielles Kommando, dessen Funktionen sich auch aus den anderen Programmen von ImageMagick aufrufen lassen. Es ermöglicht die verschiedensten Methoden des mischens und überlagerns von 2 und mehreren Bildern. Die Funktionen gehen zT. hier weit über das Maß hinaus, dass man von einem normalem Grafikbearbeitungsprogramm erwarten würde. Die Anwendung dieses Befehles oder seiner Funktionen setzt ein grundlegendes Wissen über Bildformate, Farbräume, Farben und Techniken voraus, und/oder kostest sehr viel Zeit beim ausprobieren und testen. Mit diesem Befehl beginnt wohl die Zauberei in der Grafikbearbeitung.

An dieser Stelle kann hier für Möglichkeiten und weiterreichende Informationen nur auf [http://www.imagemagick.org/Usage/compose/ Beispielseiten] verwiesen werden, auch wenn hier und da in den [[ImageMagick nützliche Beispiele |Befehlsbeispielen hier im Wiki]] die eine oder andere Funktion dieses Befehles genutzt wird.

=== display ===

Das Tool [http://www.imagemagick.org/script/display.php display] dient wie es der Name vermuten lässt zum Anzeigen von Bildern auf der X11 Oberfläche. Darüberhinaus ist aber display ein komplettes Bildbearbeitungsprogramm mit einer, wenn auch dürftigen, grafischen Oberfläche. Ein großer Teil der Einzeloperationen von convert lassen sich über eine Menüführung oder über Tasten interaktiv aufrufen. Eine umfangreiche ausführliche Erklärung über alle Funktionen von display erhaltet ihr in [http://man.cx/display dieser Manpage] ( ''die mit den Paketen oder aus dem Quelltext derzeitig installierbaren Manpages sind bei weitem nicht so umfangreich'' )

Man kann also durchaus mit display seine Bilder erstellen, bearbeiten, drucken und speichern, ebenso kann man die einzelnen Optionen erst einmal mit grafischer Unterstützung ausprobieren, die man zB. in Scripten zusammenfassen möchte. display kann auch von der Standarteingabe lesen, wenn ihm bekannt ist, welches Format er hierüber erhält. Damit lassen sich die Ausgabebilder der einzelnen Tools von ImageMagick durch eine Pipe zu display schicken und sich das Ergebnis anschauen, eh man jedesmal bei jedem Versuch das Ergebnisbild erst auf die Festplatte schreibt, um es dann von dort mit display anzeigen zu lassen.

convert bild.jpg -resize 50% gif:- | display gif:-

hier wird in diesem Befehlsbeispiel convert mitgeteilt, Ausgabefile: '''gif:-''' was nicht anderes bedeutet wie Format "gif" an die Standartausgabe.
display bekommt die selbe Information und interpretiert dieses dann anzuzeigendes Bild: Standarteingabe in Format "gif".

=== animate ===

Beim selbstgestalten oder bearbeiten von animierten Bildern hat man das Problem, wo kann man seine Zwischenergebnisse oder die gesammte Animation jetzt anschauen? display liefert hier auch nur ungenügende Ergebnisse, andere Programme eventuell nur das erste Bild der Animation, und die dafür vorgesehenen Plugins und Programme zur Wiedergabe, haben keine Möglichkeit des manuellen Eingreifens in den Ablauf. Hierfür ist bei ImageMagick das Progamm [http://man.cx/animate animate] gedacht. Mit animate lassen sich sowohl fertige Animationen, sowie auch Einzelbilder als Animation auf einer X-Oberfläche anzeigen. 
Mit ein paar Tasten '''< > 'SPACE' ? 'F1'''' lässt sich auch die Geschwindigkeit ändern oder auf Einzelbildmodus umschalten, Bildinformationen ansehen oder Hilfe holen. Die Rechte Maustaste öffnet ein Service-Menü, damit kann man dieses und noch einiges mehr, dann auch noch übersichtlich mit der Maus steuern. Mit einer Reihe von Optionen beim Start lassen sich dann noch einige Feineinstellungen oder Effekte erreichen. 
Das einfache Abspielen einer animierten GIF ist recht simpel:
unter KDE oder Gnome aus einem Terminal heraus einfach
animate datei.gif

Weitere Informationen zu [http://www.imagemagick.org/script/animate.php animate]

=== import ===

Mit dem Befehl [http://man.cx/import import] können vom X-Server [[Screenshots]] erstellt werden. Es können der gesamte Desktop einzelne Fenster oder frei definierte Bereiche als Bild abgespeichert werden, siehe dazu auch die [[Screenshots#Screenshots mit ImageMagik|Kurzbeschreibung]]. Ein ganze Reihe von Optionen ermöglicht es dabei auch gleich bestimmte Bearbeitungsschritte, die man sonst später noch machen müsste, gleich mit zu erledigen, zB eine transparente Farbe, die richtige Größe und Auflösung, Farbtiefe und vieles mehr. Dabei kann das automatisch, verzögert, auf Mausklick ausgelöst, oder gleich mehrfach als Serienbild aufgenommen werden, um dann daraus zB. einen Film zu machen.

=== identify ===

Um mehr über ein Bild oder mehrere Bilder zu erfahren, dazu gibt es den Befehl [http://man.cx/identify identify]. mit diesem Befehl lassen sich Format und Eigenschaften eines Bildes anzeigen. Defekte oder unvollständige Bilder werden hier ebenso als solche erkannt. 
identify BILDERNAME
gibt uns im wesentlichen einen kurzen Überlick über Bildtyp, Bild- und Datengröße, Farbe
identify -verbose BILDERNAME
gibt uns die kompletten detailierten Daten die in diesem Bild gespeichert sind, einschließlich eventueller [http://de.wikipedia.org/wiki/EXIF EXIF] 
Durch eine Reihe von zusätzlichen Parametern lassen sich auch gezielt wichtige Paramerter direkt abrufen, ohne sie erst noch aus dieser Liste ausfiltern zu müssen. Die wichtigsten Informationen kann man alle mit der Option [http://www.imagemagick.org/script/command-line-options.php#format -format] gezielt auslesen zB. um nur die Größe eines Bildes zu ermitteln
# identify -format "%wx%h" img_0002.jpg
2560x1920

und um die Druckgröße eines Bildes bei 96dpi ( 96 Pixel je [http://de.wikipedia.org/wiki/Inch Zoll] )zu errechnen
# identify -format "%[fx:w/96*2.54] cm X %[fx:h/96*2.54] cm" img_0002.jpg
67.7333 cm X 50.8 cm

Für weiter Informationen zu allen Optionen kann diese [http://www.imagemagick.org/script/identify.php Startseite] genutzt werden.

=== conjure ===

[http://man.cx/conjure(1) conjure] ist ein spezielles Tool von ImageMagick, mit dessen Hilfe Bildbearbeitung mittels Script möglich ist. Script bedeutet hier allerdings nicht Shellscript sondern eine auf XML basierende spezielle Script Sprache MSL ( '''M'''agick '''S'''cripting '''L'''anguage ). Eine kurze Beschreibung gibt es [http://www.imagemagick.org/script/conjure.php hier] nähere Informationen zu MSL sind auch im Internet auf die Schnelle nicht zu finden, wer sich damit befassen möchte kann dieses [http://www.linux-nantes.org/~fmonnier/ImageMagick/improved-msl.php HOWTO] anschauen, inwieweit es kompatibel ist, ist nicht bekannt. Ansonsten sollen in der Datei '''coders/msl.c''' lt. ImageMagick nähere Informationen zu MSL sein.'' Aus der Dürftigkeit der Informationen muss man schließen, dass conjure weniger gebräuchlich ist.''

=== compare ===

[http://man.cx/%20compare compare] ist ein Programm mit denen 2 Bilder mathematisch vergleichen werden können. Das macht nur Sinn zwischen gleichen Bildern, also Orginalbild und Bild nach Bearbeitung. Damit läßt sich zB. feststellen, wo bestimmte Filter oder Funktionen auf das Bild eingewirkt haben, wenn die rein optischen Veränderungen nur sehr gering sind.

mit diesem kleinem Beispiel
läßt sich nachweisen, dass bei jeder Bearbeitung von JPEG die Qualität ein klein wenig schlechter wird, weil ein komplettes decode und re-encode des Formates durchgeführt wird.
<pre>
convert logo: -quality 100 test.jpg
cp test.jpg test1.jpg
mogrify -set comment 'Das ist eine Testdatei' test1.jpg
compare test1.jpg test.jpg png:- | display png:-
</pre>
Erklärung:
* aus dem integrierten ImageMagick-Logo erstellen wir ein JPEG mit niedrigst möglicher Kompression
* wir kopieren diese Datei über das Betriebssystem (''damit sind beide absolut identisch'')
* in der Bildkopie schreiben wir nur einen Kommentar in die Bild-Eigenschaften
* danach überprüfen wir die beiden Bilder auf Unterschiede und lassen sie uns mit display anzeigen.
( ''Differenzen zwischen den Bildern sind als rote Punkte gekennzeichnet, zum Vergleich könnt ihr das gleiche noch einmal aber mit '''-quality 50''' testen'' )

Weitere Beispiele für compare in der [http://www.imagemagick.org/script/compare.php Befehlsbeschreibung]

=== xtp ===

Mit ImageMagick installiert man sich gleichzeitig noch das Tool ''xtp''. Es handelt sich hier um ein Tool für Filetransfer mit ähnlichen Funktionen wie [http://manpages.unixforum.co.uk/man-pages/linux/suse-linux-10.1/1/ftp-man-page.html ftp],
es kommt ohne Interaktivität mit dem User aus. Es ist vieleicht am ehesten vergleichbar mit [http://manpages.unixforum.co.uk/man-pages/linux/suse-linux-10.1/1/wget-man-page.html wget]. 
Jetzt ist es zwar schön zu wissen, das man dieses Programm auf dem Rechner hat, doch wozu und warum wurde es mit ImageMagick installiert?
Die Funktionen dieses Programmes können die Tools von ImageMagick bei Bedarf automatisch aufrufen. Das bringt den Vorteil, wir können mit ImageMagick direkt auf die Bilder im Internet zugreifen. Es entfällt das manuelle lästige Downloaden und zwischenspeichern von Bilddateien.
Einfach im Browser die Bildadresse kopieren und in die Befehlszeile einsetzen.

'''Beispiele:'''
* Bild aus dem Internet direkt mit convert bearbeiten und das Ergebnis ansehen
<pre>convert http://www.linux-club.de/images/konqui.gif -mattecolor tomato -frame 9x20+4+0 png:- | display png:-</pre>
* man möchte wissen welche EXIF-Informationen man mit seinen Bildern im Internet veröffentlicht
<pre>identify -format "%[EXIF:*]" http://www.linux-club.de/wiki/images/Musterbild.jpg</pre>

== Links ==

* [http://www.imagemagick.org/Usage/ Beispiele für die Benutzung von ImageMagick] {{englisch}}
* [http://www-128.ibm.com/developerworks/library/l-graf/?ca=dnt-428 Graphics from the Command Line] {{englisch}}
* [http://www-128.ibm.com/developerworks/library/l-graf2/?ca=dgr-lnxw15GraphicsLine More graphics from the command line] {{englisch}}
* Kleiner Tipp am Rande für alle die nicht immer online sein wollen, wenn ihr ImageMagick installiert habt, dann habt ihr einige der Hilfe- und Dokuseiten als HTML mit installiert (normalerweise unterhalb von '''/usr/share/doc/packages/ImageMagick/''' )

[[Category:Grafik]]

ImageMagick

2014-01-07T12:49:00Z

Itu: /* xtp */ nur üble Werbung

{{Infobox_Software|
Name= '''ImageMagick''' [[Bild:imagemagick-logo.jpg]]
|Hersteller= ImageMagick Studio LLC
|AktuelleVersion= 6.3.3-9
|AktuelleVersionFreigabeDatum= 20.04.2007
|Betriebssystem= Linux, Windows, Solaris, MacOS, FreeBSD
|Kategorie= [[Grafik]]
|Lizenz= [http://de.wikipedia.org/wiki/GPL GLP] [http://www.imagemagick.org/script/license.php kompatibel]
|Deutsch= Nein
|Website= http://www.imagemagick.org
}}

== Was ist was kann ImageMagick ==

[http://man.cx/ImageMagick ImageMagick][http://tarr.uspto.gov/servlet/tarr?regser=serial&entry=78333969 ®] ist eine Softwarepaket, zum Erstellung und Bearbeitung von [http://de.wikipedia.org/wiki/Rastergrafik Rastergrafiken]. Es kann Bilder in eine Vielzahl gebräuchlicher Formate (derzeit ungefähr 100) einschließlich DPX, GIF, JPEG, JPEG-2000, pdf, PhotoCD, png, Postskriptum, SVG und tiff lesen, umwandeln und schreiben. Mit ImageMagick können zum Beispiel Bilder kombiniert, in andere Formate umgewandelt, gedreht, gespiegelt, zugeschnitten oder in der Größe verändert werden. Es lassen sich aber auch umfangreiche Manipulationen an den Bildfarben und verschiedene spezielle Effekte und Filter anwenden, oder Text, Linien, Polygone, Ellipsen und Bézier Kurven mit ImageMagick zeichnen. Die Funktionalität von ImageMagick wird gewöhnlich von der Kommandozeile oder aus Scripten heraus verwendet. Darüber hinaus bietet ImageMagick aber auch die Möglichkeit und Schnittstellen, um die Funktionen aus anderen Programmen und Programmiersprachen heraus, aufzurufen.
Es lassen sich Bilder auch dynamisch erzeugen oder ändern, was es unter anderem für Webanwendungen sehr interessant macht. Einen kleinen Überblick über Möglichkeiten der Bildbearbeitung mit ImageMagick kann man sich auf [http://www.imagemagick.org/script/examples.php der Beispielseite] ansehen.

ImageMagick ist eine freie Software, die sowohl als fertige Programmpakete für eine ganze Reihe Betriebssysteme, sowie auch als Quellenprogrammpaket zur Verfügung steht, und die frei verwendet, kopiert, geändert und verteilt werden kann. [http://www.imagemagick.org/script/license.php Seine Lizenz] ist mit [http://www.fsf.org/licensing/licenses/ GPL] kompatibel. ImageMagick läuft auf alle Hauptbetriebssysteme.

Hier sind einige Beispiele aufgeführt, was man mit ImageMagick tun kann:
* '''Formatumwandlung''': ein Bild von einem Format in andere umwandeln (z.B. png zu JPEG)
* '''Transformation''': die Größe neu bestimmen, drehen, beschneiden, flippen oder trimmen
* '''Bildtransparents''': Teile eines Bildes unsichtbar machen
* '''Zeichnen''': Formen oder Text einem Bild hinzufügen
* '''Dekorieren''': einen Rand oder einen Rahmen einem Bild hinzufügen
* '''Spezielle Effekte''': Unschärfe, schärfen, Schwellewerte anwenden oder abtönen eines Bildes
* '''Mathematische Berechnungen''': einen mathematischen Ausdruck auf ein Bild oder einzelne Bildkanäle anwenden
* '''Text u. Anmerkungen''': Schrift oder künstlerische Textverzierungen auf einem Bild einsetzen
* '''Identifikation''': das Format und die Attribute eines Bildes beschreiben oder auslesen
* '''Animation''': eine GIF Animation von einer Gruppe Bildern erstellen
* '''Bildmontage''': Uberdeckung von Bildern oder mischen der einzelnen Bildkanäle
* '''Kombinationen''': ein Set von Vorschaubilder als Bild erstellen
* '''Unterstützung für große Bilder''': Mega- und Gigapixel Bildgrößen lesen, verarbeiten oder schreiben

== Installation ==

Wohl alle größeren Linux-Distributionen bringen fertige Installationspakete von ImageMagick mit. Eventuell muss das Paket von der Installations-DVD nachinstalliert werden. Die Installation über einen Paketmanager sollte kein Problem darstellen. Einer manuellen Installation mittels rpm-Kommando wird wegen vieler Abhängigkeiten abgeraten. 
Paketname ist unter SuSE '''ImageMagick''' ( ''eines der wenigen Pakete mit Großbuchstaben im Namen'' )

=== Bemerkungen zu den Versionen ===

An ImageMagick wird zurzeit sehr viel und erfolgreich gearbeitet, das umfasst sowohl neue Funktionen und Methoden wie auch die Beseitigung von Bugs.
Es ist also nicht verwunderlich, wenn fast wöchentlich eine neue Sub-Version auf den Download-Servern zu finden ist. ([http://www.imagemagick.org/script/changelog.php Changelog])
Das hat aber nicht nur Vorteile. Nicht alles was man unter [http://www.imagemagick.org/Usage/ Beispiele] findet, wird man auf seinem Rechner zum Laufen bekommen, da dort oftmals in den Beispielen die neusten Methoden vorgestellt und dokumentiert werden. Und hat man mit Hilfe der oben genannten Beispiele endlich sein Script so, dass es genau das macht, was man will, läuft das Script aber nicht zwangläufig auf dem nächsten Rechner auch, wenn dort noch eine ältere Version darauf ist. Einen sehr großen Sprung hat es zwischen der Hauptversion 5 und 6 gegeben. ''(Die Version 5 wurde z.B. noch unter Suse 9.1 ausgeliefert)'' Hier kann man davon ausgehen, dass einige Befehle und Optionen und somit ganze Scripte zwischen beiden Hauptversionen überhaupt nicht kompatibel ist. Eine Erklärung warum das notwendig war, kann man nachlesen unter [http://www.imagemagick.org/Usage/basics/#why why]. Man sollte sich also überlegen, mit welcher Version man komplizierte Scripte und Konzepte mit ImageMagick entwickeln will, die dann auch auf anderen (eventuell unter älteren Versionen) Rechnern laufen sollen. Im Zweifelsfall sollte man daran denken, bei der Weitergabe komplizierter Scripte einen Verweis auf die eigene verwendete Version von ImageMagick zu hinterlegen. Als Anhaltspunkte hier die ausgelieferten Versionen von [[openSUSE]]. ''(Es werden bei den default-Onlineaktualisierungen von [[openSUSE]] auch keine neuen Versionen installiert sondern lediglich Erneuerungen bei Sicherheitsproblemen oder schwerwiegenden Fehlern durchgeführt.)''

Unter Suse sind folgende Versionen von ImageMagick ausgeliefert worden:
* SuSE 10.0: 6.2.3
* SuSE 10.1: 6.2.5
* [[openSUSE]] 10.2: 6.3.0
* aktuell: Version (22.04.2007) 6.3.3

=== ImageMagick selbst kompilieren ===

ImageMagick selbst zu kompilieren geht nach dem berühmten 3-Satz wie [[Software aus dem Quelltext Installieren/Deinstallieren|hier]] beschrieben.
das ''configure-Script'' ohne besondere Optionen wird sich auf dem Rechner nach jeder Menge Library und Header-Dateien umschauen, und dementsprechend ImageMagick konfigurieren.
Sobald configure fehlerfrei beendet wurde, sollte man sich dessen Ausgabe, insbesondere folgenden Abschnitt, etwas genauer anschauen:
<pre>
ImageMagick is configured as follows. Please verify that this configuration
matches your expectations.

Host system type : i686-pc-linux-gnu

Option Value
-------------------------------------------------------------------------------
Shared libraries --enable-shared=yes yes
Static libraries --enable-static=yes yes
Module support --with-modules=yes yes
GNU ld --with-gnu-ld=yes yes
Quantum depth --with-quantum-depth=16 16

Delegate Configuration:
BZLIB --with-bzlib=yes yes
DJVU --with-djvu=yes yes
DPS --with-dps=yes no
FlashPIX --with-fpx=no no
FontConfig --with-fontconfig=yes yes
FreeType --with-freetype=yes yes
GhostPCL None pcl6 (unknown)
Ghostscript None gs (8.15.3)
Ghostscript fonts --with-gs-font-dir=default /usr/share/ghostscript/fonts/
Ghostscript lib --with-gslib=yes no (failed tests)
Graphviz --with-gvc=yes no
JBIG --with-jbig=yes no
JPEG v1 --with-jpeg=yes yes
JPEG-2000 --with-jp2=yes yes
LCMS --with-lcms=yes no
Magick++ --with-magick-plus-plus=yes yes
PERL --with-perl=yes /usr/bin/perl
PNG --with-png=yes yes
RSVG --with-rsvg=yes yes
TIFF --with-tiff=yes yes
Windows fonts --with-windows-font-dir= none
WMF --with-wmf=yes yes
X11 --with-x= yes
XML --with-xml=yes yes
ZLIB --with-zlib=yes yes
</pre>
hier hat das Script entsprechend der Tools und Dateien, die es auf dem Rechner gefunden hat, die Konfiguration der optional-Features und optionalen Pakete zusammengefasst. Ist hier bei einer gewünschen Option ein '''no''' oder '''none''' eingetragen, sollten man mit dem Paketmanager die entsprechenden Devel-Pakete oder gar die entsprechenden Libray- oder Programmpakete nachinstallieren und ''configure'' noch einmal laufen lassen.

== Schnittstellen zu anderen Programmen oder Programmiersprachen ==

Zur Zeit sind folgende [http://www.imagemagick.org/script/api.php Interface für ImageMagick] bekannt.

* [https://gna.org/projects/g2f/ G2F] ('''Ada''')
* [http://www.imagemagick.org/script/magick-core.php MagickCore] ('''C''')
* [http://www.imagemagick.org/script/magick-wand.php MagickWand] ('''C''')
* [http://www.imagemagick.org/ChMagick/ ChMagick] ('''Ch''')
* [http://www.imagemagick.org/script/ImageMagickObject.php ImageMagickObject] ('''COM+''')
* [http://www.imagemagick.org/Magick++/ Magick++] ('''C++''')
* [http://www.yeo.id.au/jmagick/ JMagick] ('''Java''')
* [http://common-lisp.net/project/cl-magick/ CL-Magick] ('''Lisp''')
* [http://code.google.com/p/nmagick/ nMagick] ('''Neko/haXe''')
* [http://midimick.com/magicknet/ MagickNet] ('''.NET''')
* [http://wiki.lazarus.freepascal.org/PascalMagick PascalMagick] ('''Pascal''')
* [http://www.imagemagick.org/script/perl-magick.php PerlMagick] ('''Perl''')
* [http://www.magickwand.org/ MagickWand for PHP] ('''PHP''')
* [http://www.imagemagick.org/download/python/ PythonMagick] ('''Python''')
* [http://rmagick.rubyforge.org/ RMagick] ('''Ruby''')
* [http://tclmagick.sourceforge.net/ TclMagick] ('''Tcl/TK''')

== Die Befehle von ImageMagick ==

=== convert ===

'''convert''' ist das wohl wichtigste Kommando innerhalb ImageMagick. Die meisten Operationen können mit diesem Kommando gemacht werden.

[http://man.cx/convert Convert] kennt eine Unmenge an Operatoren, Settings und Kombinationen die auf ein oder mehrere Eingangsbilder sowohl einzeln oder in Kombinationen Anwendung finden können, um dann daraus ein oder mehrere Ausgangsbilder zu erstellen. Und damit noch lange nicht genug kann convert auch mit einer Befehlszeile ganze Sequenzen von Bilder verarbeiten, oder intern in fast beliebiger Schachtelungstiefe Zwischenbilder in eine Stack speichern, um sie von dort aus in eine der nächsten Teilschritte weiterzuverarbeiten. Eine Einführung in die Kommandostruktur und deren Möglichkeiten kann [http://www.imagemagick.org/script/command-line-processing.php hier] nachgelesen werden.

Mit convert können unter anderem Kopien von Bilddateien in andere Bildformate oder Farbtiefen hergestellt werden, es können die Größe der Bilder verändert, Bilder gedrehen, gespiegeln oder verzerren werden, Bildteile herausgeschnitten, oder weggeblendet werden, Rahmen und Hintergrund der Bilder kann gestaltet werden, es können Bilder beschriftet oder es kann mit den Zeichnenwerkzeugen oder nur durch pure Mathematik Zwischenbilder oder Bildmasken für die weitere Bildverarbeitung neu erstellt werden. Es konnen mehrere Bilder zu einen Bild montiert und dabei die Farbkanäle der einzelnen Bilder auf die unterschiedlichste Art beeinflußt werden. Es können animierte Bilder erzeugt und bearbeitet werden, und es können Fotos be- und überarbeitet werden mit so ziemlich allen Funktionen die grafische Bildbearbeitungsprogramme auch haben, und und und. 
'''Das Wichtigste: die Ursprungsbilder werden mit convert nicht überschrieben und bleiben erhalten wie sie sind, und es werden dabei immer neu Bilddateien erzeugt.'''

Die Möglichkeiten und Kombinationsmöglichkeiten dieses Kommandos sind schier unüberschaubar. Leider ist die Verständlichkeit und Übersichtlichkeit der einzelnen Kommandos dann manchmal auch nicht mehr überschaubar. 
Wer sich damit näher damit befassen möchte dem sei [http://www.imagemagick.org/Usage/ die Beispielseite] von Anthony Thyssen empfohlen.
Für alle anderen [[ImageMagick nützliche Beispiele| eine kleine Seite mit nützlichen Beispielaufrufen]] und Kommentaren zu den Befehlen.

=== mogrify ===

[http://man.cx/mogrify mogrify] ist in vielerlei Hinsicht gleich dem Kommando convert. Die Optionen sind auch analog denen von convert. Mogrify arbeitet jedoch immer ein Bild nach dem anderen ab, und nicht alle Funktionen von convert sind somit damit machbar. Der Hauptunterschied besteht jedoch darin, dass mogrify, wenn wir es ihm nicht explizid anweisen wird, die Ursprungsdatei überschreibt. Die Änderungen werden also unter dem Namen der Ursprungsdatei abgespeichert. Aus diesem Grunde sollte man mit mogrify sehr bedacht umgehen, und von den Dateien Kopien vor der Bearbeitung erstellt haben. Der Befehl eignet sich also immer dort, wo Dateien gleich an Ort und Stelle bearbeitet werden sollen, ohne dabei extra neue Dateien anzulegen.

{{Box Achtung||
der Umgang mit dem Befehl mogify ist gefährlich, da in der Vielzahl der Fälle das Ergebnisbild unter den selben Namen wie das Ursprungsbild abgelegt wird. Man sollte unbedingt vorher Sicherheitskopien der Bilder anfertigen}}
Einige [[ImageMagick nützliche Beispiele |einfache Beispiele]] für die Benutzung dieses Programmes

=== montage ===

[http://man.cx/montage Montage] ist ein weiteres Kommando zur Bildbearbeitung, das unter anderem auch eine Vielzahl Optionen von convert verarbeiten kann. Es wurde jedoch speziell für die Erzeugung von Thumbnails von Bildern und deren Gruppierung und Gruppenansicht entwickelt. Darüber hinaus wird montage vor allem dort verwendet, wo mehrere Bilder aneinander gereiht und so zu einem einzigem Bild zusammengesetzt werden sollen. Für einige Spezialanwendungen wie zB. Textgenerierung aus verschiedenen Fonts und ähnlichem, ist es sehr gut geeignet.

{{Box Hinweis||
die Optionen und Möglichkeiten dieses Befehles sind in den Hauptversionen 5 und 6 sehr unterschiedlich.}}
Einige [[ImageMagick nützliche Beispiele |einfache Beispiele]] für die Benutzung dieses Programmes

=== composite ===

[http://man.cx/composite composite] ist ein sehr spezielles Kommando, dessen Funktionen sich auch aus den anderen Programmen von ImageMagick aufrufen lassen. Es ermöglicht die verschiedensten Methoden des mischens und überlagerns von 2 und mehreren Bildern. Die Funktionen gehen zT. hier weit über das Maß hinaus, dass man von einem normalem Grafikbearbeitungsprogramm erwarten würde. Die Anwendung dieses Befehles oder seiner Funktionen setzt ein grundlegendes Wissen über Bildformate, Farbräume, Farben und Techniken voraus, und/oder kostest sehr viel Zeit beim ausprobieren und testen. Mit diesem Befehl beginnt wohl die Zauberei in der Grafikbearbeitung.

An dieser Stelle kann hier für Möglichkeiten und weiterreichende Informationen nur auf [http://www.imagemagick.org/Usage/compose/ Beispielseiten] verwiesen werden, auch wenn hier und da in den [[ImageMagick nützliche Beispiele |Befehlsbeispielen hier im Wiki]] die eine oder andere Funktion dieses Befehles genutzt wird.

=== display ===

Das Tool [http://www.imagemagick.org/script/display.php display] dient wie es der Name vermuten lässt zum Anzeigen von Bildern auf der X11 Oberfläche. Darüberhinaus ist aber display ein komplettes Bildbearbeitungsprogramm mit einer, wenn auch dürftigen, grafischen Oberfläche. Ein großer Teil der Einzeloperationen von convert lassen sich über eine Menüführung oder über Tasten interaktiv aufrufen. Eine umfangreiche ausführliche Erklärung über alle Funktionen von display erhaltet ihr in [http://man.cx/display dieser Manpage] ( ''die mit den Paketen oder aus dem Quelltext derzeitig installierbaren Manpages sind bei weitem nicht so umfangreich'' )

Man kann also durchaus mit display seine Bilder erstellen, bearbeiten, drucken und speichern, ebenso kann man die einzelnen Optionen erst einmal mit grafischer Unterstützung ausprobieren, die man zB. in Scripten zusammenfassen möchte. display kann auch von der Standarteingabe lesen, wenn ihm bekannt ist, welches Format er hierüber erhält. Damit lassen sich die Ausgabebilder der einzelnen Tools von ImageMagick durch eine Pipe zu display schicken und sich das Ergebnis anschauen, eh man jedesmal bei jedem Versuch das Ergebnisbild erst auf die Festplatte schreibt, um es dann von dort mit display anzeigen zu lassen.

convert bild.jpg -resize 50% gif:- | display gif:-

hier wird in diesem Befehlsbeispiel convert mitgeteilt, Ausgabefile: '''gif:-''' was nicht anderes bedeutet wie Format "gif" an die Standartausgabe.
display bekommt die selbe Information und interpretiert dieses dann anzuzeigendes Bild: Standarteingabe in Format "gif".

=== animate ===

Beim selbstgestalten oder bearbeiten von animierten Bildern hat man das Problem, wo kann man seine Zwischenergebnisse oder die gesammte Animation jetzt anschauen? display liefert hier auch nur ungenügende Ergebnisse, andere Programme eventuell nur das erste Bild der Animation, und die dafür vorgesehenen Plugins und Programme zur Wiedergabe, haben keine Möglichkeit des manuellen Eingreifens in den Ablauf. Hierfür ist bei ImageMagick das Progamm [http://man.cx/animate animate] gedacht. Mit animate lassen sich sowohl fertige Animationen, sowie auch Einzelbilder als Animation auf einer X-Oberfläche anzeigen. 
Mit ein paar Tasten '''< > 'SPACE' ? 'F1'''' lässt sich auch die Geschwindigkeit ändern oder auf Einzelbildmodus umschalten, Bildinformationen ansehen oder Hilfe holen. Die Rechte Maustaste öffnet ein Service-Menü, damit kann man dieses und noch einiges mehr, dann auch noch übersichtlich mit der Maus steuern. Mit einer Reihe von Optionen beim Start lassen sich dann noch einige Feineinstellungen oder Effekte erreichen. 
Das einfache Abspielen einer animierten GIF ist recht simpel:
unter KDE oder Gnome aus einem Terminal heraus einfach
animate datei.gif

Weitere Informationen zu [http://www.imagemagick.org/script/animate.php animate]

=== import ===

Mit dem Befehl [http://man.cx/import import] können vom X-Server [[Screenshots]] erstellt werden. Es können der gesamte Desktop einzelne Fenster oder frei definierte Bereiche als Bild abgespeichert werden, siehe dazu auch die [[Screenshots#Screenshots mit ImageMagik|Kurzbeschreibung]]. Ein ganze Reihe von Optionen ermöglicht es dabei auch gleich bestimmte Bearbeitungsschritte, die man sonst später noch machen müsste, gleich mit zu erledigen, zB eine transparente Farbe, die richtige Größe und Auflösung, Farbtiefe und vieles mehr. Dabei kann das automatisch, verzögert, auf Mausklick ausgelöst, oder gleich mehrfach als Serienbild aufgenommen werden, um dann daraus zB. einen Film zu machen.

=== identify ===

Um mehr über ein Bild oder mehrere Bilder zu erfahren, dazu gibt es den Befehl [http://man.cx/identify identify]. mit diesem Befehl lassen sich Format und Eigenschaften eines Bildes anzeigen. Defekte oder unvollständige Bilder werden hier ebenso als solche erkannt. 
identify BILDERNAME
gibt uns im wesentlichen einen kurzen Überlick über Bildtyp, Bild- und Datengröße, Farbe
identify -verbose BILDERNAME
gibt uns die kompletten detailierten Daten die in diesem Bild gespeichert sind, einschließlich eventueller [http://de.wikipedia.org/wiki/EXIF EXIF] 
Durch eine Reihe von zusätzlichen Parametern lassen sich auch gezielt wichtige Paramerter direkt abrufen, ohne sie erst noch aus dieser Liste ausfiltern zu müssen. Die wichtigsten Informationen kann man alle mit der Option [http://www.imagemagick.org/script/command-line-options.php#format -format] gezielt auslesen zB. um nur die Größe eines Bildes zu ermitteln
# identify -format "%wx%h" img_0002.jpg
2560x1920

und um die Druckgröße eines Bildes bei 96dpi ( 96 Pixel je [http://de.wikipedia.org/wiki/Inch Zoll] )zu errechnen
# identify -format "%[fx:w/96*2.54] cm X %[fx:h/96*2.54] cm" img_0002.jpg
67.7333 cm X 50.8 cm

Für weiter Informationen zu allen Optionen kann diese [http://www.imagemagick.org/script/identify.php Startseite] genutzt werden.

=== conjure ===

[http://man.cx/conjure(1) conjure] ist ein spezielles Tool von ImageMagick, mit dessen Hilfe Bildbearbeitung mittels Script möglich ist. Script bedeutet hier allerdings nicht Shellscript sondern eine auf XML basierende spezielle Script Sprache MSL ( '''M'''agick '''S'''cripting '''L'''anguage ). Eine kurze Beschreibung gibt es [http://www.imagemagick.org/script/conjure.php hier] nähere Informationen zu MSL sind auch im Internet auf die Schnelle nicht zu finden, wer sich damit befassen möchte kann dieses [http://www.linux-nantes.org/~fmonnier/ImageMagick/improved-msl.php HOWTO] anschauen, inwieweit es kompatibel ist, ist nicht bekannt. Ansonsten sollen in der Datei '''coders/msl.c''' lt. ImageMagick nähere Informationen zu MSL sein.'' Aus der Dürftigkeit der Informationen muss man schließen, dass conjure weniger gebräuchlich ist.''

=== compare ===

[http://man.cx/%20compare compare] ist ein Programm mit denen 2 Bilder mathematisch vergleichen werden können. Das macht nur Sinn zwischen gleichen Bildern, also Orginalbild und Bild nach Bearbeitung. Damit läßt sich zB. feststellen, wo bestimmte Filter oder Funktionen auf das Bild eingewirkt haben, wenn die rein optischen Veränderungen nur sehr gering sind.

mit diesem kleinem Beispiel
läßt sich nachweisen, dass bei jeder Bearbeitung von JPEG die Qualität ein klein wenig schlechter wird, weil ein komplettes decode und re-encode des Formates durchgeführt wird.
<pre>
convert logo: -quality 100 test.jpg
cp test.jpg test1.jpg
mogrify -set comment 'Das ist eine Testdatei' test1.jpg
compare test1.jpg test.jpg png:- | display png:-
</pre>
Erklärung:
* aus dem integrierten ImageMagick-Logo erstellen wir ein JPEG mit niedrigst möglicher Kompression
* wir kopieren diese Datei über das Betriebssystem (''damit sind beide absolut identisch'')
* in der Bildkopie schreiben wir nur einen Kommentar in die Bild-Eigenschaften
* danach überprüfen wir die beiden Bilder auf Unterschiede und lassen sie uns mit display anzeigen.
( ''Differenzen zwischen den Bildern sind als rote Punkte gekennzeichnet, zum Vergleich könnt ihr das gleiche noch einmal aber mit '''-quality 50''' testen'' )

Weitere Beispiele für compare in der [http://www.imagemagick.org/script/compare.php Befehlsbeschreibung]

=== xtp ===

Mit ImageMagick installiert man sich gleichzeitig noch das Tool ''xtp''. Es handelt sich hier um ein Tool für Filetransfer mit ähnlichen Funktionen wie [http://manpages.unixforum.co.uk/man-pages/linux/suse-linux-10.1/1/ftp-man-page.html ftp],
es kommt ohne Interaktivität mit dem User aus. Es ist vieleicht am ehesten vergleichbar mit [http://manpages.unixforum.co.uk/man-pages/linux/suse-linux-10.1/1/wget-man-page.html wget]. 
Jetzt ist es zwar schön zu wissen, das man dieses Programm auf dem Rechner hat, doch wozu und warum wurde es mit ImageMagick installiert?
Die Funktionen dieses Programmes können die Tools von ImageMagick bei Bedarf automatisch aufrufen. Das bringt den Vorteil, wir können mit ImageMagick direkt auf die Bilder im Internet zugreifen. Es entfällt das manuelle lästige Downloaden und zwischenspeichern von Bilddateien.
Einfach im Browser die Bildadresse kopieren und in die Befehlszeile einsetzen.

'''Beispiele:'''
* Bild aus dem Internet direkt mit convert bearbeiten und das Ergebnis ansehen
<pre>convert http://www.linux-club.de/images/konqui.gif -mattecolor tomato -frame 9x20+4+0 png:- | display png:-</pre>
* man möchte wissen welche EXIF-Informationen man mit seinen Bildern im Internet veröffentlicht
<pre>identify -format "%[EXIF:*]" http://www.linux-club.de/wiki/images/Musterbild.jpg</pre>

== Links ==

* [http://www.imagemagick.org/Usage/ Beispiele für die Benutzung von ImageMagick] {{englisch}}
* [http://www-128.ibm.com/developerworks/library/l-graf/?ca=dnt-428 Graphics from the Command Line] {{englisch}}
* [http://www-128.ibm.com/developerworks/library/l-graf2/?ca=dgr-lnxw15GraphicsLine More graphics from the command line] {{englisch}}
* Kleiner Tipp am Rande für alle die nicht immer online sein wollen, wenn ihr ImageMagick installiert habt, dann habt ihr einige der Hilfe- und Dokuseiten als HTML mit installiert (normalerweise unterhalb von '''/usr/share/doc/packages/ImageMagick/''' )

[[Category:Grafik]]

Farbe in der Konsole

2014-01-06T08:00:37Z

Itu: ~tf

== Farbe in der Konsole ==

; Vorbemerkung :
hin und wieder möchte man auch auf einem Textterminal etwas Hervorheben oder farbig markieren. Das so etwas geht, hat wohl jeder schon einmal erlebt, nachdem man z.B. '''mc''' gestartet hat oder bei der Ausgabe von '''ls''' sich über die bunten Dateinamen gewundert hat.

* Auf einem Textterminal ist eine farbige Anzeige mittels '''ANSI Escape Sequences''' möglich
* Nicht alle Terminals unterstützen dies
* Welchen Terminaltyp man derzeit benutzt, ist in der TERM-Umgebungsvariable hinterlegt. '''echo $TERM'''
* Eine Übersicht, welche Typen farbige Ausgaben unterstützen findet man in der Datei /etc/DIR_COLORS (es ist aber nicht die authoritative Quelle)

=== Die ANSI Escape Sequence für Attribut- und Farbdarstellung ===

; das Prinzip der Escape-Sequenzen für farbige Ausgabe:
ist folgendes Format '''\033[''', gefolgt von einer beliebigen Anzahl von Codes, die durch ''';''' getrennt sind, und das letzte mit '''m''' abgeschlossen ist, z.B. '''\033[1;37;41m'''.

dabei gilt im Einzelnen
* '''Eröffnung der Sequenz''' ist immer '''\033[''' oder etwas abgkürzt '''\e['''

* Codes für die Hintergrundfarbe:
:* 40=schwarz
:* 41=rot
:* 42=grün
:* 43=braun
:* 44=blau
:* 45=violett ("magenta")
:* 46=cyan
:* 47=grau ("weiß")
:* 49=Standard
: "Standard" bezieht sich auf die Voreinstellung des Terminals bzw. des Konsolenprogramms, und kann - insbesondere bei grafischen Terminalemulatoren - von allen (40 bis 47) in der Farbe abweichen.

* Codes für Textattribute:
:* 0=alle Attribute und Farben zurücksetzen
:* 1=fett
:* 2=kursiv (wird oft nicht dargestellt oder durch eine Farbe ersetzt)
:* 4=unterstrichen
:* 5=blinken
:* 7=reverse
:* 22=fett ausschalten
:* 24=Unterstreichung ausschalten
:* 25=Blinken ausschalten
:* 27=reverse umkehren

* Codes für die Vordergrundfarben
:* Wie bei Hintergrund, aber statt 40-47,49 jeweils 30-37,39

* ''die einzelnen Codes werden mit Semikolon ohne zusätzliche Leerzeichen getrennt''

* '''den Abschluss''' bildet ein '''m'''

in Verbindung mit dem Attribut 0 oder 1 ergeben sich folgende Textfarben
<pre>
Black 0;30 Dark Gray 1;30
Blue 0;34 Light Blue 1;34
Green 0;32 Light Green 1;32
Cyan 0;36 Light Cyan 1;36
Red 0;31 Light Red 1;31
Purple 0;35 Light Purple 1;35
Brown 0;33 Yellow 1;33
Light Gray 0;37 White 1;37
</pre>

==== Beispiel für farbige Ausgaben ====

<pre>
echo -e "\033[46;1;31m TESTAUSGABE \033[43;4;34m KUNTER \033[45;1;32m BUNT \033[44;1;33m ANGESTRICHEN \033[0m"
</pre>
Am Ende sollte möglichst immer '''\033[0m''' anbinden, damit die nachfolgende Ausgabe dann wieder "normal" ist.

==== Script um eine Farbübersicht zu erhalten ====

Eine Übersicht welche Farben wie auf welcher Hintergrundfarbe wirkt, kann man mit diesem kleinem Script hier erzeugen
[[http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/x329.html Fundort]]

<pre>
#!/bin/bash
#
# This file echoes a bunch of color codes to the
# terminal to demonstrate what's available. Each
# line is the color code of one forground color,
# out of 17 (default + 16 escapes), followed by a
# test use of that color on all nine background
# colors (default + 8 escapes).
#

T='gYw' # The test text

echo -e "\n 40m 41m 42m 43m\
44m 45m 46m 47m";

for FGs in ' m' ' 1m' ' 30m' '1;30m' ' 31m' '1;31m' ' 32m' \
'1;32m' ' 33m' '1;33m' ' 34m' '1;34m' ' 35m' '1;35m' \
' 36m' '1;36m' ' 37m' '1;37m';
do FG=${FGs// /}
echo -en " $FGs \033[$FG $T "
for BG in 40m 41m 42m 43m 44m 45m 46m 47m;
do echo -en "$EINS \033[$FG\033[$BG $T \033[0m";
done
echo;
done
echo
</pre>

=== der Befehl tput ===

Wie wir es gewohnt sind, gibt es unter LINUX immer mehrere Möglichkeiten um ein und das selbe zu erreichen.
mit dem Befehl '''tput''' läßt sich ebenfalls Farbe auf die Konsole zaubern. Das ist aber nur ein Teilbereich dieses Befehls.
Für genauere Informationen bitte in die Manpages von [http://www.die.net/doc/linux/man/man1/tput.1.html tput] und [http://www.die.net/doc/linux/man/man5/terminfo.5.html terminfo] schauen. Einen kleinen Vorgeschmack über die Möglichkeiten mittels
tput die Farben innerhalb des Terminals zu beeinflussen bekommt man auch [http://tldp.org/HOWTO/Bash-Prompt-HOWTO/x405.html hier]

Neben der Wahl von Textfarbe, Hintergrundfarbe, Textattribute wie Fett und Unterstrichen (um nur mal einige der Wichtigsten zu nennen), kann man
mit tput auch den Cursor innerhalb des Terminals frei positionieren, einzelne Zeichen oder Zeilen löschen, oder neue Zeichen und Zeilen dazwischenschieben, den Bildschirm leer machen, oder das Terminal auf seine Einstellungen zurücksetzen, wenn man mal nur noch Sonderzeichen auf dem Bildschirm hat, die Eigenschaften des aktuellen Terminals abfragen und vieles mehr. Aber auch hier ist zu bemerken, dass die Möglichkeiten dieses Befehles schon durch die jeweiligen Terminaleinstellungen beschränkt werden. Man sollte also daran denken, wenn man innerhalb eines Scriptes mit tput arbeitet, dass es auf einem anderem Rechner oder den Einstellungen eines anderen Users durchaus auch ein furchtbares unansehnliches Bild ergeben kann. Auch sollte man unbedingt prüfen ob sich am Ende wirklich ein Terminal ( besser sogar noch welcher Terminaltyp ) befindet, oder die Ausgabe eventuell in eine Datei oder in eine Pipe geleitet ist. Anstelle von Erklärungen der einzelnen Funktionen und Optionen von tput hier ein kleines Script in dem einige Funktionen von tput eingebaut sind, zum Ausprobieren.

<pre>
#!/bin/bash
if [ -t 1 ]
then
typeset -i ZEILE

tput clear
for HINTERGRUND in 0 1 2 3 4 5 6 7 8
do
tput sgr0
tput setaf $HINTERGRUND
ZEILE=5+$HINTERGRUND

for POSITION in 5 30 55
do
tput cup $ZEILE $POSITION
if [ $POSITION -eq 30 ]
then tput smul
fi
if [ $POSITION -eq 55 ]
then tput bold; tput rmul;
fi

for FARBE in 0 1 2 3 4 5 6 7 8
do
tput setab $FARBE
echo -n "X-"
done

done

done
tput sgr0
tput home
for i in 1 2 3
do
tput bel
sleep 1
tput flash
done

else
echo "Ausgabe geht nicht an ein Terminal"
fi
</pre>

==== Anwendung von tput innerhalb eines Scriptes ====

oftmals wird man Farb- oder Testattribute öfter innerhalb eines Scriptes verwenden wollen.
Es ist deshalb oftmals von Vorteil, wenn man diese Attribute in Variable ablegt, und dann an Ort und Stelle in die
Ausgaben einbaut. Ein kleines Beispiel soll das verdeutlichen.

<pre>
BLACK=`tput setaf 0`
ROT=`tput setaf 1`
BLAU=`tput setaf 4`
GELB=`tput setaf 3`

echo "Das hier ist ein Text der durch ${ROT}rote${BLACK} durch ${BLAU}blaue ${BLACK}"
echo "und ${GELB}gelbe ${BLACK} Worte ${ROT}unterbrochen ${BLACK}ist."
</pre>

=== Anwendung im Shell Prompt ===

==== farbiges Prompt ====

Die Shellvariable PS1 steuert das Verhalten des Prompts.
Du kannst folgendes in deine .bashrc (in deinem Homeverzeichnis) schreiben:

<pre>
if test $ "$TERM" = "xterm" -o "${TERM#screen}" != "$TERM" $ -a -z "$EMACS"
then
export PS1="\[\033[31m\]\[\e]2;\u@\h:\w\007\e]1;\h\007\]\u@\h:\w> \[\033[0m\]"
else
export PS1="\[\033[31m\]\u@\h:\w> \[\033[0m\]"
fi
</pre>

Dann die Datei neu einlesen oder eine neue Bash eröffnen damit die Änderung wirkt 
es genügt '''.bashrc''' im Homeverzeichnis abzusetzen

Danach solltest du einen roten Prompt haben.

==== Farbiger Errorlevel im Prompt ====

Errorlevel in rot anzeigen
Folgenden Code in der aktuellen Bash ausführen oder für dauerhaften Gebrauch in der ~/.bashrc ablegen
<pre>
PROMPT_COMMAND='LASTERROR="[$?]" ; test "$LASTERROR" = "[0]" || echo -ne "\033[93;41m${LASTERROR}\033[0m"'
export PROMPT_COMMAND
</pre>

Jetzt wird der Rückgabe Wert eines Befehles oder Scriptes insofern er nicht '''0''' ist, innerhalb des folgenden Prompt farbig angezeigt, das kann sehr hilfreich sein, z. B. für das Schreiben und Testen von Befehlsketten oder Scripte.

==== Links zum Thema Prompt ====
* [http://www.tldp.org/linuxfocus/common/sart/index.html#2000-02-14%3A5 Colors in the command prompt]
* [http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/index.html Bash-Prompt]

=== Anwendungen innerhalb des ls Befehles ===

Der ls Befehl kann Dateientypen an Dateiattributen und Prefixen erkennen und farbig darstellen.

Siehe dazu auch [http://www.die.net/doc/linux/man/man1/ls.1.html man ls] 
Verantwortlich für das Einschalten dieser Funktion ist die Option '''--color'''

==== Zuordnung der Farben zu den Dateitypen ====

Die Zuordnung der Farben zu den Dateitypen wird global für alle in der '''/etc/DIR_COLORS''' vorgenommen.
Jedem User sollte es aber möglich sein diese Datei in sein Homeverzeichnis unter dem Namen '''.dir_colors''' zu kopieren, dann kann er seinen Bedürfnissen und Vorlieben entsprechend, selbst seine persönlichen Einstellungen durch ändern dieser Datei vornehmen.

<pre>
cp /etc/DIR_COLORS ~/.dir_colors
</pre>

Danach einfach die bash neu starten, damit die Änderungen wirken.

Mehr Infos mit '''man DIR_COLORS'''

==== Links zum Thema ls und Color ====

* [http://www.linux-user.de/ausgabe/2001/12/092-zubefehl/ls-3.html ls Bitte in bunt]

=== Syntax Highlighting im [[Text editieren mit vi|vi]] ===

Der [[Text editieren mit vi|Texteditor vi]] auf der Konsole, der in keinem LINUX/UNIX fehlt, ist in den modernen Linuxsystemen auf einen wesentlich leistungsfähigeren Nachfolger [http://www.vim.org/ '''vim'''] oder einen Klon davon, gelinkt. Dieser Editor kann unter Anderem auch '''Syntax Highlighting"''' für eine Vielzahl von Dateitypen.

Im Verzeichnis ''/usr/share/vim/current/syntax/'' stehen die Syntaxkonfigurationsfiles. Anhand der Endung (prefix) der zu editierenden Datei erkennt vim welche Syntax für diesen Dateitype zu benutzen ist. Selbstverständlich kann man auch seine eigenen Syntax-Konfigurationsfiles entwerfen und einsetzen und auch die Farben anpassen. Siehe dazu http://vimdoc.sourceforge.net/htmldoc/usr_44.html

==== Ein- Ausschalten des Syntax highlighting im vim ====

; permanent durch Eintrag in der Vim-Konfigurationsdatei ~/.vimrc :
anlegen der Datei bzw. erweitern dieser Datei und folgenden Eintrag vornehmen
'''syntax on'''

; bei Bedarf durch Zeilenoption beim Start von vi :
# vi +'''"syn on"''' file.prefix

; bei Bedarf während der Sitzung im Kommandomodus :
hier kann während der Sitzung dieser Modus nach Belieben Ein- und Ausgeschaltet werden
<pre>
:syntax on
</pre>
Analog Ausschalten
<pre>
:syntax off
</pre>



[[Category:Konsole]]

ImageMagick nützliche Beispiele

2013-08-28T15:22:40Z

Itu:

{{Box Hinweis||
Bitte vor Änderungen an diesem Artikel die Hinweise auf den [[Diskussion:ImageMagick nützliche Beispiele|Diskussionsseite]] lesen .}}

== Befehlsbeispiele mit convert ==

=== einfaches Formatumwandlung und Scalierung ===

Ein Ursprungsbild im Format JPEG soll umgewandelt und gespeichert werden als PNG. 
Das Ursprungsbild (hier bild.jpg) soll dabei erhalten bleiben. Der entstehende Bildtype wird durch die Endung des Ausgangsbildes (hier .png) vorgegeben.
convert bild.jpg bild.png

Zusätzlich zu der Formatumwandlung möchten wir aber auch die Größe des Ausgangsbildes ändern. Wir möchten dabei das Seitenverhältniss des Orginalbildes jedoch beibehalten aber die Höhe und Breite auf jeweils 640 Pixel begrenzen. Hochkanntbilder haben dann 640 Pixel Höhe und normale Bilder haben 640 Pixel Breite, immer bei Beibehaltung der Seitenverhältnisse des Orginalbildes
convert bild.jpg -resize 640x640 bild.png

Um ein Bild unabhängig der Seitenverhältnisse auf eine ganz bestimmte Pixelgröße zu zwingen, benutzt man ein Ausrufezeichen hinter der Größenangabe.
convert bild.jpg -resize 300x280! bild.png

Es ist auch möglich das Bild prozentuel zu vergößern oder zu verkleinern.
convert bild.jpg -resize 50% bild.png

=== Bilder beschneiden ===

Um nun nur einen Teil eines Bildes zu verarbeien kann man diesen aus dem Gesamtbild ausschneiden mit der Option '''-crop'''
convert logo: -crop 200x200+310+100 +repage x:
Dieser Befehl hat gleich einige Besonderheiten auf die wir eingehen wollen.
* Das Eingangsbild hier ist '''logo:''' Dieses ist das ImageMagick-Logo das in die Sortware eingebaut ist und das kann man hervorragend zum Testen benutzen.
* Das Ausgangsbild ist '''x:''' Hierbei handelt es sich um eine spezielle Ausgabe, und zwar wird das Bild gleich auf der X-Oberfläche angezeigt. Es hat die selbe Auswirkung wie das Beispiel unter [[ImageMagick#display|display]] nur hier viel kürzer zu schreiben und mit einem abgespecktem Display-Programm. Wenn der Befehl das gewünschte Ergebnis erbringt, braucht man es nur gegen einen Bilderdateinamen auszutauschen. Man kann also auf diese Art und Weise sehr einfach anschauen, was ein Befehl für ein Bild erzeugen würde, bevor man in irgendwelche Dateien schreibt.
* die Option hinter [http://www.imagemagick.org/script/command-line-options.php?#crop -crop] gibt an, was aus dem Bild ausgeschnitten werden soll und zwar
: '''200x200+310+100''' bedeutet 200x200 Bildpunkte ab der Position 310 Bildpunkte nach rechts und 100 Bildpunkte nach unten.
* '''[http://www.imagemagick.org/script/command-line-options.php?#repage +repage]''' mit dieser Option entfernen wir beim beschneiden mit -crop aus dem Header des Bildes die "canvas und offset" Werte, die würden sonst beim Beschneiden falsch stehen bleiben.

-----

convert logo: -gravity Center -crop 75%x+0+0 +repage x:
hier wird ebenfalls -crop verwendet. Wir schneiden vom Bild 75% aus, und zwar wurde mit der Option '''[http://www.imagemagick.org/script/command-line-options.php?#gravity -gravity]''' und dem Versatz von '''+0+0''' die Mitte des Bildes bestimmt. Dieser Befehl schneidet also an den Rändern des Bildes 25% ab, egal wie groß das Bild ist. So etwas würde sich zB anbieten als erste Bearbeitungsstufe für die Erstellung von vergrößerten Vorschaubildern uä.

-----

manchmal ist es erforderlich, das man sehr große Bilder in Einzelbilder aufteilt. hier ein Beispiel wie man ein Bild in 4 Teilbilder zerlegt und dann wieder zusammenbaut.
<pre>
# convert logo: -depth 16 testa.png #TestBild testa.png erzeugen
# convert testa.png -crop 50% test_%d.png #Aufteilen des Bildes in 4 Teile
# montage -mode concatenate -tile 2x2 test_?.png testf.png #Zusammenbau der 4 Teile zu einem Bild testf.png
#
# identify test*.png #Bildinformationen der 6 Bilder anzeigen lassen
test_0.png PNG 320x240 640x480+0+0 DirectClass 16-bit 37.0449kb
test_1.png[1] PNG 320x240 640x480+320+0 DirectClass 16-bit 48.9062kb
test_2.png[2] PNG 320x240 640x480+0+240 DirectClass 16-bit 5.42773kb
test_3.png[3] PNG 320x240 640x480+320+240 DirectClass 16-bit 45.5645kb
testa.png[4] PNG 640x480 640x480+0+0 DirectClass 16-bit 141.48kb
testf.png[5] PNG 640x480 640x480+0+0 DirectClass 16-bit 141.459kb
# compare testf.png testa.png x: #nach Differenzen zwischen testf.png und testa.png suchen
</pre>

* die Option '''-depth 16''' : damit legen wir die Farbtiefe genau fest.
* '''-crop 50%''' in dieser Kombination mit der Angabe der multiblen Ausgabedatei(en) erzeugt genau 4 Teilbilder vom Gesamtbild
* mit [[ImageMagick#montage|montage]] bauen wir die Bilder wieder zusammen Option '''concatenate -tile 2x2''' bedeutet ohne Zwischenraum mit einer Geometrie 2x2 Bilder.
* Zur Information: mit [[ImageMagick#identify|identify]] lassen wir uns die Bildeigenschaften aller Bilder anzeigen
* Zur Kontrolle: [[ImageMagick#compare|compare]] führt hier einen mathematischen Vergleich von Endbild und Ausgangsbild durch und zeigt ihn uns grafisch an. (rote Bildpunkte sind Veränderungen zwischen beiden Bildern)

=== Bilder beschneiden und skalieren ===
Manchmal möchte man in einer Fotogallerie verkleinerte Versionen (Thumbnails) als Vorschaubilder anzeigen. Die Bilder haben in der Regel unterschiedliche Höhe/Breite Dimensionen. Wir wollen gleichmäßig große Vorschaubilder erhalten. (hier am Beispiel: 75x75 px).

<pre>
convert original.jpg -resize 150x150 -gravity Center -crop 75x75+0+0 +repage mini_original.jpg
</pre>

Hier wird ebenfalls -crop verwendet. Wir verkleinern das Bild auf 150x150 Pixel (die verkleinerte Version soll 75x75 Pixel groß sein, daher verkleinert wir zunächst auf die doppelte Größe, also 150x150 Pixel). Danach wird das Zentrum in die Mitte des Bildes gelegt, und die Ränder werden gleichmäßig beschnitten, so dass die verkleinerte Version genau 75x75 Pixel groß ist, und keine Bildverzerrungen auftauchen, und das Bild voll ausgefüllt ist.

=== Bilder spiegeln und drehen ===

Es gibt in ImageMagick 4 einfache Möglichkeiten Bilder zu spiegelen 
* waagerecht '''-flip'''
* senkrecht '''-flop'''
* diagonal (linksoben-rechtsunten) '''-transpose'''
* diagonal (rechtsoben-linksunten) '''-transverse'''

Beispiele mit dem Logo und Ausgabe anstatt in eine Datei gleich Anzeige mit display:
convert logo: -flip x:
convert logo: -flop x:
convert logo: -transpose x:
convert logo: -transverse x:

Bilder drehen kann man mit dem Operator '''-rotate x''' (wobei x die Drehung in Grad bestimmt) 
Beispiele mit dem Logo und Ausgabe anstatt in eine Datei gleich Anzeige mit display
convert logo: -rotate 90 x:
convert logo: -rotate -90 x:
convert logo: -rotate -130 x:
Zu beachten ist, bei Drehungenswinkeln die nicht durch 90 teilbar sind, wird die Bildgröße verändert, warum zeigt das nächste Beispiel.
convert logo: -background blue -rotate 45 x:

Beim Drehen gibt es noch eine nette Erweiterung, wir können an Hand des Seitenverhältnisses bestimmen, ob das Bild gedeht werden soll oder nicht. Diese Option kann man gelegentlich bei der automatischen Bildbearbeitung in Scripten sehr gut gebrauchen.
* ein '''<''' direkt hinter der Winkelangabe bedeutet, das Bild wird nur gedeht wenn es höher als breit ist
* ein '''>''' direkt hinter der Winkelangabe bedeutet, das Bild wird nur gedeht wenn es breiter als hoch ist.
('' da es sich hierbei um Sonderzeichen handelt die die Shell anders interpretieren würde, müssen wir diese vor der Interpretation in der Shell schützen '')
convert logo: -resize 200x150! -rotate "90<" x:
convert logo: -resize 150x200! -rotate "90<" x:
convert logo: -resize 150x200! -rotate 90\< x:
convert logo: -resize 200x150! -rotate 90\< x:

== Befehlsbeispiele mit mogrify ==

== Befehlsbeispiele mit montage ==

== Tricks und Tips für spezielle Aufgaben ==
=== automatische Bildorientierung mit ImageMagick ===

Wenn wir wild umeinander fotografieren machen wir nicht nur breitformatige Bilder sondern gelegentlich auch hochformatige Bilder (Porträtformat). Einge teure Kameras registrieren das auch, oder Bildbearbeitungssoftware trägt das so bei Bearbeitung der Bilder in den Bildheader ein. Wenn wir uns jetzt die so entstandenen Bilder zB im Konqueror ansehen, dann korrigiert der Konqueror die Ausrichtung der Bilder automatisch, auch die Bildervorschau und thumbnails im Konqueror ist richtig. Andere Bildanzeigeprogramme zB [http://man.cx/xv xv] oder auch [[GIMP|GIMP]] zeigen die Bilder aber nach wie vor im Breitformat. Zuständig für diese Automatik der automatischen Ausrichtung in einigen Programmen ist die [http://de.wikipedia.org/wiki/EXIF EXIF]:Orientation diese können wir in den Bildern abfragen mit
# identify -format '%[exif:orientation]' bildname.jpg
wird hier eine '''1''' (''TopLeft'') zurückgeliefert, dann ist dort eingetragen: das Bild ist richtig ausgerichtet.
In den neueren Versionen (ca. ab IM 6.2.8) kann man mit ImageMagick auch mit diesen Optionen arbeiten. Am Besten ihr testet mal ob eure Version das unterstützt.
# convert -list Orientation
bringt entweder einen Fehler, das es nicht unterstützt wird, oder folgende Ausgabe
<pre>
TopLeft
TopRight
BottomRight
BottomLeft
LeftTop
RightTop
RightBottom
LeftBottom
</pre>
Ihr könnt den Eintrag der Orientation eurer Bilder ändern ohne die Bilder dabei selbst zu drehen.
# mogrify -orient RightTop bildname.jpg #für Bilder bei denen oben am linken Rand ist
# mogrify -orient LeftBottom bildname.jpg #für Bilder bei denen oben am rechten Rand ist
# mogrify -orient TopLeft bildname.jpg #für richtig gedrehte Bilder die aber jetzt falsch angezeigt werden
das alles unter der Bemerkung des [[ImageMagick#compare|Beispiels]] ,das die Bildqualität damit zumindestens nicht besser wird. (''Achtung: im Beispiel ist der Befehl [[ImageMagick#mogrify|mogrify]] verwendet.''] Wenn ihr sowas wirklich Qualitätsverlustfrei machen wollt, ist [http://www.sentex.net/~mwandel/jhead JHead] als Programm besser geeignet.
Zum Anzeigen und Verarbeiten der Bilder entsprechend der richtigen Orientation gibt es in ImageMagick die Option
[http://www.imagemagick.org/script/command-line-options.php?#auto-orient -auto-orient]
# display -resize 800x800 -auto-orient bild.jpg
zeigt ein Bild entsprechend der EXIF Orientation richtig an, convert und die anderen Befehle zur Bildbearbeitung nutzen analog die selbe Option.

Weiterführende Informationen zu diesem Thema gibts [http://www.imagemagick.org/Usage/photos/#orient hier]

=== Musterbilder erstellen ===

Hin und wieder braucht jemand von seinen Fotos für irgendwelche Zwecke Musterbilder. Diese Bilder sollen für andere zwar ansehbar und auch in einer geminderten Qualität aber nicht weiterverwendbar sein. Hier reicht es nicht aus, die Bilder am Rand zu beschriften oder irgendwo in die Ecke ein kleines Logo zu setzen. Es soll am besten ein riesen Logo quer über das Bild, damit man es nicht wegschneiden kann.
Folgendes Script kann das erledigen.

<pre>
#/bin/bash
# Das Script sucht im aktuellem Verzeichnis nach ".jpg"-endenden Dateien und nimmt an es handelt sich um Bilder
# von den Bildern werden Kopien definierter Groesse gemacht und mit Text-Wasserzeichen versehen
# den so enstehenden Kopien wird die Vorsilbe "muster_" vor den Dateinamen gegeben.
# erforderlich ist das Paket ImageMagick (Version 6)

FONT="/usr/X11/lib/X11/fonts/truetype/VeraBd.ttf" # Die Schriftart die Verwendung finden soll
FONTSIZE=120 # Die Schriftgroesse in Pixel (Werte 32 bis 120)
COPYRIGHT="* Muster *" # der Wasserzeichentext
SIZE="800x800" # die Bildergroesse die entstehen soll
POS=Center # Position des Wasserzeichens (Mitte=Center Unten=South Oben=North)
KOMPR=98 # jpeg Kompressionsfaktor [ 85 (normal) bis 98 (sehr gut)]

# Infos zu den einzelnen Befehlen und weiteren Moeglichkeiten unter http://www.imagemagick.org/Usage

convert -font $FONT -pointsize $FONTSIZE -background black -fill white \
label:"$COPYRIGHT" -trim +repage -bordercolor black -border 20x10 tmp_mask1.png

convert tmp_mask1.png -blur 0x03 -shade 135x45 -normalize tmp_shade135.png

convert tmp_mask1.png -font $FONT -pointsize $FONTSIZE -fill white -gravity center \
-stroke white -strokewidth 3 -draw "text 0,0 \"$COPYRIGHT\"" tmp_mask2.png

convert tmp_shade135.png tmp_mask2.png +matte -compose CopyOpacity -composite mask3d.png
rm tmp_mask1.png tmp_mask2.png tmp_shade135.png

for BILD in *.jpg
do
composite mask3d.png "${BILD}" -resize $SIZE -gravity $POS -compose HardLight -quality $KOMPR muster_"$BILD"
done
rm mask3d.png
</pre>

Der erste Teil des Scriptes ist dokumentiert. Hier werden die persönlichen Einstellungen gemacht. Aufgerufen wird das Script in dem Verzeichnis in dem die JPEG-Dateien liegen, von denen man die Muster braucht und zwar ohne irgend eine Option.

[[Bild:Musterbild.jpg|right|Musterbild erstellt mit Script]]
* der erste convert Befehl erstellt eine Bildmaske aus dem Schriftzug Dateiname '''tmp_mask1.png'''
* der zweite convert Befehl macht durch weichzeichnen Schatten und normalisieren daraus ein graues 3D-Schatten Bild Namens '''tmp_shade135.png'''
* der dritte convert nimmt die erste Maske als Vorlage und schreibt die selbe Schrift nocheinmal aber etwas verbreitert darauf '''tmp_mask2.png'''
* der vierte convert nimmt jetzt die 2 Maske und schneidet mit ihrer Hilfe das 3D Schattenbild aus, indem es den Rest unsichtbar macht.'''mask3d.png'''
* die beiden Masken und das Schattenbild werden gelöscht, die brauchen wir nicht mehr.
* in einer Schleife werden jetzt alle JPEG-Bilder einzeln mit mask3d.png überlagert und dabei ein verkleinertes Bild Namens '''muster_''ALTERDATEINAME''''' erstellt.
* nach Abschluss der Schleife wird auch mask3d.png gelöscht.

'''Achtung''': es ist nicht ganz sicher seit welcher Version von ImageMagick dieses Script funktioniert es wurde getestet SuSE 10.1 und neuer.

=== Farb und Kontrastverbesserung bei Unterwasserbildern ===

Obwohl diese Methode hier auch auf normale Bilder anwendbar ist, stellen wir sie unter der Überschrift Unterwasserbilder, da hier der Effekt sehr ausgeprägt auftritt. 
Unterwasserbilder zB. mit einer UW-Digitalkamera gemacht, sehen im Display der Kamera ja noch recht ansehlich aus. Sobald man sie aber über den Computer ansieht, erkennt man das ganze Übel. Jetzt kommen nicht nur Unschärfe und Bewegungsunschäfe und das [http://de.wikipedia.org/wiki/Plankton Plankton] im Blitzlicht so richtig zu Geltung, nein, je größer wir uns das Bild anschauen, je mehr fällt auf, dass auf sehr vielen Bildern die Farben in Richtung hellblau, hellgrün oder helllila verwaschen aussehen, der Farbkontrast fehlt und überhaupt alles trübe aussieht. Es ist überhaupt kein Vergleich mit dem was man gesehen hat und fotografieren wollte. Die Kamera ist hier oftmals unschuldig, es ist vielmehr das Auge und Hirn das viel diffenzierter und genauer für jeden Augenblick neu Weißabgleich und Farbkorrekturen vornimmt, und uns so Farben und Kontraste vorgaukelt, die derzeit keine Kamera der Welt genauso reproduzieren kann. Bei vielen dieser Fotos kann man das mit einer digitalen Farbkorrektur jedoch einigermaßen hinbiegen, und so doch noch sehr schöne Fotos zusammenzaubern die in etwa dem entsprechen was das Auge gesehen hat. Früher habe ich das mit Gimp gemacht, das war jedoch sehr mühsam. Seit IM v6.2.6 ist die richtige Option dafür auch in ImageMagick enthalten.

convert img_0.jpg -channel 'RGBA' -contrast-stretch 1% -quality 98 korrektur_0.jpg
Mittels convert wird vom Bild '''img_0.jpg''' mittels [http://www.imagemagick.org/Usage/color/#contrast-stretch contrast-stretch] eine Farbspreizung über RGB und den Alpha-Kanal vorgenommen. Das Ergebniss wird mit niedriger Komprimierung in '''korrektur_0.jpg''' abgelegt.
Nicht alle Bilder lassen sich so direkt bearbeiten. Sind im Ausgangsbild sehr wenig unterschiedliche Farbbereiche vorhanden, dann wird diese Methode zu extrem. Es entstehen oftmals unnatürliche poppige Farben. Hier kann man folgendes versuchen, in dem mittels montage ein weiteres Bild mit breitem Farbbereich an das Bild angehängt wird und das so entstandene Doppelbild über contrast-stretch laufen läßt. Anschließend werden die Bilder wieder voneinander getrennt. Nach einigen Versuchen mit verschiedenen Bildern hat man oftmals dann doch noch ein einigermaßen brauchbares Bild. 
[[Bild:Contrast-stretch.jpg| links Orginalbild rechts nach Bearbeitung mit contrast-stretch]]
<noinclude>
----
[[Grafik|Zurück zur Grafikübersicht]]
[[Kategorie:Grafik]]</noinclude>

Zeitstempel von Dateien

2013-05-19T22:18:45Z

Itu: /* Befehle rund um Zeitstempeln */

== Zeitstempel von Dateien unter Linux ==
=== Welche Zeitstempel gibt es? ===
Die Zeitstempel der Dateien sind in Linux in den [[Inode]]s abgelegt.
Dort stehen jeweils 4 Zeitstempel, wovon jedoch einer für den Anwender nicht sichtbar und auch nicht von Interesse ist, den verwendet Linux im Filesystem zum Verwalten der gelöschten Inode, er enthält die Zeit, zu der die Datei gelöscht worden ist, und somit der Inode für eine neue Verwendung frei geworden ist.

Derzeit kommt im ext3/4 Filesystem noch ein weiterer Zeitstempel hinzu, auf den wohl so mach ein ehemaliger Windowsuser schon lange gewartet hat, und der die wirkliche Entstehungszeit der Datei dokumentiert. Dazukommen bedeutet, in aktuellen Systemen ist er intern schon da, allerdings war dies das geringste Problem. Das Hauptproblem jetzt, es müssen sehr viele, zum Teil auch zentrale Librarys und Programme, auf eine mögliche Benutzung dieses Zeitstempels noch angepasst werden. Solche weitreichenden Änderungen könnten nur durch eine gezielte Koordinierung von zahlreichen Projekten schnell eingebracht werden. Es wird also durchaus noch einiges Wasser die Flüsse herunterfließen, bis Otto der Normalanwender letztlich diesen Zeitstempel irgendwann einmal zu Gesicht bekommt, bzw. bis er wirklich auch damit arbeiten kann.

'''folgende Zeitstempel sind für den Anwender von Bedeutung'''
==== Access Time (atime) ====
Diese Zeit wird jedes mal neu gesetzt, wenn der Inhalt der Datei geöffnet worden ist. In ihm wird also der letzte Zugriff auf den Inhalt der Datei angezeigt. Dabei ist es für diesen Zeitstempel von Bedeutung, ob die Datei vor einem schreiben erst gelesen wird oder nur an das Ende weitergeschrieben wird. Ansonsten gilt, egal ob die Datei gelesen oder ausgeführt wird oder ob eine Kopie von dieser Datei gemacht wird, oder die Datei durchsucht wird, oder die Datei in ein Backuparchiv aufgenommen wird - immer wird dieser Zeitstempel neu auf die aktuelle Zeit gesetzt.
Durch die Auswertung dieses Zeitstempels könnten wir also z.B. feststellen, das wir eine Datei schon einen längeren Zeitraum nicht mehr angefasst haben. Das kann unter Anderem dabei helfen alte temporäre User- oder Systemdateien zu löschen.
Das ständige setzen der Access Time von Dateien und Verzeichnissen kann bei sehr vielen Zugriffen in einem Filesystem eine nicht unbedeutende Last verursachen, in bestimmten Situationen ist dieses aus Performancegründen nicht gewünscht, und kann deshalb z.B. mit Mountoptionen des Filesystems für alle Dateien oder alle Verzeichnisse abgeschaltet werden. Einige Filesysteme erlauben auch ein gezieltes Abschalten dieser ständigen atime Aktualisierungen für ausgewählte Dateien oder Verzeichnisse.

==== Modify Time (mtime) ====
Diese Zeit wird gesetzt, wenn der Inhalt der Datei verändert wird. In diesem Zeitstempel steht also die Zeit der letzten Veränderung der Dateidaten. Es ist der Zeitstempel der für uns die meiste Bedeutung hat. Können wir doch damit feststellen, wie aktuell die Dateidaten sind. Diese Zeit wird z.B. bei '''ls -l ''' in der default Einstellung angezeigt.

==== Change Time (ctime) ====
Fälschlicher Weise wird ctime oftmals mit Create Time übersetzt und somit herrscht über diesen Zeitstempel oftmals eine ganz falsche Vorstellung. Mit diesem Zeitstempel wird die Zeit gespeichert, zu welcher das letzte Mal die Daten innerhalb des Inodes geändert worden sind. Wenn man sich anschaut, welche Daten im [[Inode]] enthalten sind, kann man schon erahnen, wann diese Zeit neu gesetzt wird. Bei einem Ändern des Dateiinhaltes werden die Dateigröße sowie die Datenblöcke neu gesetzt, beim Ändern der Zugriffsrechte, der UserID oder GruppenID, beim Anlegen eines neuen Hardlinks immer wird auch der Inhalt des Inodes geändert und damit auch die ctime neu gesetzt. Aber auch bei einem Umbenennen der Datei, wird die ctime neu gesetzt, (man muss sich dabei vorstellen, das beim Umbenennen die Anzahl der "Links" zuerst um 1 erhöht wird, dann wird der neue Name angelegt, und dann anschließend der alte Name gelöscht und die "Links" wieder um 1 verringert). Es gibt eine einzige Ausnahme bei der die ctime nicht gesetzt wird: wenn durch das Auslesen der Datei nur die Access Time im Inode neu gesetzt wird, also die Datei z.B. ausgelesen wird, dann wird die Change Time nicht neu gesetzt. Dieser Zeitstempel hat z.B. eine große Bedeutung fürs Backup, da damit nicht nur festgestellt werden kann, ob sich der Inhalt der Datei sondern z.B. auch der Name oder die Eigentums- oder Zugriffsrechte einer Datei seit dem letzten Backup geändert haben. Während sich die anderen beiden Zeitstempel durch Befehle auf eine bestimmte Zeit manipulieren lassen, ist es nicht möglich die ctime auf diese Art zu setzen.

=== Unterschiede bei Dateitypen ===
Bei der Interpretation der Zeitstempel müssen wir weiterhin unterscheiden, ob es sich um eine '''"normale" Datei''' oder z.B. um ein [[Directory|Verzeichnis]] handelt. Die Funktion der Zeitstempel ist bei allen Dateitypen prinzipiell gleich, allerdings durch den speziellen Aufbau und die Funktion einzelner Dateitypen ergibt sich eine etwas andere Betrachtungsweise. Bei den '''Verzeichnissen''' bedeutet die atime, das Verzeichnis wurde gelesen z.B. mit '''ls''', die mtime bedeutet es wurde in diesem Verzeichnis an den Namen der Dateien etwas geändert, oder Dateien sind in diesem Verzeichnis dazu gekommen oder entfernt worden. '''Pipes''' und '''Geräteknoten''' zeigen prinzipiell analoges Verhalten wie normale Dateien, es gibt jedoch einige Besonderheiten bei '''Symbolischen Links'''. Die atime wird hier immer dann gesetzt, wenn über diesen Weg auf die verlinkte Datei zugegriffen wird. Die ctime wird gesetzt bei Eigentumswechsel oder Umbenennen der Datei. Da der eigentliche Inhalt des Softlinks, der Verweis auf die Datei nicht geändert werden kann, wird die mtime nur bei der Erstellung des Softlinks gesetzt. Beim Versuch mittels '''chmod''' oder '''touch''' auf den Inode des Softlinks zuzugreifen, wird statt dessen dem Link gefolgt und der Zugriff erfolgt dort auf den Inode der verlinkten Datei.

=== Welche Zeit wird mit welcher Operation neu gesetzt ===
Die folgende Tabelle zeigt einige häufige Befehle und ihre Auswirkungen auf die Zeitstempel von Verzeichnissen, normalen Dateien und Softlinks. Dabei entspricht:
* '''( X )''' dieser Zeitstempel wird neu gesetzt
* '''( . )''' dieses Zeitstempels bleibt unverändert
* '''( - )''' auf Softlinks wurden nicht alle Befehle getestet oder sind wirkungslos
{|style="height:50px" border="1"
|+ '''Änderung der Zeitstempel verschiedener Dateitypen bei Befehlen'''
|-
! style="width:200px" | Befehl
! style="width:200px" colspan="3" align="center"| aktuelles Directory
! style="width:200px" colspan="3" align="center"| Datei
! style="width:200px" colspan="3" align="center"| Sym. Link auf Datei
|-style="background:silver" align="center"
|
| atime || mtime || ctime || atime || mtime || ctime || atime || mtime || ctime
|-align="center"
!align="left" | ls *
| X || .|| . || . || . || . || X || . || .
|-align="center"
!align="left" | cat *
| X || . || . || X || . || . || X || . || .
|-align="center"
!align="left" | find .
| X || . || . || . || . || . || . || . || .
|-align="center"
!align="left" | grep Begriff *
| X || . || . || X || . || . || X || . || .
|-align="center"
!align="left" | echo "neue Zeile" >> Datei
| . || . || . || . || X || X || - || - || -
|-align="center"
!align="left" | echo "neue Zeile" >> SymLink
| X || . || . || . || X || X || X || . || .
|-align="center"
!align="left" | mv Datei Datei_1
| . || X || X || . || . || X || . || . || X
|-align="center"
!align="left" | ln Datei Datei_1
| . || X || X || . || . || X || - || - || -
|-align="center"
!align="left" | chmod 777 Datei
| . || . || . || . || . || X || - || - || -
|-align="center"
!align="left" | chown user1 Datei
| . || . || . || . || . || X || . || . || X
|-align="center"
!align="left" | tar -cf ../Archiv.tar ./
| X || . || . || X || . || . || X || . ||.
|-align="center"
!align="left" | tar -xf ../Archiv.tar
| X || . || X || X || . || X || X || X || X
|}

== Befehle rund um Zeitstempel ==
=== Zeitstempel der Dateien anzeigen mit stat ===
Der Befehl '''stat''' ohne Optionen kann alle Zeitstempel und alle anderen Informationen einer Datei auflisten. Siehe dazu auch das dokumentierte Beispiel unter [[Inode]]. Es ist aber auch möglich die Ausgabe von '''stat''' nach seinen eigenen Vorstellungen zu formatieren. 
Folgender Befehl listet die Dateinamen und die Zeitstempel aller Dateien im Verzeichnis auf:
<pre>
stat -c "Filename : %n
atime : %x
mtime : %y
ctime : %z

" * </pre>

Das Format der Ausgabe dieses Befehles für jede Datei
Filename : test
atime : 2006-11-03 18:17:42.764670001 +0100
mtime : 2006-10-25 20:42:55.000000000 +0200
ctime : 2006-10-25 20:42:55.000000000 +0200

genaue Beschreibungen aller Optionen und weitere Möglichkeiten zeigt die [http://man.splitbrain.org/stat Manpage von stat]

=== Zeitstempel der Dateien anzeigen mit ls ===
Der Befehl [http://man.splitbrain.org/ls '''ls'''] ( Verzeichnisinhalte anzeigen ) zeigt in der default Einstellung in Verbindung mit der Option '''-l''' immer die mtime der Dateien an. Aber der ls-Befehl kann noch viel mehr. Die Option '''-t''' sortiert die Verzeichnisseinträge nach der Zeit und in Verbindung mit der Option '''-r''' kann die Sortierreihenfolge auch jeweils umgekehrt werden.
Neben der mtime kann der ls-Befehl aber auch die anderen beiden Zeitstempel anzeigen und auch die Verzeichniseinträge nach diesen Zeiten sortieren. Dafür zuständig sind die Optionen '''-u''' bei der die atime der Dateien verwendet wird, und die Option '''-c''' bei der die ctime zur Geltung kommt. In neueren Versionen des ls-Befehls können auch die Ausgaben der Zeiten analog dem Formatierungsmöglichkeiten von [http://man.splitbrain.org/date '''date'''] mittels der Option '''--time-style=''' formatiert werden. Überblick über die gesamten Optionen und Möglichkeiten gibt die [http://man.splitbrain.org/ls ManPage von ls].

=== Zeitstempel ändern mit touch ===
Der Befehl [http://man.splitbrain.org/touch touch] bietet die Möglichkeit die atime und die mtime der Dateien zu manipulieren. Per default (ohne andere Optionen) setzt touch für alle Zeitstempel die aktuelle Zeit, ist eine Datei nicht vorhanden wird eine leere normale Datei angelegt. Über die Optionen '''-t''' oder '''-d''' können beliebige Zeiten bestimmt werden, auf die die Zeitstempel gesetzt werden sollen. Auch ist es über die Option '''-r''' möglich eine Referenzzeit einer anderen Datei auszuwählen. Mittels der Optionen '''-a''' und '''-m''' ist es möglich nur die atime oder nur die mtime mit touch neu zu setzen.
'''In allen Fällen wird die ctime immer auf das aktuelle Datum gesetzt.'''
Überblick über die gesamten Optionen und Möglichkeiten git die [http://man.splitbrain.org/touch Manpage von touch].

=== Dateien anhand der Zeitstempel suchen mit find ===
Der Befehl '''find''' hat eine Vielzahl von Optionen mit deren Hilfe man Dateien finden kann, darunter auch einige mit denen Dateien nach den 3 Zeitstempeln gesucht werden können. Im folgenden ein Auszug aus der [http://man.splitbrain.org/find ManPage von find] der diese Optionen beschreibt.
{|
|+
|-
|style="width:200px"|'''-amin''' ''N''
|auf die Datei ist vor '''''N''''' Minuten zugegriffen worden
|-
|'''-anewer''' ''Referenzdatei''
|auf die Datei ist vor weniger Zeit zugegriffen worden, als seit der letzten Veränderung der '''''Referenzdatei''''' vergangen ist
|-
|'''-atime''' ''N''
|auf die Datei ist vor '''''N*24''''' Stunden zugegriffen worden
|-
|'''-cmin''' ''N''
|der Status der Datei wurde vor '''''N''''' Minuten geändert
|-
|'''-cnewer''' ''Referenzdatei''
| der Status der Datei wurde vor weniger Zeit verändert, als seit der letzten Veränderung der '''''Referenzdatei''''' vergangen ist
|-
|'''-ctime''' ''N''
|der Dateistatus wurde vor '''''N*24''''' Stunden geändert
|-
|'''-mmin''' ''N''
|der Inhalt der Datei wurde vor '''''N''''' Minuten verändert
|-
|'''-mtime''' ''N''
|der Inhalt der Datei wurde vor '''''N*24''''' Stunden verändert
|-
|'''-newer''' ''Referenzdatei''
|die Datei ist später verändert worden als die '''''Referenzdatei'''''
|}

dabei können die numerischen Argumente '''N''' auf drei Arten angegeben werden:
{|
|- align="center"
|style="width:80px" align="center" | '''+ N'''
|wird interpretiert "alle Zahlen größer als N"
|- align="center"
|align="center" | '''- N'''
|wird interpretiert "alle Zahlen kleiner als N"
|- align="center"
|align="center" | '''N'''
|wird interpretiert "genau N"
|}

'''Hier einige praktische Beispiele:'''
<pre>find /tmp ! -type d -atime +20 -user USER1 2>/dev/null </pre>
findet unterhalb /tmp alle Dateien die kein Verzeichnis sind und seit über 20 Tagen nicht mehr angefasst wurden und dem Benutzer USER1 gehören

<pre>find /home/USER1 -type f -mmin -20 -user USER1 </pre>
findet alle normalen Dateien unterhalb vom Homeverzeichnis von USER1 die innerhalb der letzten 20 Minuten geändert wurden und dem User USER1 gehören

<pre>find /etc -cnewer /etc/fstab 2>/dev/null</pre>
findet alle Dateien unterhalb /etc deren ctime nach der letzten Änderung (mtime) der /etc/fstab geändert wurde

=== tar und Zeitstempel ===
Der Befehl '''[http://man.splitbrain.org/tar tar]''' ('''T'''ape '''AR'''chiver) bezeichnet ein Programm mit dessen Hilfe einfache Backup-, Archivierungs und ähnliche -Arbeiten am System gemacht werden können. Wenn wir unter LINUX von '''tar''' sprechen, meinen wir damit eigentlich eine '''GNU implementierung''' eines unter UNIX als tar bezeichneten Befehls. Man bezeichnet das Programm deshalb auch auf anderen Systemen '''GNUtar oder gtar'''. Die beiden Programme (UNIX tar und GNU tar) sind nur bedingt kompatibel. Daneben existieren noch mehrere mit TAR verwandte Implementationen die mehr oder weniger viele Erweiterungen und Verbesserungen beinhalten, und oft noch weniger kompatibel zu ihren Urprogrammen sind.

Die Stärke von tar liegt in der einfachen und universellen Benutzung, eine der historisch gewachsenen Schwächen von tar, ist der Umgang mit Zeitstempeln. Mit tar läßt sich nur die mtime wieder herstellen. Die atime und die ctime werden zerstört und durch die aktuelle Zeit beim Restore ersetzt. Moderne Versionen von tar haben eine Option, um mittels der mtime inkrementelle Backups machen zu können. Eine weitere Option von tar ermöglicht es beim Erstellen des Archives die atime, (welche durch das Lesen der Dateien beim Erstellen des Archives verändert würde,) vor Veränderung zu schützen, allerdings mit der Nebenwirkung, dass damit analog zum touch-Befehl, die ctime der oginalen Dateien zerstört wird.

Damit ist tar durchaus noch geeignet um einfache Backupaufgaben zu übernehmen, und ein Linuxsystem aus einem Tar-Archiv wird sicherlich ohne Probleme funktionieren, allerdings die gehobenen Anspüche die heute an ein modernes Backupprogramm gestellt werden, kann tar damit nicht erfüllen. Die Hauptbedeutung und der Haupteinsatz von GNUtar ist heute deshalb auch mehr im Bereich der Verteilung und Verbreitung von Softwarepaketen zu finden. Den Umfang und die Funktionen können der [http://man.splitbrain.org/tar ManPage von tar] entnommen werden.

== Backup und Zeitstempel ==
Zeitstempel spielen beim Backup eine besondere Rolle, zum Einem möchte man bei vielen Backupaufgaben bei der Wiederherstellung der Dateien aus dem Backuparchiv die alten Zeitstempel wieder haben, zum anderen benötigt man z.B. bei [[inkrementelles Backup|inkrementellen Backups]] die Zeitstempel der Dateien, um herauszufinden, ob sich die Datei seit dem letztem Backup geändert hat und somit jetzt in das inkrementelle Backup mit aufgenommen werden muss. Und nicht zu guter Letzt, gibt es auch Backup Methoden bei denen einzelne Dateien innerhalb eines Backuparchives gezielt ausgetauscht werden, wenn sie sich seit dem Erstellen des Backups geändert haben, oder in der Zwischenzeit neu hinzu gekommen sind, müssen sie natürlich jetzt in das Archiv aufgenommen werden.

Beim Anlegen eines Backups werden die Dateien ausgelesen, durch dieses Auslesen wird im Normalfall die atime dieser Dateien neu gesetzt. Dieses hätte jedoch zur Folge, dass in einem so gesicherten Verzeichnis nicht nach den Dateien gesucht werden könnte, auf die schon länger nicht mehr zugegriffen worden ist, um sie z.B. zu löschen. Aus diesem Grund haben die meisten Backupprogramme spezielle Optionen, die das setzen der atime beim Backup verhindern. Dieses kann aber nur dadurch erreicht werden, dass nach dem die Datei ausgelesen wurde, die alte atime wieder neu gesetzt wird.

Der touch-Befehl und viele andere Programme (auch tar) mit denen die Zeitstempel in den [[Inode]] manipuliert werden können, nutzen den Systembefehl [http://man.splitbrain.org/utime(2) utime] dafür. Bei diesen Befehlen wird beim zurücksetzen der atime auf den alten Wert, die ctime zerstört und auf die aktuelle Zeit gesetzt. Das hat dann die Konsequenz, das nach einem Backup dann in diesem Verzeichnis zwar nach Dateien gesucht werden kann, auf die lange nicht zugegriffen wurde, aber nicht mehr nach Dateien gesucht werden kann, bei denen in der letzten Zeit die ctime verändert wurde. Auch kann mit solchen Backupprogrammen nur die atime und die mtime der Dateien wieder hergestellt werden, die ctime wird auf eine Zeit des Zurückspielens der Sicherung gesetzt.

Bei inkrementellen Backups stellt sich die Frage, sollen die Dateien nach der mtime oder der ctime beurteilt werden. Wird die Datei nach der Änderung der mtime beurteilt, dann sind dort sämtliche Änderungen am Inhalt dieser Datei für das Backup berücksichtigt, jedoch nicht, z.B. eventuelle vorgenommene Änderungen an den Besitz- oder Zugriffsrechten. Einige Backupkonzepte ermöglichen die Wahl zwischen beiden Varianten, einige Programme unterstützen jedoch nur die Suche nach dem geänderten mtime Zeitstempel.

Gelegentlich ein kleines Problem sind die Zeitstempel der [[Directory|Verzeichnisse]]. Wird z.B. zuerst das Verzeichnis aus dem Backup gewonnen, dann können die gespeicherten Zeitstempel aus dem Backup zwar gesetzt werden, wenn jedoch anschließend noch die Dateien aus diesem Verzeichnis hineingepackt werden, dann sind die Zeitstempel der Verzeichnisse wieder auf dem Zeitpunkt des Auspackens der letzten Datei in diesem Directory gesetzt und nicht wie gewünscht, die vom gesicherten Verzeichnis.

Von Bedeutung für manche Anwendungen ist auch die Genauigkeit mit der die Zeitstempel in den Headerdateien des Backups abgelegt werden können, während für einige Anwendungen durchaus eine Genauigkeit von 1 Sekunde ausreicht, benötigen andere Backupkonzepte eventuell eine Genauigkeit von 1/1000 Sekunde.

Aus diesen Ausführungen sollte jetzt erkennbar sein dass es zwischen Backup und Zeitstempel eine doch recht vielschichtige Wechselwirkung gibt, die sich oftmals nur mit der Wahl des für diesen Zweck geeigneten Backupprogramms und den richtigen Einstellungen und Optionen lösen lässt. Wem die Möglichkeiten z.B. von tar in Bezug auf die Zeitstempel nicht ausreichen und wer eventuell auch noch weitere Features wie z.B. [[Zugriffsrechte#Access Control Lists unter Linux|ACL-Unterstützung]] benötigt, dem sei an dieser Stelle ein Blick in die [http://man.splitbrain.org/star ManPage von star] empfohlen.

--[[Benutzer:Robi|Robi]] 13:25, 4. Nov 2006 (CET)

[[Category:Linux-intern]]
[[Category:Konsole]]

Benutzer Diskussion:TomcatMJ

2013-03-26T15:28:48Z

Itu: Neuer Abschnitt /* Redir */

Hallo Tom,

Ich habe gesehen, dass Du vor kurzem angefangen hast, Dich an dem Linux-Club Wiki zu beteiligen. Weil deine Diskussionsseite aber noch leer ist, möchte ich Dich kurz begrüßen.

Für den Einstieg empfehle ich dir das '''[[LinuxClub:Hilfe|Hilfe]]''' und '''[http://de.wikipedia.org/wiki/Wikipedia:Wie_schreibe_ich_gute_Artikel Wie schreibe ich gute Artikel]'''. Wenn Du neue Artikel anlegen willst, kannst Du Dich an anderen des selben Themenbereichs orientieren. Ganz wichtig sind dabei stets [[LinuxClubWiki:Quellenangaben|Quellenangaben]], welche deine Bearbeitung belegen.
Wenn Du erstmal etwas ausprobieren willst, ist [[LinuxClubWiki:Spielwiese|hier]] Platz dafür. Bitte beachte, dass das Linux-Club Wiki [[LinuxClubWiki:Was LinuxClubWiki nicht ist|ausschließlich der Erstellung einer Wissensdatenbank um Linux]] dient und zur Zusammenarbeit ein [[LinuxClubWiki:Wikiquette|freundlicher Umgangston]] notwendig ist.

Fragen stellst Du am besten [[LinuxClubWiki:Fragen zur LinuxClubWiki|hier]], aber die meisten [[LinuxClubWiki:Die LinuxClubWikinger|Linux-Club Wikinger]] und auch ich helfen dir gerne. Solltest Du bestimmte Wörter oder Abkürzungen nicht auf Anhieb verstehen, schaue mal ins [[Hilfe:Glossar|Glossar]].

Wenn Du Bilder hochladen möchtest, achte bitte auf die korrekte Lizenzierung.

Wikimitglieder, die sich besonders am Geschehen des Linux-Club Wikis beteiligen können sich im [http://www.linux-club.de/groupcp.php?g=31922&sid=5cdc726bb314ccaf7735b5c2e25d2be1 WikiTeam] anmelden. Vorraussetzung sind mindestens 5 sinnvolle Beiträge ins Wiki eingestellt zu haben.

Ein Tipp für Deinen Einstieg in die Linux-Club Wiki: [[LinuxClubWiki:Sei mutig|Sei mutig]] und respektiere die Leistungen anderer User! Herzlich willkommen!

Siehe hier: [[Vorlage:Hallo]]

--[[Benutzer:Yehudi|Yehudi]] 16:01, 18. Okt 2006 (CEST)

== Montag ist Spiegeltag :o) ==

Ne, ich hatte Griffin drum gebeten, das mal zu machen, um mal zu sehen, ob das so funktioniert, wie ich mir das vorgestellt habe. - Joop läuft.--[[Benutzer:Yehudi|Yehudi]] 15:50, 19. Okt 2006 (CEST)

== Die neue Vorlage findet ja auch schon Verwendung ==

Das ist ja klasse. Jetzt können bald alle ihr eigenes Profil nach Herzenslust einrichten. Und niemand mehr kann sage: "Ich habe es nicht gewußt." :o) --[[Benutzer:Yehudi|Yehudi]] 17:40, 19. Okt 2006 (CEST)

Klasse das hat ja doch noch mit einem kleinen Trick geklappt, so wie ich es mir eigentlich vorgestellt hatte. Danke --[[Benutzer:Yehudi|Yehudi]] 23:23, 20. Okt 2006 (CEST)

== Eintrag löschen ? ==

Unter http://www.linux-club.de/faq/Sources.list_OpenSUSE10.1.64 ,der erste oberer Beitrag kann doch gelöscht werden oder (Tomcat) ? Ist ja meines erachtens nicht mehr aktuell. Wenn doch belehrt mich eines Besseren ;)
:Naja,aktuell ist es in soweit noch, als daß es die Verzeichnisse da noch gibt auf dem gwdg-Server. Ob sie mitterweile repo-Metadaten enthaten weiss ich jedoch magels Apt-Nutzung nicht :-)...Aber da ja Yehudi schon eine wohl aktuellere Liste gebastelt hatte die ich dann reingepackt hatte ohne die vorrangegangene zu entfernen(hab die neue ja nicht selbst getestet) kann man sie durchaus löschen(steht ja dran daß da mal jemand was neueres getestetes reinpacken soll).....

== Neue Kategorien ==

Du hattest wohl heute einen Kater, deswegen die neuen Kategorien. Gefällt mir. Eventuell, kann man das sogar noch weiter aubauen. --[[Benutzer:Yehudi|Yehudi]] 23:05, 11. Mär 2007 (CET)

:Bei dem Wust an unkategorisierten Kategorien wards mal langsam Zeit...ich wollte das ja schon was länger mal angehen, aber hab halt heute auch den Nerv dazu gehabt das dann auch endich mal zu tun*g*. Siehe dazu auch [http://www.linux-club.de/ftopic78171.html im Wiki-Team Forum]...--[[Benutzer:TomcatMJ|TomcatMJ]] 23:11, 11. Mär 2007 (CET)

::Mittlerweile gibts hier ja nun auch den [[Kategorienbaum]] als eines der Ergebnisse des Kategoriesierungsarbeitsbergs.... --[[Benutzer:TomcatMJ|TomcatMJ]] 10:55, 4. Apr 2007 (CEST)

:::Ich habe das jetzt erst mal so im [[Kategorienbaum]] eingefügt, vermutlich meinst Du aber einer Unterteilung wie Hinweisbausteine --> Vorlagenboxen. So genau hatte ich mir keine Gedanken darüber gemacht, ich war halt der Meinung die ganzen Boxen zusammenzufassen, um sie leichter wiederzufinden. --[[Benutzer:Yehudi|Yehudi]] 11:08, 4. Apr 2007 (CEST)

== Hinweise auf Fragen/Antworten/Diskussionen auf anderen Diskussionsseiten ==

== Under Construction Baustein ==
Hall TomcatMJ,

neulich hattest Du Dich bei einem anderen User zwecks dessen beschwert, dann solltest Du auch mit gutem Beispiel vorrangehen.
Leider ist der Sinn jetzt in dem Satz komplett weg, bzw liest sich der Satz in Klammern sehr merkwürdig. Hier wäre eigentlich eine Anmerkung auf der Diskussionsseite sinnvoller gewesen.
Der Memory Limit muss nur durch die Verwendung aller PlugIns so hoch sein. Hier wäre vielleicht noch mal zu kontrollieren, ob Du alle Plug Ins drin hast.
Hier läuft ein Joomla, typo3, mediawiki, Wordpress, serendipity, phpbb2. Das hatte vorher 16MB MemoryLimit, und kam dann nicht mit der Verdoppelung, und verdreifachung aus.
Ich passe das ganze mal etwas an.
--[[Benutzer:Yehudi|Yehudi]] 08:25, 5. Jun 2007 (CEST)

:Jap, mea Culpa....sorry, ich war wohl letzte Nacht doch etwas arg voreilig mit der Ergänzung nach dem Kickerspielfinanziertem Barbesuch*g*...allerdings hab ich da mit einem 64 MB Limit und allen Modulen von [[Gallery2]] in aktiviertem Zustand keinerlei Probleme im Zusammenspiel mit [[phpBB|phpBB2]], [[MediaWiki]], [[Drupal]], [http://www.k5n.us/webcalendar.php WebCalendar v1.0.4] und [http://www.pjirc.com/main.php PJIRC] was ja auf meiner Community-Website so läuft....
:Bis denne, --[[Benutzer:TomcatMJ|TomcatMJ]] 14:57, 5. Jun 2007 (CEST)

::Bei der Installation/Konfiguration von [[Gallery2]] meckert der bei der Installation aller Module. Ich war auch ziemlich verwundert. --[[Benutzer:Yehudi|Yehudi]] 17:20, 5. Jun 2007 (CEST)

== WikiSysop ==

Der [[Benutzer:WikiSysop|WikiSysop]] entstand mehrere Male bei meiner Unterschrift( z.B. http://wiki.linux-club.de/wiki/index.php?title=Pdf&oldid=21191 ) . Aus dem Grunde habe ich eine Weiterleitung gemacht, und nicht aus irgendeinem anderen Grund. Alles andere wäre unangemessen. ;-) --[[Benutzer:Yehudi|Yehudi]] 00:00, 21. Aug. 2007 (CEST)
:siehe [[Benutzer Diskussion:Yehudi]] --[[Benutzer:Yehudi|Yehudi]] 04:49, 21. Aug. 2007 (CEST)

== Was soll bitte das Wiedereinfügen von nicht zutreffender Info bei NVidia 3D-Desktops? ==
Für openSUSE 10.1 gibt es die angegeben Quellen bzw. Links nicht mehr. Es bringt nichts die wieder einzufügen. Das macht den Beitrag auch nicht besser.
--[[Benutzer:Wizzzard|Wizzzard]] 18:45, 22. Mai 2008 (CEST)
:Sorry, da war mir wohl vor dem Sync mit der Developmentversion des Wikibooks unter http://wiki.mosnis.dyndns.org/NVIDIA wohl die Änderung durch die Lappen gegangen die ich normalerweise erstmal dort auch noch integriert hätte durch entsprechenden export hier aus diesem Wiki bevor das Ganze mit der Dev. Version komplett gesynct wurde. Von dahr wars keine Absichtiche Änderung sondern die Übernahme der hiesigen änderung ist mir schlichtweg aus Versehen durch die Lappen gegangen. Die von dir gemachte Änderung wird natürlich im Laufe des Freitags spätestens (wieder) eingebaut werden in beiden Wikibook-Versionen. --[[Benutzer:TomcatMJ|TomcatMJ]] 22:29, 22. Mai 2008 (CEST)

== Redir ==

[http://www.linupedia.org/opensuse/Mount Das] funktioniert nicht, sondern nur wikiintern. --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 16:28, 26. Mär. 2013 (CET)

Rsync

2013-03-23T21:49:48Z

Itu: Beleg dass diese Aussage gerechtfertigt ist?

{{Infobox_Software|
Name= rsync [[Bild:rsync.png|240px]]
|Screenshot=
|Beschreibung=
|Hersteller= Samba Team
|AktuelleVersion= 2.6.3
|AktuelleVersionFreigabeDatum=
|Betriebssystem= Linux, Unix, OS X
|Kategorie= [[Backup]]
|Lizenz= [[GPL]]
|Deutsch = ja
|Website= http://samba.anu.edu.au/rsync/
}}
Autor: [http://www.linux-club.de/faq/Benutzer:Yehudi Yehudi]
{{Box Test||
* [[openSUSE]] 10.3
* [[openSUSE]] 10.2
* SUSE Linux 10.0
* [[Ubuntu]] 6.10
* [[Fedora]] 6, 7, 8
}}
{{Box Wissen||
* Unterschied zwischen [[Paketmanager]]n
* Umgang mit [[YaST]], [[APT]] oder [[smart]]
* Umgang mit der [[shell]]
}}

== Einführung ==

''rsync'' ist ein Netzwerkprotokoll, welches unter [[GPL]] steht. Das Programm ist für [[Backup]]s bestens geeignet (Kopien von A nach B). Werden auf B Daten geändert, so können diese nicht abgegeglichen werden. Sind bei einem [[Backup]] Daten mit der selben Zeitangabe vorhanden, werden diese nicht überschrieben, was Zeit spart. Das Backup-Programm wurde von Entwicklern des [[Samba]]-Team, u.a. von '''Paul Mackeras''' und '''Andrew Tridgell''', programmiert.

Das Tool kann auch mit [[SSH]] kombiniert werden.

Im Gegensatz zu [[cp]], welches man zum Kopieren auf der [[Konsole]]n nutzen kann, bietet rsync zahlreiche Steuerungsmöglichkeiten, die unter [[cp]] nicht vorhanden sind. [[cp]] würde z.B. bereits vorhandene Dateien erneut kopieren.

== Installation ==

Ich setze einfach eine Installation mit [[APT]] oder [[smart]] vorraus. Dann muss sich nur noch als [[root]] in der [[Konsole]] angemeldet werden und

apt-get install rsync

oder

smart install rsync

eingetippt werden.

== Funktionen über die Konsole ==

=== Optionen ===

*''-a'' umfasst folgende Optionen (Die Option zu verwenden ist sinnvoll, da die Rechte im Ziel übereinstimmen sollten):
**''-r'' kopiert Unterverzeichnisse, lässt rsync rekursiv arbeiten
**''-l'' kopiert symbolische Links
**''-p'' behält Rechte bei
**''-t'' behält Zeiten bei,
**''-g'' behält Gruppenrechte bei
**''-D'' behält Gerätedateien bei; nur root
*''-A'' ACLs erhalten
*''-H'' Hardlinks erhalten
*''-S'' Dateien "mit Löchern" effizient handhaben
*''-X'' Xattrs erhalten
*''-v'' zeigt beim Kopieren alle Schritte, die gerade ausgeführt werden, an
*''-n'' simuliert den Kopierauftrag, trocke''n'' - ein Testlauf, der nichts wirklich kopiert
*''-z'' komprimiert den Datentransfer
*''-e'' hiermit lässt sich die Remote-Shell wählen, welche per Default SSH ist; andere lassen sich per <code>-e programm</code> angeben
*''-b'' Backups werden erstellt
*''-u'' update - Dateien, die im Backup schon vorhanden und neuer als auf der Quelle sind, werden ausgelassen
*''-v'' verbose - Gibt einen genauen Verlauf, insbesondere wenn Fehler auftauchen
*''--backup-dir=Verzeichnis'' ;kann ein Verzeichnis angeben werden
*''--progress'' Hier wird der Fortschritt während der Übertragung angezeigt
*''--delete'' Dateien, die auf der Quelle nicht mehr existieren, werden auch auf dem Ziel gelöscht.
*''--exclude=Verzeichnis'' Damit werden Verzeichnisse von dem Kopiervorgang ausgeschlossen
*''--size-only'' Hiermit kontrolliert rsync beim "Synchronisieren" nur die Dateigröße, was hilfreich ist, wenn der Zeitstempel der Zieldateien nicht mit den Quellstempeln übereinstimmen.

Alle Optionen und eine Erläuterung ist mit man rsync oder rsync -h aufzurufen.

=== Verwendung ===

Vereinfacht:
rsync quelle ziel

Die Befehlsformel für rsync sieht wie folgt aus:
rsync -OPTIONEN QUELLE ZIEL

Ziel und Quelle sind dabei unabhängig vom Rechner, so dass das BackUp im Rechner auf der gleichen, auf einer anderen Festplatte, im eigenen Netzwerk oder im Internet vorgenommen werden kann.

rsync -OPTIONEN foo:/home/secureme baa:/home/backup

{{Box Hinweis||Wird bei einem Quellordner mit einem "/" beendet, wird lediglich der Inhalt des Ordners kopiert, nicht aber der Quellordner selbst}}

'''Spiegeln von Ordnern'''

rsync -abuv --delete --progress /home/yehudi/ /data1/home/yehudi
oder
rsync -arbuv --delete --progress /home/yehudi/ /data1/home/yehudi

In <code>data1</code> ist die 2. Festplatte eingebunden, auf der bei mir auch ein SUSE Linux 10.0 wie auf der ersten Festplatte installiert ist.

== Syntaxen zum Übertragen ==

=== Allgemeine Syntax ===

rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST # lokale Quelle --> remote Ziel
rsync [OPTION]... [USER@]HOST:SRC DEST # remote Quelle --> lokales Ziel
rsync [OPTION]... SRC [SRC]... DEST # nur lokal
rsync [OPTION]... [USER@]HOST::SRC [DEST]
rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST

=== Auflistung von Dateien ===

Hiermit wird der Inhalt des Verzeichnisses dem Host aufgeführt:

rsync irgend.ein.host:/daten

=== Anwendung im Netzwerk ===

Mit folgender Befehlssyntax werden alle Files des aktuellen Verzeichnisses, die mit <code>.c</code> enden auf die Remote-Maschine nach <code>src</code> übertragen:

rsync *.c irgend.ein.host:src/

Hier wird der letzte Ordner übertragen (im Ziel ist das dann <code>/daten/dir</code>)

rsync -azv /src/dir irgend.ein.host:/daten

So wird nur der Inhalt des Ordner <code>dir</code> übertragen, aber der Ordner selbst nicht.

rsync -azv /src/dir/ irgend.ein.host:/daten

Übertragung mit User und Port:

rsync -azv /src/dir/ user@irgend.ein.host:9999/daten

Klassisches Beispiel für das Sichern des eigenen Home-Verzeichnisses auf einem Server im Netz.

rsync -abuvz --delete --progress /home/me foobar.com:/backup/home/me


=== Lokales Übertragen von Dateien ===

rsync -azv /src/dir /daten # überträgt das Verzeichnis /src/dir komplett nach /daten
rsync -azv /src/dir/ /daten # überträgt nur den Inhalt
rsync *.jpg /daten/bilder # überträgt nur .jpg Dateien nach /daten/bilder

= Backups automatisieren =

Das Backup jedesmal von Hand auszuführen macht natürlich wenig Sinn, wer vergisst das nicht schon mal. Hier werden ein paar Wege davon beschrieben, wie man es am einfachsten lösen könnte.

== halt.local ==

Viele privat genutzte Maschinen werden abends ausgeschaltet. Hier bietet es sich an, rsync durch das Skript <code>/etc/init.d/halt.local</code> aufzurufen. <code>halt.local</code> wird jedesmal aufgerufen, wenn die Maschine heruntergefahren wird.

Beispiel Eintrag wenn man es in die Datei integriert:

#! /bin/sh
#
# Copyright (c) 2002 SuSE Linux AG Nuernberg, Germany. All rights reserved.
#
# Author: Werner Fink <werner@suse.de>, 1998
# Burchard Steinbild, 1998
#
# /etc/init.d/halt.local
#
# script with local commands to be executed from init on system shutdown
#
# Here you should add things, that should happen directly before shutting
# down.
#
rsync -abuv --delete --progress /opt/lampp /sicherung
rsync -abuv --delete --progress /home /sicherung

== Script ==

Dieses Script ist regelmäßig über einen CronJob auszuführen:

<pre>#!/bin/bash
#
# Scriptname backup.sh (Backup mit rsync und KDE Dialogen)
# Funktion Backup auf USB, PCMCIA oder 2. Festplatte erstellen
# oder einfach von Verzeichnis X nach Verzeichnis Y
# benötigt bash, KDE & rsync
#
# Autor Hermann Friedhoff
# Ungelsheimerstr. 81
# 47259 Duisburg
#
# Programm-Status noch in Arbeit ( wer wird schon fertig??? )
# Bekannte Fehler keine, oder??? ( Naubadi is pörfekt )
# Start 25.07.2003
# Stand 25.05.2005
#
# Variablen: $HOME das Home Verzeichnis (vom System)
# $USER der angemeldete Benutzer (vom System)
# para Parameter für rsync, für Details "man rsync" in eine Shell eintippen
# log_datei Textdatei mit einer Auflistung der gesicherten Dateien
# idzb Verzeichnis um zu testen ob das Zielverzeichnis beschreibbar ist
# quelle das Verzeichnis das gesichert werden soll
# ziel der Pfad für das zu sichernde Verzeichnis
# fehler 0 alles O.K und 1 ein Fehler ist aufgetreten
#

# bei folgenden 3 Variablen kann der Inhalt geändert werden

log_datei="Backup vom `date +'%d.%m.%y - %H:%M:%S'`.txt"
para="-av"
idzb=".test_idzb.tmp"

# ab hier sind keine Änderungen mehr erforderlich

quelle=""
ziel=""
fehler="0"

if quelle=`kdialog --title "Zu sicherndes Verzeichnis auswählen" --getexistingdirectory "$HOME" "*"`
then
if ziel=`kdialog --title "Verzeichnis zum sichern auswählen" --getexistingdirectory "$HOME" "*"`
then
if [ -f /usr/bin/rsync ]
then
rmdir`date +'%d.%m.%y - %H:%M:%S'` "$ziel/$idzb" >/dev/null
if mkdir "$ziel/$idzb" >/dev/null
then
rmdir "$ziel/$idzb" >/dev/null
fehler=0
echo "Backup von $quelle" > "$ziel/$log_datei"
echo "" >> "$ziel/$log_datei"
if ! rsync $para "$quelle" "$ziel" >> "$ziel/$log_datei"
then
kdialog --error "Beim Backup von $quelle nach $ziel ist ein Fehler aufgetreten."
fehler=1
fi
if [ "$fehler" = "0" ]
then
kdialog --msgbox "Fertig, Backup von $quelle nach $ziel wurde erstellt."
else
kdialog --error "Fehler, Backup konnte nicht korrekt erstellt werden."
fi
else
kdialog --error "Abbruch, schreiben auf $ziel nicht möglich."
fi
else
kdialog --error "Abbruch, das Programm /usr/bin/rsync fehlt."
fi
else
kdialog --error "Abbruch, durch Benutzer $USER."
fi
else
kdialog --error "Abbruch, durch Benutzer $USER."
fi</pre>

== Grafische Oberflächen zu rsync ==

<gallery>
Bild:Grsync.png|[http://www.opbyte.it/grsync/ Grsync]
Bild:Grsync1.png|[http://www.opbyte.it/grsync/ Grsync]
Bild:Qsync.png|[http://transamrit.net/projects/qsync/ qsync]
</gallery>

=== Unison ===
Eine weitere Möglichkeit, die sich unabhängig von dem Betriebssystem nutzen lässt wäre [[Unison]], welches eine "Syncronisation" über die Plattform hinweg ausführen.

Das Programm ist hier näher beschrieben:
* http://wiki.ubuntuusers.de/Unison

== Quellen ==
* Michael Kofler, Linux (7. Auflage) S. 212
* [[l:Rsync]] {{Deutsch}}
* [[s:Backups]] {{Deutsch}}
* [[u:rsync]] {{Deutsch}}
* http://www.linux-club.de/viewtopic.php?t=31524 {{Deutsch}}
* [http://www.linux-magazin.de/Artikel/ausgabe/2004/09/backups/backups.html Snapshot-Backups mit Rsync] {{Deutsch}}
* [http://www.linux-magazin.de/Artikel/ausgabe/2002/04/rsync/rsync.html Server schnell und kostengünstig spiegeln] {{Deutsch}}
* http://www.linux-magazin.de/Service/Listings/2004/09/Rsyc-Backup/backup-rsync {{Deutsch}}
* http://www.linux-magazin.de/Service/Listings/2004/09/Rsyc-Backup/backup-rsync-konv {{Deutsch}}
* http://www.heinlein-support.de/web/wissen/rsync-backup/{{Deutsch}}
* [http://www.jdmz.net/ssh/ Using Rsync and SSH] {{Englisch}}
* [[w:Rsync]] {{Deutsch}}
* [http://rsync.samba.org/ Homepage von rsync] {{Englisch}}
* http://www.debianadmin.com/rsync-backup-web-interfacefrontend-or-gui-tools.html#more-144 {{Englisch}}
* [http://archive.macosxlabs.org/rsyncx/rsyncx.html rsync mit OSX] {{Englisch}}
* [http://www.andre-aulich.de/perm/backups-mit-rsyncx rsync mit OSX] {{Deutsch}}
* [http://www.cis.upenn.edu/~bcpierce/unison/ Webpräsenz von Unison] {{Englisch}}
* [http://en.wikipedia.org/wiki/Rsync:en:Rsync Mehr Informationen zu rsync unter Windows in der englischen Wikipedia] {{Englisch}}
* http://www.debianhelp.co.uk/rsyncweb.htm {{Englisch}}

----
[[Backup|Back To Backup]] 
[[File-Server|zurück zu File-Server]] 
[[Konsole|zurück zur Konsole]] 
[[LAMP|zurück zum LAMP]] 
[[Category:File Server]][[Category:Security]][[Category:Konsole]][[Category:LAMP]][[Category:Backup]]

Welche Ports sind an meinem Server offen

2013-02-28T16:35:36Z

Itu: ...

Autor: [[Benutzer:framp|framp]], [[Benutzer:stka|stka]]

Das flexibelste und universellste Tool zum Pruefen ist nmap ( http://www.insecure.org/nmap/ )

Gibt es sowohl fuer Linux als auch Windows.

Achtung: Dieser Test muss von einem anderen Rechner als dem zu testenden Server gemacht werden!

*Test aller TCP Ports: nmap -v ipAdressesDesServers

*Test eines TCP Ports: nmap -v -z ipAddresseDesServers portDesServers oder telnet ipAddresseDesServers portDesServers

*Test aller [[UDP]] Ports (aus technischen Gruenden langsam): nmap -v -sU ipAddresseDesServers

*Test eines UDP Ports: nmap -v -z -u ipAddresseDesServers portDesServers

Weitere info mit man nmap, denn es kann noch wesentlich mehr wie Portrangescannen, OS-Detection, und was das Herz sonst noch beliebt.

Portcheckprogramme im Netz:

*Heise: http://www.heise.de/security/dienste/portscan/

*ShieldsUp: https://www.grc.com/

*PortScan: http://www.port-scan.de

Siehe auch:

[[Top 100 Network Security Tools]]

zu nmap gibt es auch ein schönes KDE Frontend, das die Arbeit erheblich erleichtert. Einfach mit "apt install knmap" installieren und ab gehts

[[Category:Security]]

Ddclient

2013-02-15T06:22:26Z

Itu:

Autoren: [http://www.yehudi.de Yehudi] & [http://www.linux-club.de/faq/Benutzer:TomcatMJ TomcatMJ]

{{Box Test||
* [[openSUSE]] 10.3
* [[openSUSE]] 10.2
* SUSE Linux 10.0
* SUSE Linux 9.3
}}
Wer die SuFu verwendet hat, der wird wahrscheinlich festgestellt haben, dass er sich durch zig Einträge kämpfen muss, und seine Konfiguration trotzdem nicht funktioniert. Also werde ich hier ein recht kurzes HOWTO anlegen, welches gerne erweitert werden kann, da es immer Einzelfälle gibt, die nicht berücksichtigt worden sind.

=Über ddclient selbst=

Das im Titel aus technischen Gründen nicht komplett kleingeschriebene Perl-Programm ddclient dient als Daemon im Hintergrund gestartet dazu, einem DynDNS Serviceanbieter die Änderung der eigenen IP mitzuteilen, damit der dortige [[DHCP und DNS|DNS]]-Servereintrag entsprechend automatisch aktualisiert werden kann. Dieses kleine Hilfsprogramm wird heute von den meisten [[Linux Distributionen]] mitgeliefert, ist jedoch dort nicht immer auf dem aktuellsten Stand. Daher kann man es auch oft in alternativen Software-[[Paketmanager|Repositories für diverse Paketmanager]] in aktuelleren Versionen finden, z.B. für openSUSE im Guru-Repository oder sich bei den meisten DynDNS-Anbietern auch über die dortige Liste der unterstützten IP-Abgleich-Clients als Tarball herunterladen um es dann manuell zu installieren.
== Installation von ddclient ==

Woher nun ddclient nehmen? Wenn man [[openSUSE]] hat, gibt es den Weg dieses Programm über [[YaST]] von der DVD/CD zu installieren, oder die schnellere Möglichkeit, über apt/Synaptic das Programm recht schnell zu installieren. Bei [[Debian]] oder damit verwandten [[Linux Distributionen]] sollte das auch über apt gehen.

Über die grafischen Oberflächen braucht einfach nur "ddclient" eingegeben werden oder in der [[Konsole]] als [[root]]

apt-get install ddclient
oder
smart install ddclient

eingeben und auf Enter drücken.

Alternativ kann man sich auch den tarball von http://ddclient.sourceforge.net herunterladen und gemäß dem beiliegenden Readme-File in den beannten Pfad des Systems kopieren und konfigurieren und dann ebenso nutzen wie die per DPKG/RPM/APT/smart/YaST instalierte von dritten Personen fertig gepackte Version.

== Webadresse ==

[[Bild:DynDNS.jpg|thumb|300px|right|Alle Angaben sind nur Beispiele, um einen eigenen Acount anzulegen!]]
Man braucht eine Adresse für seine Webseite, die auf dem eigenen Rechner im Apache liegt, und die zugewiesene IP ändert sich ständig, weil der genutzte Provider in regelmäßigen Abständen, z. B. alle 24 Stunden, die Verbindung vom Netz trennt. Ein Script zur Wiedereinwahl und einen Cron-Job dafür ist vorhanden oder ddclient wird als daemon genutzt. Als Beispiel wird hier der DNS-Serviceprovider DynDNS.org aufgeführt.

Also geht man auf https://www.dyndns.com/ und legt einen Benutzernamen mit Passwort an.
Unter "Add Host Services" > "Add Dynamic DNS Host" wählt man sich einen Namen für die Webadresse aus.

Unter "My Services" > runter scrollen > "Host Level Services" ist jetzt die gewählte Adresse zu finden. Dort klickt man auf den Link "Dynamic DNS" Und dort ist die derzeitige IP des Rechners und die IP, mit welcher die Webadresse zur Zeit verbunden ist. Mit Modify Host" kann man die IP aktualisieren. Wenn man nun in einem neuen Browserfenster die vorhin gewählte Adresse eingibt, zeigt der Browser die auf dem lokalen Webserver liegende index.html Datei an. Da man aber nicht immer um 4:00Uhr Nachts aufstehen will um per Hand die Ip zu aktualisieren, gibt es z.B. ddclient.

== Konfiguration von ddclient ==

Ein Umsteiger mag nun erwarten, dass er über die Taskleiste ein Programm findet, welches "ddclient" heißt. Um möglichen Enttäuschungen vorzubeugen, weise ich darauf hin, dass wir uns hier mit einer steril aussehenden Konfigurationsdatei
/etc/ddclient.conf
oder
/etc/ddclient/ddclient.conf
befassen müssen, die in diesem Fall bis zum oberen Rande mit Beispiel-Konfigurationen und ausreichend enthaltenen Komentaren so gefüllt ist, dass man erst mal gar nicht weiss, wo man anfangen soll.
Mein Tipp wäre erst mal die Datei in einen Ordner im z.B. homeverzeichnis zu sichern. Nun öffnet man das gute Stück indem man in der Konsole als
[[root]] mit dem Befehl "mc", oder aber wie ich das momentan gerne mache, den [[Konqueror]] auch als [[root]] mit dem Befehl "konqueror" öffnen. In beiden Fällen muss man erst mal in das Verzeichnis /etc/ browsen. In erstem Fall öffnet man die Datei ddclient.conf mit "bearbeiten". Im zweiten Fall klickt mit der rechten Maustaste drauf und öffnet sie mit [[Kate]]. Den Inhalt kann man einfach mal komplett löschen und dann folgendes einsetzen:

######################################################################
##
## Define default global variables with lines like:
## var=value [, var=value]*
## These values will be used for each following host unless overridden
## with a local variable definition.
##
## Define local variables for one or more hosts with:
## var=value [, var=value]* host.and.domain[,host2.and.domain...]
##
## Lines can be continued on the following line by ending the line
## with a \
##
######################################################################
daemon=300 # check every 300 seconds
syslog=yes # log update msgs to syslog
#mail=root # mail all msgs to root
#mail-failure=root # mail failed update msgs to root
pid=/var/run/ddclient.pid # record PID in file.
#
#use=watchguard-soho, fw=192.168.111.1:80 # via Watchguard's SOHO FW
#use=netopia-r910, fw=192.168.111.1:80 # via Netopia R910 FW
#use=smc-barricade, fw=192.168.123.254:80 # via SMC's Barricade FW
#use=netgear-rt3xx, fw=192.168.0.1:80 # via Netgear's internet FW
#use=linksys, fw=192.168.1.1:80 # via Linksys's internet FW
#use=maxgate-ugate3x00, fw=192.168.0.1:80 # via MaxGate's UGATE-3x00 FW
#use=elsa-lancom-dsl10, fw=10.0.0.254:80 # via ELSA LanCom DSL/10 DSL Router
#use=elsa-lancom-dsl10-ch01, fw=10.0.0.254:80 # via ELSA LanCom DSL/10 DSL Router
#use=elsa-lancom-dsl10-ch02, fw=10.0.0.254:80 # via ELSA LanCom DSL/10 DSL Router
#use=alcatel-stp, fw=10.0.0.138:80 # via Alcatel Speed Touch Pro
#use=xsense-aero, fw=192.168.1.1:80 # via Xsense Aero Router
#use=allnet-1298, fw=192.168.1.1:80 # via AllNet 1298 DSL Router
#use=3com-oc-remote812, fw=192.168.0.254:80 # via 3com OfficeConnect Remote 812
#use=e-tech, fw=192.168.1.1:80 # via E-tech Router
#use=cayman-3220h, fw=192.168.0.1:1080 # via Cayman 3220-H DSL Router
#
#fw-login=admin, fw-password=XXXXXX # FW login and password
#
## To obtain an IP address from FW status page (using fw-login, fw-password)
#use=fw, fw=192.168.1.254/status.htm, fw-skip='IP Address' # found after IP Address
#
## To obtain an IP address from Web status page (using the proxy if defined)
#use=web, web=checkip.dyndns.org/, web-skip='IP Address' # found after IP Address
#
#use=ip, ip=127.0.0.1 # via static IP's
#use=if, if=eth1 # via interfaces
##Funktioniert nicht mit dem ip Update
#use=if, if=ppp0 # für DSL
use=web # via web

protocol=dyndns2 # Standardprotokoll
server=members.dyndns.org # Standardserver
login=Dein Login # Standard-Login für den DynDNS-Account
password=Dein Passwort # Standard-Passwort
wildcard=yes # add wildcard CNAME?

server=members.dyndns.org, \
protocol=dyndns2, \
Deine dyndns Adresse

Im Prinzip brauchen hier nur Drei Einträge vollzogen werden, den Login-Namen, das Passwort und die DynDNS Adresse (alles aus der Anlage des Accounts auf dyndns.com, was im übrigen mit dyndns.org identisch ist). Das wars dann auch schon.

Der Eintrag

use=web, web=checkip.dyndns.org/, web-skip='IP Address' # found after IP Address
oder

use=web # via web
dient dazu, um von aussen zu gucken, welche "Hausnummer" also IP der Rechner von außen hat. Alle anderen Einträge würden nachgucken, welche "Hausnummer" - IP der Rechner von innen hat.

Diese Konfiguration funktioniert wenn der Rechner per Ethernet über ein DSL Modem im Netz hängt.

Andere Konfigurationen können gerne an dieser Stelle eingefügt werden. z.B. über einen Router. Nutzt der Provider über den man ins Netz geht einen solchen Router so kann es auch Probleme geben, denn da würde eventuell immer die Homepage-Adresse auf den ggf. zum Zuge ommenden Proxyserver des Providers laufen statt auf den eigenen mit der Funktion ja anvisierten Rechner.

Um http://yehudi.de auch unter http://www.yehudi.de erreichbar zu machen müssen zwei Punkte beachtet werden.
Einmal oben in der Grafik bei "Enable Wildcard" ein Häkchen, und die Option

wildcard=yes # add wildcard CNAME?

dabei muss diese Zeile

use=web # via web
verwendet werden.

Die Datei sollte zwecks des Passwortes nur rootrechte haben, dazu geben wir in der Konsole

chmod -Rc a-rwx /etc/ddclient.conf
als root ein.

== Starten von ddclient ==

Unter root in der Konsole geben wir

ddclient start
ein. Damit startet ddclient.

Weitere Befehle sind:

ddclient stop
killall -9 ddclient

== Starten von ddclient bei Systemstart ==
Normalerweise wird in den gängigen [[Linux Distributionen]] bereits ein entsprechendes Startscript mitgeliefert, ebenso wie in den Versionen aus den diversen Drittanbieter-Repositories.
Für [[openSUSE]] (oder nach entsprechender Anpassung auch anderen [[Linux Distributionen]]) kann man auch folgendes Startscript nutzen, dazu folgen wir oc2pus seinen Anweisungen:

1.) dieses script nach /etc/init.d/ddclient kopieren

<nowiki>
#!/bin/sh
#
# init.d/ddclient
#
### BEGIN INIT INFO
# Provides: ddclient
# Required-Start: $named $network
# Required-Stop:
# Default-Start: 3 5
# Default-Stop:
# Description: ddclient provides support for updating dynamic DNS services.
### END INIT INFO

. /etc/rc.status
rc_reset

[ -f /etc/ddclient.conf ] || exit 0

PATH=/usr/sbin:${PATH}
COLUMNS=9999
export PATH COLUMNS
program=ddclient

case "$1" in
start)
echo -n "Starting ddclient: "
# ddclient -daemon 300
ddclient -v
rc_status -v
;;
stop)
echo -n "Shutting down ddclient: "
kill `ps -aef | awk '/[ \/]perl.*ddclient/ { print $2}'`
rc_status -v
;;
restart)
$0 stop
$0 start
rc_status
;;
status)
pids=`ps -aef | awk '/[ \/]perl.*ddclient/ { print $2}'`
if test "$pids"
then
for p in $pids
do
echo "$program (pid $p) is running"
done
else
echo "$program is stopped"
fi
rc_status -v1
;;
*)
echo "Usage: ddclient {start|stop|restart|status}"
exit 1
esac

exit 0</nowiki>

2.)
cd /etc/init.d
insserv ddclient

3.)
cd /sbin
ln -s ../etc/init.d/ddclient rcddclient

jetzt wird der ddclient in runlevel 3 und 5 gestartet
oder mit rcddclient start

Dieser Abschnitt stammt von oc2pus aus diesem Thread:
http://www.linux-club.de/viewtopic.php?p=90597

== Suche von Fehlerquellen ==

Hierzu können zwei Befehle genutzt werden:

cat /etc/ddclient.cache

und

tail -20 /var/log/messages

=Weitere Quellen und Links=
* [http://ddclient.sourceforge.net Offizielle ddclient Projekthomepage] {{Englisch}}
* [[Startscript für ddclient unter SUSE/openSUSE]] - Modifikation des obigen Scriptes falls die Neu- oder Wiedereinwahl per smpppd Probleme mit der Aktualisierung macht.
==Einige unterstützte DynDNS Serviceanbieter==
Die Liste stammt aus der Dokumentation von ddclient, den tests nach ist die Aktualität aber nicht wirklich gegeben:
* [http://www.dyndns.org DynDNS.org] (bis zu 5 kostenlose DynDNS Domains,auch statische, wer mehr Domains braucht muss zahlen){{Englisch}}
* [http://www.dnspark.com DNSPark.com] {{Englisch}}
* [http://www.orgdns.org OrgDNS.org] (offenbar nicht mehr aktiv, hat nun wohl andere Inhalte als DynDNS betreffende) {{Deutsch}}
* [http://www.dslreports.com DSLReports] (scheint auch nicht mehr mit den ursprünglichen Diensten aktiv zu sein, zumindest war DynDNS dort nicht direkt zu finden) {{Englisch}}
* [http://www.hn.org Hammernode] (offenbar nicht mehr aktiv)
* [http://www.easydns.com EasyDNS] {{Englisch}}
* [http://www.zoneedit.com ZoneEdit] (bietet ebenso kostenlose DynDNS Domains) {{Englisch}}

==Weiter DynDNS Dienstanbieter die eigene Software statt ddclient nutzen==
* [http://www.selfhost.de SelfHost.de] (bietet kostenpflichtig auch .de Domains an, nutzt dazu jedoch ein eigenes Updatetool, welches für Linux, Windows und MacOS erhältlich ist) {{Deutsch}}

----

[[DHCP und DNS|zurück zu DHCP und DNS]]

[[Category:DHCP und DNS]]

Bootverzögerungen durch fsck

2013-02-09T00:49:13Z

Itu: Itu verschob Seite BootverzÃ¶gerungen durch fsck nach Bootverzögerungen durch fsck

; Das Problem :
Gelegentlich wird man besonders bei Verwendung von sehr großen Filesystemen auf das Problem stoßen, dass der [[Bootvorgang]] hin und wieder einmal sehr lange dauert. ( manchmal 5 und mehr Minuten länger als normal ) Das liegt daran, das Filesysteme hin und wieder einmal während des Bootvorganges überprüft werden.

Hier soll das Problem an Hand des [http://de.wikipedia.org/wiki/Ext3 ext3-Filesystems] erklärt und aufgezeigt werden, sowie die Möglichkeit der optimalen Einstellungen für solche Filesysteme vorgestellt werden.

== kompletter Filesystemcheck bei ext3 ==
=== Das ext3 Filesystem ===

Beim ext3-Filesystem handelt es sich um eine Erweiterung des ext2-Filesystem, genauer um die Erweiterung eines '''Filesystem-Journals''' im ext2-Filesystemen sowie kleine weitere Änderungen von Eigenschaften und Möglichkeiten. Der grundsätzliche Aufbau beider Filesysteme ist absolut gleich. Aus diesem Grunde lassen sich ext2-Filesysteme auch problemlos ohne aufwendige Konvertierung in ext3-Filesysteme umwandeln und umgekehrt. Auch die Befehle und Tools sind für beide Filesysteme die selben, wie man hier an Hand der gleichen [[Inode]] schnell erkennen kann.
<pre>
LINUX:/ # ls -il /sbin/fsck.ext? /sbin/mkfs.ext?
442822 -rwxr-xr-x 3 root root 131344 Apr 6 2004 /sbin/fsck.ext2
442822 -rwxr-xr-x 3 root root 131344 Apr 6 2004 /sbin/fsck.ext3
442757 -rwxr-xr-x 3 root root 31080 Apr 6 2004 /sbin/mkfs.ext2
442757 -rwxr-xr-x 3 root root 31080 Apr 6 2004 /sbin/mkfs.ext3
</pre>

==== Das Filesystem-Journal ====

Ein [http://de.wikipedia.org/wiki/Journaling-Dateisystem Journal] kann man sich vorstellen wie ein Aufgabenbuch. Hier wird zuerst einmal festgehalten was gemacht werden soll, erst dann werden die einzelnen Arbeiten ausgeführt und der Aufgabeneintrag danach wieder entfernt. Es werden also zuerst alle anstehenden Änderungen am Filesystem in eine spezielle Datei, dem Journal, vermerkt und auf die Festplatte geschrieben, bevor sie wirklich am Filesystem ausgeführt werden. Auf dem ersten Blick ist das doppelte Arbeit, die auch wirklich etwas Rechenzeit bei Änderungen an den Dateien verbraucht, hat aber den Vorteil, die Daten im Filesystem bleiben auch zB. bei einem plötzlichen Rechnerabsturz konsistent auf der Festplatte stehen. Der Rechner kann dann an Hand des Journals erkennen was die letzte Operation am Filesystem war, oder hätte sein sollen, und kann diese wiederholen und noch im Journal ausstehende Änderungen am Filesystem durchführen. Der Vorteil macht sich nach einem solchem Systemabsturz dann beim Mounten bemerkbar.
Ein Filesystem kann nur eingehängt werden wenn es ''clean'' ist, also entweder sauber ausgehängt wurde oder dieses Flag mit Hilfe eines [http://linux.die.net/man/8/fsck '''fsck'''] gesetzt worden ist. Ein ext2-Filesystem muss also nach einem Systemabsturz erst einmal komplett überprüft werden. Das kann je nach Größe des Filesystems einige Minuten, in extrem großen Filesystemen aber auch Stunden dauern, Der Bootvorgang wird hier solange verzögert bis das Filesystem eingehängt werden kann. Beim Journalfilesystem braucht fsck nur das Journal abzuarbeiten und ist innerhalb von wenigen Sekunden fertig und kann das Cleanflag setzen und der Bootvorgang geht sofort weiter.

Neben dem oben beschrieben kompletten Journaling ( die Änderungen werden wirklich 2 Mal auf die Festplatte geschrieben, einmal ins Journal und dann noch einmal ins Filesystem ) wie es in frühen Versionen von ext3 Standard war, gibt es noch 2 weitere Methoden das Journal zu benutzen, den Modus '''ordered''' und den Modus '''writeback'''. Diese stellen einen Kompromiss zwischen Geschwindigkeit und Datensicherheit dar. Welcher Modus für das Journal verwendet wird, wird mit dem '''mount'''-Optionen festgelegt. Default ist '''ordered''' als akzeptabler Kompromiss zwischen Zuverlässigkeit und Geschwindigkeit eingestellt.

Weitere Informationen dazu in [http://linux.die.net/man/8/mount Manpage mount] Aus den CHANGES-files alter Distributionen stammt diese Beschreibung der einzelnen Optionen
<pre>
"mount -o data=journal"
Journals all data and metadata, so data is written twice. This
is the mode which all prior versions of ext3 used.

"mount -o data=ordered"
Only journals metadata changes, but data updates are flushed to
disk before any transactions commit. Data writes are not atomic
but this mode still guarantees that after a crash, files will
never contain stale data blocks from old files.

"mount -o data=writeback"
Only journals metadata changes, and data updates are entirely
left to the normal "sync" process. After a crash, files will
may contain stale data blocks from old files: this mode is
exactly equivalent to running ext2 with a very fast fsck on reboot.
</pre>

=== Optionen für einen kompletten Filesystemcheck ===

==== Werte beim Anlegen des Filesystems ====

Beim Anlegen eines ext2 oder ext3 Filesystems wird per Zufallsgenerator innerhalb eines bestimmten Bereiches festgelegt, nach wieviel Mounts dieses Filesystem beim mounten komplett überprüft werden soll, auch wenn das Filesystem der Meinung ist, ich bin '''clean'''. Bei sehr großen Filesystemen dauert ein solcher Filesystemcheck dann Minuten oder auch Stunden. Das ist bei einem Journal-Filesystem aber wichtig, das es hin und wieder einmal komplett geprüft wird, denn nach einem Crash zB. wird ja nur das Journal abgearbeitet und nicht wirklich das gesamte Filesystem nach eventuellen Fehlern überprüft. Es können also hier durchaus kleinere Fehler dennoch im Filesystem sein, obwohl der Filesystem der Meinung ist, es ist sauber.
Es werden dort also Zufallswerte für Anzahl der Mounts und 180 Tage für Anzahl der Tage festgelegt. Nach dem Ablauf eines dieser Werte, wird das Filesystem beim automatischen mount beim booten automatisch komplett überprüft. Zufallszahlen deshalb, damit wenn mehrere Filesysteme gleichzeitig anlegt werden, diese dann nicht alle auf einmal geprüft werden müssen, was sonst dann viel zu lange dauern würde und es auch nicht notwendig ist, alle Filesysteme gleichzeitig zu prüfen.

Ausgabe beim Anlegen eines ext3 Filesystemes könnte zB so hier aussehen
Code:
<pre>
This filesystem will be automatically checked every 33 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
</pre>

==== Werte auslesen ====

Anzeigen lassen kann man sich die Werte eines ext2/ext3 Filesystems mit [http://linux.die.net/man/8/dumpe2fs dumpe2fs].
<pre>
LINUX:/ # dumpe2fs -h /dev/sdb3
dumpe2fs 1.34 (25-Jul-2003)
Filesystem volume name: <none>
Last mounted on: <not available>
Filesystem UUID: 655d8084-3830-4006-9c9b-c70fe223bac8
Filesystem magic number: 0xEF53
Filesystem revision #: 1 (dynamic)
Filesystem features: has_journal filetype needs_recovery sparse_super
Default mount options: (none)
Filesystem state: clean
Errors behavior: Continue
Filesystem OS type: Linux
Inode count: 1144640
Block count: 2285246
Reserved block count: 114262
Free blocks: 1177002
Free inodes: 1144593
First block: 0
Block size: 4096
Fragment size: 4096
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 16352
Inode blocks per group: 511
Filesystem created: Sun Jun 4 18:00:03 2006
Last mount time: Mon Dec 25 14:22:14 2006
Last write time: Mon Dec 25 14:22:14 2006
Mount count: 3
Maximum mount count: 20
Last checked: Mon Dec 25 11:41:31 2006
Check interval: 15552000 (6 months)
Next check after: Sat Jun 23 12:41:31 2007
Reserved blocks uid: 0 (user root)
Reserved blocks gid: 0 (group root)
First inode: 11
Inode size: 128
Journal inode: 8
Default directory hash: tea
Directory Hash Seed: 0d2f6350-84ae-4784-b3e9-db6437d3395e
</pre>

Aus folgenden Abschnitt kann man erkennen, wann das Filesystem das letzte mal geprüft wurde und wann es wieder geprüft werden muss.
<pre>
Mount count: 3
Maximum mount count: 20
Last checked: Mon Dec 25 11:41:31 2006
Check interval: 15552000 (6 months)
Next check after: Sat Jun 23 12:41:31 2007
</pre>
In diesem Beispiel hier also entweder nach dem 23. Juni Mittags oder nach 17 weiteren Mounts je nach dem was eher eintritt.

==== Werte manuell neu setzen ====

Den Wert maximale Anzahl der mounts kann man zB. ändern mit

<pre>
LINUX:/ # tune2fs -c 50 /dev/sdb3
tune2fs 1.34 (25-Jul-2003)
Setting maximal mount count to 50
</pre>

ebenso kann man auch die maximale Anzahl der Tage änderen, nach deren Ablauf beim nächsten Mount wieder geprüft werden soll. (360d sind hier 360 Tage )
<pre>
LINUX:/ # tune2fs -i 360d /dev/sdb3
tune2fs 1.34 (25-Jul-2003)
Setting interval between check 31104000 seconds
</pre>

Komplettes ausschalten beider Optionen dann analog
tune2fs -i 0 -c 0 /dev/PARTITION

es lassen sich auch noch andere Parameter eines ext2/ext3-Filesystems mit '''tune2fs''' ändern. Die [http://linux.die.net/man/8/tune2fs Manpage von tune2fs] ist hierfür der erste Anlaufpunkt.

=== Welche Werte sind nun für mich optimal ? ===

Kommt ganz darauf an, ist es auch gleichzeitig das Rootfilesystem oder ein anderes Systemfilesystem oder ist ein Home oder ein anderes Datenfilesystem, wird der Rechner jetzt täglich gebootet, oder läuft er monatelang durch und vor allem wie groß ist das Filesystem damit man eine ungefähre Vorstellung davon hat, wie lange es dann dauert?

Bei einem Rootfilesystem sollte man es auf gar keinen Fall komplett abschalten, da dort ''fsck'' nur schlecht per Hand angestoßen werden kann. Ein reines Datenfilesystem, hier könnte man es auch durchaus komplett ausschalten, (ist aber ausdrücklich nicht empfohlen) dann sollte aber dennoch hin und wieder mal ein komplettes ''fsck'' per Hand darüber laufen, spätestens so nach 3 bis 5 Systemcrash oder harten Ausschalten des Systems.
fsck -f /dev/PARTITION
Ansonsten den Wert so einstellen, dass ca. nach einem halben Jahr spätestens einmal überprüft wird. Also bei täglichem Booten oder sogar mehrfachen bootens pro Tag, dann kann man den Maxboot-Count hochschrauben oder mit '''-c 0''' auch gleich ganz ausschalten. Der Tageszähler auf 120-180 Tage einstellen.

Handelt es sich um einen Server, der normalerweise selten rebootet wird, dann die Zeit mit ''' -i 0''' ausschalten und Maxboot auf zB. 10 stellen.

Wenn ein Server der normalerweise überhaupt nicht rebootet wird, so eingestellt wird, dass er bei jedem booten dann den Filesystemcheck durchführt, ist das zwar erstmal optimal eingestellt, man sollte sich aber dann auch darüber klar sein, gibt es irgendwelche Probleme mit diesem Rechner und dieser muss zB. bei einer Reparatur 10 Mal hintereinander gebootet werden, dann werden dann auch 10 Mal die Filesysteme überprüft. Auch solche Unvorhersehbarkeiten sollte man durchaus mit in seine Überlegungen einfließen lassen.

Wenn man sowieso mal gerade Wartungsarbeiten an seinem System ausführt und das Filesystem gerade nicht gemountet ist, dann kann man sich bei sehr großen Filesystemen auch hier mal unabhängig der eingestellten Werte zu einem manuell angestoßenen Filesystemcheck entschließen und so den Zeitpunkt für einen lange dauernden Filesystemcheck in eine günstigere Zeit verschieben.

Ein ext3 sollte aber eben hin und wieder einmal komplett gescannt werden, ob man das jetzt per Hand machen will, und es dann doch wieder vergisst, oder automatisch mit der Gefahr, dass es gerade dann passiert wenn man es überhaupt nicht gebrauchen kann, ist das Problem eines jeden Administrators selbst. Jedenfalls sollte man sich bei größeren Filesystemen (20 GB und größer) diese Werte mal anschauen und dann entscheiden ob sie entsprechend ihrer Verwendung nicht doch optimiert werden müssten.

=== Weitere Links ===

* [http://www.linux-club.de/viewtopic.php?t=72370 Suse bootet manchmal langsam!?]

[[Category:Bootmanager]]
[[Category:Systemverwaltung]]

HP Multifunktionsgeräte Installationsanleitung

2013-01-28T00:33:22Z

Itu: annehmlich formatiert

Eine '''Installationsanleitung für HP-Multifunktionsgeräte''' (Stand: Januar 2013)

=== Voraussetzung: ===
* HPLIP und HPIJS müssen installiert sein (automatisch bei Opensuse)
* CUPS ist installiert und läuft
* Python ist installiert
* Sane ist installiert
* In der Datei /etc/sane.d/dll.conf darf der Eintrag "hpiao" nicht auskommentiert sein

=== Vorgehen für Druckbetrieb per Netzwerk (Drucker hängt direkt im lokalen Netz) ===

1. Gehe an den Drucker und rufe das Einstellungsmenü auf. Suche die Einstellung für das Netzwerk und richte den Drucker mit einer festen IP-Adresse ein. Merk Dir die Adresse.

2. Prüfe, ob am Rechner, der auf diesen Drucker zugreifen soll, eine Firewall läuft. Wenn ja, dann rufe per Yast die Firewall-Einstellungen auf, gehe zu "erlaubte Dienste" und suche in "zu erlaubende Dienste den "Zeroconf/Bonjour Multicast DNS"-Dienst. Füge ihn hinzu und beende die Firewall-Einstellungen.

=== Vorgehen für Drucker am USB-Anschluss: ===

* Verbinde den Drucker per USB-Kabel mit dem zuständigen Rechner

=== Vorgehen für alle ===

1. Läuft der Drucker? Wenn nicht, dann jetzt!

2. Starte am Rechner eine Konsole und gib ein: "hp-check -r" (kein root nötig)

3. Das Skript wird wahrscheinlich Fehler ausgeben. Vergiss alle Fehler mit dem Ausdruck "devel", ebenso diese Fehler: builttool, gcc und reportlab Überprüfe den Rest. Falls irgendwelche libs fehlen, dann hat das Tool wahrscheinlich nicht die Version gefunden, die es gern finden möchte. Und das ist egal.

4. Starte jetzt als root das Script "hp-setup" und antworte jeweils richtig. Für Netzwerkdrucker kann es jetzt wichtig sein, manuell zu suchen und dafür die IP-Nummer einzugeben.

Falls das erfolgreich durchläuft, siehst Du Deinen Drucker und er ist eingerichtet. Wenn Du im Browser "http://localhost:601" eingibst (oder CUPS anderweitig aufrufst), dann kannst Du dort den eingerichteten Drucker sehen. Vielleicht wäre eine Testseite jetzt angesagt?

Den Scanner kannst Du für schnelle Scans wahrscheinlich im Browser ansprechen: "die-ip-deines-druckers". Dann erscheint die Weboberfläche des Scanners.

Für gute und detaillierte Scans starte XSane, dort ist der Scanner bereits eingetragen.

Zentrales Update für verschiedene PCs mit apt

2013-01-27T02:04:46Z

Itu: Itu verschob Seite Zentrales Update fÃ¼r verschiedene PCs mit apt nach Zentrales Update für verschiedene PCs mit apt: fix/utf

Wenn man mehrere Linux-PCs im Einsatz hat, möchte man natürlich die Updates nur einmal aus dem Internet laden

Um das zu erreichen, wird einer der PCs das apt-Repository und den Cache verwalten. Die anderen PCs nutzen dann diesen Cache ebenfalls mit. Dieser PC exportiert das apt-Verzeichnis als NFS-Server. Die anderen importieren dieses Verzeichnis dann.
Wie man den NFS-Server und die -Clients aufsetzt setze ich hier mal als bekannt voraus.

Eventuell richtet man sich noch eine eigene Gruppe apt und einen speziellen apt-user ein. Das rundet die Sache ab, ist aber nicht zwingend erforderlich. Diesem apt-user gewährt man dann root-Zugriff via sudo. Auch das setze ich als bekannt voraus.

Mein apt-cache und die apt-Verwaltungsdaten liegen in /local/packages
Dieses Verzeichnisse wird dann via NFS exportiert. Die anderen PCs mounten dieses Verzeichnis (NFS-Clients) und können dann von dort die Pakete holen und gegebenfalls auch neue Pakete dort einfügen. Die Clients müssen ja nicht zwingend die gleichen Pakete installiert haben

Damit apt mit dem Verzeichnis /local/packages arbeitet und nicht per default mit /var/cache/apt und /var/state/apt ist eine kleine Änderung an der /etc/apt/apt.conf.d/apt.conf erforderlich:

// Directory layout
Dir "/"
{
// Location of the state dir
State "local/packages/state/apt"
{
lists "lists-9.1/";
xstatus "xstatus";
userstatus "status.user";
status "/local/packages/status";
};

// Location of the cache dir
Cache "local/packages/cache/apt/" {
archives "archives-9.1/";
srcpkgcache "srcpkgcache-9.1.bin";
pkgcache "pkgcache-9.1.bin";
};

...
};

In der Sektion Dir "/" legt man die Verzeichnisstruktur für apt fest.
in diesem Beispiel also /local/packages als Wurzel.

Diese Verzeichnisstruktur erzeugt man mit

mkdir -p /local/packages/cache/apt/archives-9.1/partial
mkdir -p /local/packages/state/apt/lists-9.1/partial
touch /local/packages/cache/apt/archives-9.1/lock
touch /local/packages/state/apt/lists-9.1/lock

Wer mehrere SuSE Versionen hat, erzeugt dann eben noch weitere

mkdir -p /local/packages/cache/apt/archives-9.0/partial
mkdir -p /local/packages/state/apt/lists-9.0/partial

Auf den einzelnen Clients befindet sich dann nur noch die apt Konfiguration in /etc/apt. Und diese Konfiguration ist dann auf das jeweilige apt-Verzeichnis anzupassen, also die 9.0 SuSE-Rechner zeigen auf archives-9.0 und lists-9.0, die 9.1er SuSE-Rechner zeigen entsprechend dann auf archives-9.1 und lists-9.1.

Damit der parallele Zugriff auf das apt-NFS-Verzeichnis funktioniert ist natürlich auf allen Rechnern der nfs-lock-daemon zu starten!!

Wer nur eine SuSE Version auf allen PCs hat, der könnte sogar die apt-Konfiguration ebenfalls auf dem /local/packages Verzeichnis aufsetzen und in ein /local/packages/etc/apt kopieren. Dazu ist dieser Block entsprechend anzupassen:

// Config files
Etc "local/etc/apt/" {
sourcelist "sources.list";
main "apt.conf";
preferences "preferences";
};

Die zentrale Konfiguration wird dann dem apt-get -c /local/packages/apt/etc/apt.conf mitgegeben

Zur Klarheit hier noch eine komplette apt.conf:

// with "apt-config dump" all settings can be viewed

Acquire::CDROM::Copy "true";

Debug
{
pkgRPMPM "false";
}

RPM
{
// Hold (do not update) a list with pkgs:
// Hold { "k_deflt"; "sane"; };
// Leave list empty to disable
Hold { "kernel-default"; "kernel-source"; };
Ignore {"gpg-pubkey"; };

Options { };
Install-Options "";
Erase-Options "";
Source {
Build-Command "rpmbuild --rebuild";
};
}

// Directory layout
Dir "/"
{
// Location of the state dir
State "local/state/apt/"
{
lists "lists/";
xstatus "xstatus";
userstatus "status.user";
status "/local/status";
};

// Location of the cache dir
Cache "local/cache/apt/"
{
archives "archives/";
srcpkgcache "rcpkgcache.bin";
pkgcache "pkgcache.bin";
};

// Config files
Etc "local/etc/apt/"
{
sourcelist "sources.list";
main "apt.conf";
preferences "preferences";
};
};

und als zusätzlichen kleinen Tip für die "schreibfaulen":

In meiner .bashrc habe noch folgende Aliase erstellt, vielleicht erleichtert das jemand die Arbeit mit der neuen Konfiguration:

alias apt-get='sudo apt-get -c /local/etc/apt/apt.conf.d/apt.conf'
alias apt-cache='sudo apt-cache -c /local/etc/apt/apt.conf.d/apt.conf'

oc2pus

----
[[Paketmanager|Zurück zum Paketmanager]] 
[[Category:APT]]

Diskussion:Faxen

2013-01-26T13:40:18Z

Itu: >> autorkommentar

=Vergessener Artikel?=
Ist dieser Artikel einfach nur vergessen worden oder ist er mittlerweile völig überholt? Jedenfalls hab ich mir deshalb nun das Anbringen von Navigationslinks erstmal bis zur Fragenklärung gespart....--[[Benutzer:TomcatMJ|TomcatMJ]] 02:16, 12. Mär 2007 (CET)

==Autorkommentar==
:''Aus dem Artikel hierherverlegt:'' --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 14:40, 26. Jan. 2013 (CET) 
Unter Microsft Word hab ich leider keine Einstellung gefunden wie man einzelne Druckjobs erzeugen kann, vielleicht kann ja noch jemand einen Hinweis geben.

Ich hab vieles bewusst so erklärt, dass auch Linuxneulinge was damit anfangen können.

Ich hoffe damit dem ein oder anderen geholfen zu haben. [-- Yehudi]

Faxen

2013-01-26T13:37:18Z

Itu: autorkommentar >> disk

Von jedem beliebigen Client im lokalen Netz, auf dem wir den Faxegate Drucker eingerichtet haben, können wir jetzt aus jedem Textverarbeitungsprogramm heraus faxen indem wir die Faxnummer des Empfängers einfach wie folgt eingeben, und über unseren Faxgate Drucker ausdrucken.

Fax-Nr.: 0123-456789

Es dürfen keine / Zeichen oder andere Sonderzeichen vorkommen. 
Ein + dagegen wird automatisch durch 00 ersetzt.

Auf jedem beliebigen Client des lokalen Netzes, an dem wir einen Mailaccount eingerichtet haben, können wir jetzt die Benachrichtigungsmail über das erfolgreiche Senden des Faxes, oder über eingegangene Faxe abholen.

Von Faxgate gibt es auch noch einen javabasierten Clienten, der aber leider IP- und damit hostgebunden ist.
Das heißt der gleiche User kann immer nur auf dem voreingestellten gleichen Host benachrichtigt werden.

Mehr dazu auf http://home.arcor.de/ingo.goeppert/faxgate/

edit: Zum versenden von Serienfaxen aus OpenOffice.org bei -> Extras -> Optionen -> OpenOffice.org Writer -> Drucken -> Einzelne Druckjobs erzeugen aktivieren, sonst kriegt nur die erste Nummer das Fax.

----
[[Faxen und Telefonieren|zurück zu Faxen und Telefonieren]]

[[Category:Faxen und Telefonieren]]

Faxen

2013-01-26T13:36:19Z

Itu:

Von jedem beliebigen Client im lokalen Netz, auf dem wir den Faxegate Drucker eingerichtet haben, können wir jetzt aus jedem Textverarbeitungsprogramm heraus faxen indem wir die Faxnummer des Empfängers einfach wie folgt eingeben, und über unseren Faxgate Drucker ausdrucken.

Fax-Nr.: 0123-456789

Es dürfen keine / Zeichen oder andere Sonderzeichen vorkommen. 
Ein + dagegen wird automatisch durch 00 ersetzt.

Auf jedem beliebigen Client des lokalen Netzes, an dem wir einen Mailaccount eingerichtet haben, können wir jetzt die Benachrichtigungsmail über das erfolgreiche Senden des Faxes, oder über eingegangene Faxe abholen.

Von Faxgate gibt es auch noch einen javabasierten Clienten, der aber leider IP- und damit hostgebunden ist.
Das heißt der gleiche User kann immer nur auf dem voreingestellten gleichen Host benachrichtigt werden.

Mehr dazu auf http://home.arcor.de/ingo.goeppert/faxgate/

edit: Zum versenden von Serienfaxen aus OpenOffice.org bei -> Extras -> Optionen -> OpenOffice.org Writer -> Drucken -> Einzelne Druckjobs erzeugen aktivieren, sonst kriegt nur die erste Nummer das Fax.

Unter Microsft Word hab ich leider keine Einstellung gefunden wie man einzelne Druckjobs erzeugen kann, vielleicht kann ja noch jemand einen Hinweis geben.

Ich hab vieles bewusst so erklärt, dass auch Linuxneulinge was damit anfangen können.

Ich hoffe damit dem ein oder anderen geholfen zu haben.

----
[[Faxen und Telefonieren|zurück zu Faxen und Telefonieren]]

[[Category:Faxen und Telefonieren]]

Inode

2013-01-26T13:21:47Z

Itu: ~tippos

== Inode ==
=== kurze Erklärung von Inode ===
Die Inode sind der Dreh- und Angelpunkt sämtlicher Dateizugriffe. Ein Großteil der Arbeit des Betriebssystems ist die Umsetzung von Dateinamen in die dazugehörige Inodes. Um die Funktion einiger Befehle zu verstehen, sollte man einen groben Eindruck davon haben, wie Inodes aufgebaut sind, und welche Informationen sie beinhalten. 
Inodes werden innerhalb der Filesysteme in Inode-Listen geführt. Inodes sind definierte Datenstrukturen, die eine Datei eindeutig beschreiben und verwalten können. Die restlichen Blöcke im Filesystem, die nicht von den Inodes belegt werden, sind die Blöcke für die Daten. In den einzelnen Filesystemen gibt es kleine Unterschiede im Aufbau der Inodestruktur. Auch ist die Verwaltung der Inode in den einzelnen Filesystemen zum Teil sehr verschieden. In einem ext2/ext3 Filesystem zum Beispiel wird bei der Erstellung die Struktur für alle Inodes im Filesystem erzeugt und im Filesystemkopf ist die genaue Anzahl der Inodes im Filesystem festgehalten. In einem Reiserfs werden die Inodes erst erzeugt wenn sie wirklich benötigt werden. Auch besteht ein Unterschied zwischen den Inodes die sich in den Filesystemen auf der Festplatte befinden (Disk Inode), und den Inodes die bei der Bearbeitung im Speicher von Linux (in-core inode) benutzt werden. Auf diese Unterschiede wird hier nicht näher eingegangen. Als Beispiel wird hier etwas vereinfacht die Disk Inode eines ext2-Filesystems beschrieben.

== Aufbau der Inode in ext2 Filesystemen ==
Der Prinzipielle Aufbau eines Inode im ext2 Filesystem besteht in folgender Liste

{| border="1"
|+ '''schematischer Aufbau der ext2 Inode'''
|-
| style="width:250px" | '''Strukturelement'''
| '''Erklärung'''
|-
| Dateimodus || definiert Dateitype und [[Zugriffsrechte]]
|-
| UID || userID des Besitzers der Datei
|-
| Dateigröße || in Byte
|-
| 4 Zeitstempel || letzter Zugriff, letzte Änderung, Inode Erstellung, letzte Löschung Inode
|-
| GUI || GruppenID der die Datei angehört
|-
| Links || Anzahl der Links (also Anzahl der Namen) dieser Datei
|-
| Flags || Wahlschalter für zusätzliche ext2 Eigenschaften
|-
| Datenblockadressen || Tabelle mit deren Inhalt die Addresse der Datenblöcke der Datei verwaltet werden
|-
| Versionsnummer || wird nur beim Anhängen über NFS verwendet
|-
| ACL || Verweise auf Zugriffskontrollisten
|-
| letztes Fragment || Adresse des letzten allokierten Teilblocks
|-
| Zusätzliche Teilblocke || Anzahl und Größe der zusätzliche benutzten Teilblöcke
|}

=== Aufbau und Funktion der Datenblockadressen ===
Die Tabelle der Datenblockadressen hat fünfzehn Einträge, jeder Eintrag zeigt auf einen Datenblock der die eigentlichen Daten der Datei enthält.
* Die ersten 12 Einträge verweisen direkt auf die Datenblöcke
* Der dreizehnte ist ein indirekter Verweis, er verweist zwar auch nur auf einen einzigen Datenblock, doch in diesem kann wiederum auf 256 Datenblöcke verlinkt werden.
* Der vierzehnte Eintrag ist ein doppelt indirekter Verweis, mit seiner Hilfe könnten bis zu 256*256 Datenblöcke adressiert werden.
* Der fünfzehnte Eintrag ist ein dreifach indirekter Verweis, mit seiner Hilfe könnte bis zu 256*256*256 Datenblöcke adressiert werden.

Das Bild soll die Struktur der Verknüpfung der Inode in einem ext2 Filesystem mit den Datenblöcken verdeutlichen.

[[Bild:Inode.gif]]

== Inode bei der täglichen Arbeit mit Filesystemen ==

* Bei '''ls''' wird mittels der Option '''-i''' zu den Dateinamen die Inodenummer mit ausgegeben.
* Die für den Benutzer wichtigen Informationen einer Inode und damit Datei, kann man mit dem Befehl '''stat DATEINAME''' ausgeben.
* Die Gesamtanzahl der Inode in den Filesystemen und die belegten- und freien Inode kann man sich mit dem Befehl '''df -i''' anzeigen lassen.
* Sind in einem Filesystem keine Inode mehr frei, können keine Dateien mehr angelegt werden, auch wenn das Filesystem noch längst nicht voll ist. Dieses Problem könnte mit einigen Filesystemtypen in einem Filesystem mit sehr vielen sehr kleinen Dateien auftreten, wenn nicht schon bei der Erstellung des Filesystems extra eine hohe Anzahl von Inodes in Form von Optionen angegeben wurde. Bei einem ext2/ext3 Filesystem kann man das '''bytes-per-inode ratio''' mittels der Opition '''-i''' von '''mkfs.ext2''' bestimmen. Siehe dazu auch die Manpages der '''mkfs''' Befehle.
* die Anzahl der Inode, die einzelne User oder Gruppen in Filesystemen belegen dürfen, kann mit [[Disk Quota]] beschränkt werden.

Die Informationen die der Befehl '''stat''' liefert:

[[Image:F-stat.png]]

== Weiterführende Informationen und Links ==

http://www.nongnu.org/ext2-doc/ext2.html#INODE-BITMAP

[[Benutzer:Robi|Robi]] 22:18, 23. Okt 2006 (CEST)
[[Category:Partitionen]]
[[Category:Linux-intern]]

Diskussion:Verlorene Dateien wiederherstellen ext3 ext4

2013-01-24T09:40:46Z

Itu: Die Seite wurde neu angelegt: „ Toller Artikel! --~~~~ ==foremost== Was ist mit dem tool foremost? Könnte man das auch noch beschreiben? --~~~~“

Toller Artikel! --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 10:40, 24. Jan. 2013 (CET)

==foremost==
Was ist mit dem tool foremost? Könnte man das auch noch beschreiben? --[[Benutzer:Itu|Itu]] ([[Benutzer Diskussion:Itu|Diskussion]]) 10:40, 24. Jan. 2013 (CET)

Verlorene Dateien wiederherstellen ext3 ext4

2013-01-24T08:25:37Z

Itu: hm, durch, so wie's aussieht

Wird eine Datei gelöscht, dann bleiben die Datenblöcke dieser Datei von der Löschung unberührt. Die Löschung der Datei erfolgt in den Verwaltungsdaten ([[Inode]]) der Datei, sowie in den Verzeichnissen, wo die Inodenummer mit dem Dateinamen verknüpft wird. In einem ext3/4 Filesystem werden die Daten in der Inode soweit gelöscht, das es schwierig wird eine versehentliche Löschung wieder rückgängig zu machen. Lange Zeit war das etwas für Spezialisten und dem Filesystem Debugger. [http://linux.die.net/man/8/debugfs debugfs]

Da es trotz größter Vorsicht hin und wieder mal jedem passieren kann, an dieser Stelle ein paar Hinweise und Links was heute auf ext3/4 möglich und machbar ist. Was man wissen sollte, und wie man vorgehen kann.

-----

== Gelöschte Dateien auf einem ext3 oder ext4 Filesystem wiederherstellen ==

=== Ein paar Einleitende Hintergrundinformationen ===

Um die Probleme und Möglichkeiten die beim Herstellen von gelöschten Dateien bestehen einigermaßen zu verstehen, sollte man folgendes ansatzweise wissen.
Die Gesamtheit einer normalen Dateien bestehen im ext2/3/4 Filesystem aus mehreren Einzelkomponenten
; '''die Datenblöcken''' :
* dieses sind einzelne Blöcke die den Inhalt der Datei, also die reinen Daten, aufnehmen müssen. Je größer die Datei, umso mehr solche Datenblöcke gehören zu dieser Datei.

; '''die [[Inode]]''' :
* hier stehen die Eigenschaften der Datei, wie Dateityp, Zugriffsrechte, User und Gruppe, Dateigröße usw. Die Inode adressiert aber auch über eine Art Zeigersystem die Datenblöcke. Das bedeutet, über die Inode sind alle Datenblöcke die zur Datei gehören erst auffindbar. Bei großen Dateien reicht die direkte Adressierungsmöglichkeit der Inode nicht aus und es werden zwischen die Datenblöcke weitere Adressblöcke geschrieben, die die Adressierung der Inode durch indirekter Adressierung erweitern. Die Daten von großen Dateien werden so sequentiell auf der Festplatte dann durch gelegentliche zusätzlich eingeschobene Verwaltungsblöcke unterbrochen. Große Dateien stehen also nicht in einem Stück auf der Festplatte, da Verwaltungsdaten dazwischen eingeschoben sind.

; '''der Verzeichnisseintrag''' :
* das ist ein Eintrag in einer Verzeichnisdatei. In diesen Verzeichnissdateien wird eine Zuordnung von genau einem Dateinamen zu genau einer Inode gemacht. Hier bekommt eine Datei ihren Namen. Die einzelnen Einträge für die Dateien bilden innerhalb der Verzeichnissdateidaten eine verkettete Liste, mit deren Hilfe alle Dateien dieses Verzeichnisses aufgelistet/angesprochen werden können.

; '''die Kette der Verzeichnisse''' :
* Auch die einzelnen Unterverzeichnisse sind in den Direktories mit einem Namen und der Inode der jeweils eingetragen. So bilden sie eine Art verketter Liste von der Wurzel des Dateisystems bis zum Verzeichnis in dem dann die Dateinamen enthalten sind. Aus den Verzeichnisnamen in dieser Kette wird der Path für diese Datei im Filesystem gebildet, und dieser zusammen mit dem Mountpoint ergibt dann die absolute Adresse einer Datei im gemounteten Filesystem.

Änderungen am Filesystem werden in aller Regel nicht momentan ausgeführt. Das System nimmt den Filesystem Cache und buffert die Daten temporär. Automatisch wird ein "sync" alle paar Sekunden dann die Daten wirklich auf die Platte schreiben. Wird zB eine Datei verändert und unmittelbar danach sofort die ganze Datei gelöscht, dann wird die Änderung der Datei eventuell gar nicht erst auf die Platte geschrieben, sondern nur die Löschung. Wiederherstellen können wir nur das, was auf der Platte steht und nicht das was niemals auf die Platte geschrieben wurde.

Beim Löschen von Dateien in ext3/4 passiert nun vereinfacht folgendes: 
es werden in der Inode die Zeiger auf die Datenblöcke gelöscht. Die Inode bekommt einen Zeitstempel als Lösch-Markierung, die Datenblöcke werden als "Frei verfügbar" markiert, und in den Verzeichnisdateien werden die Einträge mit dem Dateinamen und der dazugehörigen Inode ausgekettet (nicht gelöscht). Somit sind diese Dateinamen dann im Dateisystem bei normalen Zugriffen nicht mehr sichtbar. Es werden also nicht alle Spuren einer Datei beim Löschen endgültig beseitigt, im Gegenteil es wird gar nicht erst versucht. Es wird nur dafür gesorgt das sie nicht mehr zu sehen und zu finden ist und die belegten Datenbereiche dieser Datei wieder frei verfügbar sind. Bei ext3/4 ist im Gegensatz zu ext2 aber genau die Entfernung der Verlinkung in der Inode zu den Datenblöcken der Datei, ein Problem das ein rückgängig machen einer ausgeführten Löschung, ausgesprochen schwierig gestaltet.

-----

=== wiederherstellen von versehentlich gelöschten offene Dateien ===

==== Dateien aus dem /proc Verzeichnis wiedergewinnen ====

Gelegentlich kann es vorkommen, und man löscht eine Datei versehentlich und merkt sofort: "Hilfe diese Datei wird benötigt und ich habe sie auch gerade noch in einem anderem Programm in Benutzung".

Rechtzeitig bemerkt ist so was erst einmal nur Halb so schlimm. Solange eine Datei noch von einem Prozess geöffnet ist, existiert im Rechner noch der Verweis auf die Datei, und der entsprechende Prozess kann weiter mit dieser Datei arbeiten. In den Verzeichnissen ist die Datei schon nicht mehr sichtbar. Andere Prozesse können diese Datei jetzt also auch nicht mehr öffnen weil sie nicht mehr zu finden ist. Sobald der letzte Prozess, der auf eine solche schon gelöschte Datei, zugreift diese Datei schließt, oder dieser Prozess beendet wird, erst dann wird diese Datei dann endgültig im Filesystem gelöscht. Dieses Verhalten kann man zum Beispiel auch bemerken, wenn man versucht eine überlange aktuelle Logdatei zu löschen. Man hat eine riesengroße Datei zwar gelöscht, sieht sie auch nicht mehr mit '''"ls"''', aber der Speicherplatz dieser Datei wird einfach nicht freigegeben. Die Logdatei ist dann immer noch von einem Prozess geöffnet der hier nach wie vor in die scheinbar schon gelöschte Datei weiter schreibt. Die Datei kann also durchaus noch weiter anwachsen. Erst wenn dieser Prozess beendet wird, dann wird der Plattenplatz den diese Datei belegt hat, wirklich freigegeben.

Eine solche Datei kann man mit dem Befehl [http://linux.die.net/man/8/lsof lsof] finden.
<pre> rob@dhcppc0:~/Dokumente> lsof -a +L1 /home
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
more 5139 rob 3r REG 8,6 72830 0 1143264 /home/rob/Dokumente/orig.txt (deleted) </pre>
Wir sehen die Datei ist vom Befehl "more" mit der PID 5139 in Arbeit und wird als "deleted" angezeigt. In der Spalte '''FD''' finden wir '''"3r"''' Das Bedeutet: dieser Prozess greift mit dem Filediskriptor Nr '''3''' lesend ('''r''') zu. "5w" würde dann also Filediskriptor 5 hat schreibenden Zugriff auf diese Datei.

Diese Datei können wir jetzt im /proc Verzeichnis finden.
<pre>rob@dhcppc0:~/Dokumente> ls -l /proc/5139/fd/*
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/0 -> /dev/pts/0
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/1 -> /dev/pts/0
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/2 -> /dev/pts/0
lr-x------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/3 -> /home/rob/Dokumente/orig.txt (deleted)</pre>

Allerdings, können wir hier auch nicht direkt auf die schon gelöschte Datei zugreifen, aber wir können ihren Inhalt immer noch auslesen und diesen wieder als Datei neu schreiben. Dabei würde jetzt eine neue Datei mit gleichem Namen und gleichem Inhalt angelegt.
<pre>rob@dhcppc0:~/Dokumente> cat /proc/5139/fd/3 > /home/rob/Dokumente/orig.txt
rob@dhcppc0:~/Dokumente> ls -l /home/rob/Dokumente/orig.txt
-rw-r--r-- 1 rob users 72830 9. Dez 19:24 /home/rob/Dokumente/orig.txt</pre>

Das ganze funktioniert auf diese Weise solange wir es mit "nur zum Lesen geöffnet" Dateien haben. Ist diese Datei zum Schreiben geöffnet, können wir so auch jederzeit eine Momentaufnahme dieser Datei erzeugen. Doch danach wird der Prozess eventuell weiterhin in die alte, schon gelöschte Datei, weiter schreiben. Diese Änderungen werden dann natürlich nicht mehr in unsere neu angelegte Datei registriert. Wir haben ja nur eine Momentaufnahme als Kopie. So kann es hier sein, das wir die letzten Änderungen an einer solchen Datei verlieren. ZB bei Datenbankdateien wäre so etwas dann allerdings fatal. Hier könnte zB [http://linux.die.net/man/1/tail tail] helfen, um die Datei mit allen Änderungen vollständig wieder herzustellen. Siehe auch [http://www.jfranken.de/homepages/johannes/vortraege/lsof_inhalt.de.html#ToC6 Beispiele]

-----

=== Ich habe gerade all meine Daten gelöscht, Erste Hilfe ===


Selbstverständlich hat ja jeder immer ein aktuelles Backup all seiner Betriebssysteme und all seiner Daten und hat es auch schon erfolgreich getestet, dass er damit jederzeit alles wiederherstellen kann. Deshalb das folgende hier nur theoretischer Art. ;-) 
Jeder hat etwas anders auf dem Rechner und nicht jeder Rechner hat die selbe Nutzung, deshalb erstmal allgemeine Vorgehensweise unmittelbar nach dem man bemerkt hat, "hier sind wohl eben versehentlich wichtige Daten gelöscht worden". Ziel ist es hier sicherzustellen, das man morgen wieder an die Daten kommt, die man heute gelöscht hat, auch wenn man heute noch überhaupt keine Ahnung davon hat, wie das gehen soll.

# zuerst möglichst keine vorschnellen unüberlegten Aktionen starten. Nicht ausschalten, nicht Platte ziehen, keine größeren Programme, Scripte oder Befehle nach starten
# besser erstmals 3 Minuten lang nur den Kopf benutzen und versuchen überhaupt erst mal zu begreifen, was eventuell schief gelaufen sein könnte: wann ging es noch ; was habe ich "falsch" gemacht ; was könnte betroffen sein? Letzte Befehle anschauen, letzte Fehlermeldungen verstehen.
# Was hier zuerst einmal ganz wichtig ist: jetzt unbedingt verhindern das dieser Datenstand automatisch als Backup gesichert wird und uns damit vielleicht noch das letzte vollständige Backup überschreibt.
# als nächstes mit "kleinen Befehlen" möglichst herausfinden: Geht überhaupt noch was? Welches Filesystem, welcher Verzeichnisbaum ist betroffen? was sind/waren dort für Dateien und Daten? Welche Prozesse/User/Dienste/Server greifen dort zu, welche davon könnten dort auch schreiben? Kann/darf ich diese Programme beenden, oder noch schlimmer, muss ich sie etwa beenden, weil ihnen Dateien unter dem Hintern weggelöscht wurden und sie jetzt deshalb nur noch Fehler produzieren und die Logdateien vollmüllen?
# Wichtig nachdem klar ist was in etwa alles gelöscht wurde: das entsprechenden Filesystem so gut es geht vor weiteren Schreibaktionen schützen: Wenn möglich Rechner beruhigen (zB Singleusermodus wenn man genügend Konsolenrfahrung dafür hat), ansonsten: Programme die schreibend zugreifen möglichst beenden, nicht benötigte Programme und Fenster schließen, keine weiteren Programme starten die auf dieses Filesystem zugreifen könnten. Bei betroffenen Homeverzeichnissen eventuell, neuen User anlegen dessen Home dann auf dem Rootfilesystem angelegt wird und als dieser User weiterarbeiten, Ziel ist möglichst das entsprechende Filesystem auf readonly zu remounten noch besser wenn möglich das Filesystem komplett umounten. Vorsichtshalber in der /etc/fstab Schreiberlaubnis für die betroffene Partition auch vorläufig entfernen.
# Was oftmals übersehen wird. Es handelt sich um ein Journalfilesystem. Das Journal wird auch weiterhin benutzt auch wenn man nichts in das Filesystem schreibt. ZB. wenn Dateien gelesen werden, dabei wird ein neuer a-time Zeitstempel in die Inode eingetragen. Auch solche Aktionen laufen über das Journal. Würde jetzt zB mit einem "find" der Rest des Filesystems durchsucht werden, würde je nachdem wie viel vom Filesystem nach dem Löschen noch übrig ist, eventuell eine ganze Menge ins Journal geschrieben. Jede dieser Schreibaktionen im Journal wird dabei alte Journaldaten überschreiben. Und es gibt Recoverprogramme die aus alten Journaldaten hervorragend wiederherstellen können. Also sollte man sich die alten Journaldaten nicht noch unnötig überschreiben, wenn man ein solches Programm nutzen möchte. Je früher man das Filesystem oder zumindestens das Journal jetzt aushängt und nicht weiter benutzt, desto mehr Dateien werden solche Programme finden können.
# Informationen sammeln: Parititionsgrößen, Mountpoints, Filesystemtyp, wie viel ist im Moment belegt, wie viel könnte es vorher gewesen sein, Datentypen, Homeverzeichnisse anderer User betroffen? Dann diese auch informieren und auch dort Informationen sammeln. Wenn möglich welche Verzeichnisstruktur war auf der Platte, bzw. was ist davon verschwunden. Wo habe ich im Rechner eventuell noch Platz, um temporär Dateien zwischenzuspeichern. Eventuell muss man sich Prioritäten setzen: was brauche ich an Dateien unbedingt wieder; auf was kann ich notfalls verzichten; was wäre eventuell ganz unwichtig.
# Ist das betroffene Filesystem soweit beruhigt, dass möglichst nichts mehr neu geschrieben werden kann (auch nicht nach einem eventuellem reboot) und die wichtigsten Informationen eingesammelt sind, erst dann geht es weiter.
# Möglichst an dieser Stelle jetzt eine Kopie der Partition als Image oder auf eine andere Platte erzeugen. (1 zu 1, nicht komprimiert). Eine solche Kopie kann mit [[dd]] erzeugt werden, wichtig hierbei die Partition sollte möglichst umountet sein, maximal aber Readonly. Mit einer solchen Kopie zB auf einer USB-Platte hat man jetzt theoretisch unendlich viel Zeit und unendlich viele Versuche die wichtigen Dateien wieder herzustellen. Dazu muss aber entweder das Original, oder die Kopie vom Original, von jeglichen Versuchen kategorisch ausgeschlossen werden. Dieses wird immer nur zum Lesen benutzt und zwar um wieder eine neue Kopie davon zu machen, für den nächsten Versuch die Dateien wieder herzustellen.

Zum Datenwiederherstellen benötigt man mindestens 3 Dinge: Internetzugang, um an die richtigen Howtos und die Programme zu kommen, genügend Plattenkapazität, um die wiederhergestellten Dateien schreiben zu können, und reichlich Zeit. Erfahrungsgemäß fehlt einem immer eines. :-) man wird es aber trotzdem brauchen.

-----

=== Dateien anhand ihres Type mit einem Flächenscan aus den Datenblöcken wieder gewinnen ===

Die nackten Datenblöcke der Dateien bleiben als solche bei den allermeisten Filesystemen auch beim Löschen vollkommen intakt auf der Festplatte zurück. Man muss eine Platte schon gezielt überschreiben, damit man nicht mehr an alte Dateien herankommt. Liest man die gesamte Partition Block für Block aus und schaut sich die einzelnen Blöcke insbesondere den Blockanfang an, wird man dort an bestimmten Eigenschaften den Beginn von bestimmten Dateitypen erkennen können. Ist die Datei größer als die Blockgröße, dann wird man wahrscheinlich im nächsten Block die Fortsetzung dieser Datei finden. Auch das Ende vieler Dateien kann man erkennen. Meist ist der Rest hinter einer Datei mit Nullen bis zum Blockende gefüllt. Es ist also möglich hintereinander liegende Datenblöcke zu Dateien zusammen zu bauen. Wenn das ein einigermaßen intelligentes Tool macht, und dieses auch noch ein bisschen Ahnung vom Filesystem hat, dann hat man sogar die Chance auch Dateien aus Blöcken wiederzufinden und zusammen zu bauen, die auf der Platte fragmentiert vorliegen. Tools die so nach verlorenen Dateien suchen gibt es eine ganze Menge.

Das Problem dabei. Es werden in aller Regel nicht nur die verlorenen Dateien wieder gefunden die man benötigt, sondern auch solche, die man nicht verloren hat, sowie jede Menge Kopien davon und jede Menge Dateien die man schon vor ewiger Zeit gelöscht hat, und auch mehr oder weniger viele, die mittlerweile fehlerhaft oder komplett defekt sind. Ein gutes Tool ist jetzt in der Lage bei einigen Dateitype, insbesondere bei Dateien welche Metadaten in sich bergen den Dateinamen und einige Eigenschaften wieder richtig zu setzen. Für einige Dateitypen wird eventuell noch der gefundenen Datei wieder eine richtige Dateiendung gegeben, die auf den wahrscheinlichsten Datentyp hinweist. Diese Tools sind aber nicht in der Lage den gefundenen Dateien allen ihre ursprünglichen Namen wieder zugeben, geschweige denn zu entscheiden, in welches Verzeichnis gehört die Datei und welchem User hat die Datei gehört. Nach dem Einsatz solcher Tools kann man sich nicht selten Stunden und Tage damit befassen, Dateien zu sichten, zu sortieren und ihnen neue Namen zu geben. Eventuell helfen Scripte dabei. Allerdings sind die Probleme dabei so vielfältig und in jedem Fall anders gelagert, das es dazu nicht wirklich etwas universelles gibt. Dieses Verfahren eignet sich vor allem für gelöschte Datendateien, Bilder, Musik, Dokumente usw. Der Versuch dieses Verfahren auf das Rootfilesystem anzuwenden, würde wahrscheinlich zu nichts weiter als zu Datenschrott führen.

==== PhotoRec ====

[http://www.cgsecurity.org/wiki/PhotoRec_DE PhotoRec] ist ein Tool aus [http://www.cgsecurity.org/wiki/TestDisk_DE TestDisk]
Mit seiner Hilfe ist es möglich verlorene oder gelöschte Dateien durch einen Scan des Datenträgers wiederzufinden. '''PhotoRec''' unterstützt viele Dateisysteme und ist nicht mal auf ein funktionierendes Filesystem angewiesen, kann also Dateien auch noch finden wenn das Filesystem schwer beschädigt oder eventuell neu formatiert wurde.
Es kennt eine ganze Reihe von [http://www.cgsecurity.org/wiki/Wiederherstellbare_Dateiformate_unter_PhotoRec Dateitypen], die es wieder herstellen kann.

Testdisk sollte man in verschiedenen Distributionen und auf verschiedenen Hilfs- CD/DVDs finden. Unter OpenSuse sollten fertige [http://packages.opensuse-community.org/index.jsp?searchTerm=testdisk&distro=openSUSE_111 Pakete bei Packman] zu finden sein.

Die Benutzung von PhotoRec ist in diesem [http://www.cgsecurity.org/wiki/PhotoRec_Schritt_f%C3%BCr_Schritt HOWTO] wohl gut genug beschrieben, so das wir das hier gar nicht erst versuchen müssten.

Das Hauptproblem dürfte meist erst auftreten, wenn PhotoRec mit seiner Arbeit fertig ist. Es wird oftmals nicht leicht sein all die Dateien zu sortieren die dort gefunden werden. [http://www.cgsecurity.org/wiki/Nach_dem_Gebrauch_von_PhotoRec Hier] und an vielen anderen Stellen i, Netz wird man sicherlich Tipps und Tricks dazu finden.

-----

=== Die Dateien mit Hilfe alter Filesystem-Journaldaten wieder herstellen ===

Das Prinzip dahinter ist folgendes. ext3/4 ist ein Journalfilesystem. Bevor Änderungen an der internen Filesystemstruktur vorgenommen werden, werden diese Änderungen in einer Art Aufgabenbuch, dem sogenanntem Journal, auf die Platte geschrieben. Erst dann werden die Änderungen an dem Filesystem selbst vorgenommen. Ist die Änderung im Filesystem abgeschlossen, werden die Aufgaben im Journal als "erledigt" markiert. Damit wird gesichert, dass auch bei einem Rechnerabsturz das Filesystems konsistent bleibt und ermöglicht eine schnelle Wiederherstellung des Filesystems nach einem Absturz. In diesem Fall müssen dann nur die noch offenen Änderungen im Journal abgearbeitet werden. 
Zu den Daten die dort im Journal abgelegt werden gehören die Blöcke in denen die Inode enthalten sind. Dort im Journal befinden sich also Kopien von alten Inodedaten. Und diese stehen dort oftmals einen längeren Zeitraum. Da immer ganze Inode Blöcke dort abgelegt werden, ist die Wahrscheinlichkeit sehr groß, dass man von vielen Dateien dort auch eine alte Inode findet.

Hier sind also genau die Informationen die uns zB. nach dem Löschen von Dateien fehlen würden, um eine Datei komplett wieder herzustellen. Das Problem ist jedoch jetzt die richtige Kopie einer Inode zu finden, die genau die Daten der Inode einer Datei vor dem Löschen enthält. Meist sind von Dateien mehrere, oftmals sehr viele alte Kopien dort zu finden. Gelöschte Dateinamen stehen immer noch mit der ehemaligen Inodenummer in den Datenblöcken der Verzeichnisdateien. Dort müsste der Datenblock nur roh ausgelesen werden um den ehemaligen Dateinamen und die dazugehörige Inode zu ermitteln. Von dieser Inode benötigen wir jetzt aus dem Journal die älteste Kopie die noch keinen Löschzeitstempel hat. Aus den Daten dieser Inodekopie kann jetzt über die Links zu den Datenblöcken, die Datei wieder hergestellt werden. Die anderen Eigenschaften der gelöschten Datei stehen auch in dieser Inode. Die Datenblöcke auf die diese Inodekopie verweist, sind zwar im Filesystem derzeit als "frei verfügbar" markiert, die Wahrscheinlichkeit dass sie jedoch noch nicht anderweitig benutzt wurden, ist groß. Damit könnte jetzt problemlos eine Kopie der gelöschten Datei erzeugt werden. Programme die das können sind '''ext3grep''' ; '''extundelete''' ; '''ext4magic'''

Haben wir uns eine Datei überschrieben, zB weil wir statt mit der Umleitung "''>> Dateiname''" (die soviel bedeutet wie, Ausgabe am Ende der Datei Dateiname weiter schreiben) mit der Umleitung "''> Dateiname''" (Ausgabe in Datei Dateiname schreiben), gearbeitet haben, dann könnte über das Journal auch in diesem Fall die Informationen gewonnen werden, um den alten Dateistand wieder herzustellen. Automatische Funktionen dafür gibt es in den hier vorgestellten Programmen derzeit wohl nun bei '''ext4magic'''. Mit Hilfe von '''ext3grep''' wäre es mit einigem Hintergrundwissen noch manuell möglich. Mit '''extundelete''' scheint das derzeit überhaupt nicht möglich zu sein.

-----

==== ext3grep ====

'''Einleitung''' : 
'''[http://groups.google.com/group/ext3grep/web/ext3grep-source-code-and-overview ext3grep]''' ist ein Konsolenprogramm von Carlo Wood. Es wurde wohl ursprünglich aus der Not heraus entwickelt. Die allgemeine Vorgehensweise und das Prinzip sind in seinem [http://www.xs4all.nl/~carlo17/howto/undelete_ext3.html Howto] sehr schön beschrieben. Carlo Wood hatte die revolutionäre Idee aus dem Filesystem-Journal Backups von früheren Inodeblöcken die Daten zu gewinnen mit deren Hilfe die gelöschten Dateien wieder hergestellt werden können.

'''Vorteile''' : 
Es können gezielt Kopien sowohl von einzelnen gelöschte Dateien, oder auch von allen als gelöscht erkannten des Filesystems mitsamt Dateinamen mit dem Pfad und original Zugriffsrechten und Zeitstempel wieder hergestellt werden. Man kann dabei den Löschzeitraum zeitlich eingrenzen, so das man gezielt nur versucht solche Dateien wieder zu gewinnen, die während diesem Zeitraum gelöscht wurden. Es kann eine Liste aller in Verzeichnisdatenblöcken gefundenen Dateinamen erstellt werden. Möglich sind auch Zeit Histogramme aus den Inodedaten, zB um die Anzahl der Löschvorgänge im zeitlichen Zusammenhang anzuzeigen. Damit ist es möglich den interessanten Löschzeitraum gut einzugrenzen. Eine Reihe von zusätzliche Optionen ermöglichen eine sehr gute und hilfreiche Informationen aus dem Filesystem und aus dem Journal für das Auffinden von gelöschten oder verlorenen Dateien auch in speziellen Problemfällen. Mit diesen Informationen ist es mit etwas Hintergrundwissen auch durchaus möglich per Hand bestimmte ältere Dateistände von Dateien wieder herzustellen. Einfaches normales Wiederherstellen einer erst kürzlich gelöschten Datei ist damit auch ohne spezielle Kenntnisse mit nur wenigen Optionen für die meisten Linuxuser fast problemlos auf der Konsole machbar.

'''kleine Mängel''' : 
Das Programm arbeitet relativ langsam, da es einmalig aufwendige Scans nach allen Dateinamen über das gesamte Dateisystem macht. Größere Filesysteme haben dabei entsprechend sehr lange Laufzeiten, auch wenn nur sehr wenige Dateien wieder hergestellt werden sollen. Bei einem erneutem Aufruf von ext3grep auf dem selben Filesystem ist es dann recht flott, da die Daten nur einmalig gescannt werden brauchen und in Logdateien abgelegt werden.
Es ist sehr viel im Programm starr einprogrammiert worden. Dadurch ist es nicht flexibel genug, um alle möglichen Eigenschaften des Filesystems zu berücksichtigen. ext4 Filesysteme funktionieren zum Beispiel gar nicht. Unterstützt werden nur [http://de.wikipedia.org/wiki/Byte-Reihenfolge Little Endian] (Intel x86) Systeme. Das Programm wird scheinbar vom Entwickler selbst z.Z. nicht mehr ernsthaft weiterentwickelt und ist auch im Quelltext nicht sonderlich übersichtlich und strukturiert, so das auch andere Entwickler hier nur sehr schwer einen Einstieg für eine Weiterentwicklung finden werden.

'''Fazit''' (des Autor dieses Wikibeitrages) : 
Einfach genial für Standard ext3, aber leider nicht flexibel genug für ext4. Geeignet für kleine und mittlere Filesysteme wenn viele Dateien wieder hergestellt werden sollen. Sehr gut geeignet auch um Informationen aus dem Filesystem für manuelles Wiederherstellen bei extremen Problemfällen zu gewinnen.

===== Installation von ext3grep =====

Einige Distributionen scheinen es per Paket oder per default zu unterstützen. Für OpenSuse müsste es bei Bedarf selbst kompiliert werden. 
Benötigt werden die allgemeinen Entwicklertools mit '''C++''' sowie die Header von '''e2fsprogs'''

Im einzelnen wären folgende Pakete mit ihren Abhängigkeiten zu installieren : '''gcc ; gcc-c++ ; make ; e2fsprogs-devel'''

Quellcodearchiv downloaden
wget http://ext3grep.googlecode.com/files/ext3grep-0.10.1.tar.gz

Archiv auspacken
tar -xzf ext3grep-0.10.1.tar.gz

in das Verzeichnis wechseln, dort '''configure''' und '''make''' ausführen.
cd ext3grep-0.10.1/
./configure
make
Das Ergebnis ist eine ausführbare Datei namens '''ext3grep''' im Unterverzeichnis '''src/''' 
Zu installieren braucht man das Programm nicht unbedingt, es reicht wenn man es in ein Arbeitsverzeichnis kopiert oder man könnte es auch dort an Ort und Stelle ausführen, wo es kompiliert wurde. Dadurch kann es, wenn man es nur einmalig benötigt, anschließend auch schnell wieder gelöscht werden.
cp src/ext3grep /TEMP/ARBEITS/VERZEICHNIS/
cd /TEMP/ARBEITS/VERZEICHNIS/
./ext3grep --help

===== Hinweise und Beispiele zur Benutzung =====

Es wird dringend empfohlen mit einer Kopie des entsprechenden Filesystems zu arbeiten. Wo das nicht möglich ist, geht es auch mit dem Filesystem selbst, nur sollte es auf keinem Fall in dieser Zeit mit Schreibzugriff eingehängt sein. Wenn man mit einer Image-Kopie vom Filesystem arbeitet, benötigt man keine Rootrechte, kann dann allerdings ohne Rootrechte auch die Dateien nicht mit ihren Orginal Zugriffsberechtigungen erstellen. 
Im Arbeitsverzeichnis sollte genügend freie Plattenkapazität vorhanden sein, da dorthin die wiederhergestellten Dateien geschrieben werden.

Wenn ext3grep das Filesystem scannt, legt es im aktuellem Verzeichnis 2 Dateien an. '''FILESYSTEMNAME.ext3grep.stage1 '''und''' FILESYSTEMNAME.ext3grep.stage2''' 
Diese Dateien bitte nicht per Hand manipulieren, auch wenn das noch so verlockend ist. Diese Dateien müssen jedes mal gelöscht werden (damit sie bei erneuter Verwendung von ext3grep wieder neu erzeugt werden) nachdem man das Filesystem wieder schreibend eingehängt hat oder zB ein anderes Filesystem mit dem selben Kopienamen bearbeiten will. Sonst kommt ext3grep durcheinander.

Die wiederhergestellten Dateien landen in einem Unter-Verzeichnis '''"RESTORED_FILES/"''' das ext3grep selbst anlegt.
Es werden für einige Optionen Zeitangaben im Sekundenformat seit 1970 benötigt. Diese kann man zB wie folgt ermitteln, oder in der [http://linux.die.net/man/1/date Manpage von date] nachlesen.
date +%s #jetzt
date -d "" +%s #heute 0:00 Uhr
date -d "-1 day" +%s #gestern um diese Zeit
date -d "2009-12-10 15:28:42" +%s

Alle Befehlsoptionen anzeigen lassen, allgemeine Hilfe
./ext3grep --help

Test auf prinzipielle Unterstützung des Filesystems, auslesen des Filesystem Superblocks, ('''test.iso''' ist hier ein Filesystemimage)
./ext3grep test.iso

Ein Histogramm erzeugen, um herauszufinden, wann wie viele Dateien gelöscht wurden, Damit lässt sich der interessante Zeitbereich sehr genau bestimmen (Zeitoptionen wie oben beschrieben)
./ext3grep --histogram=dtime --after=1202351086 --before=1202351129

Alle Dateien wiederherstellen, die ab einer bestimmten Zeit gelöscht wurden
./ext3grep test.iso --restore-all --after=1260399600

Eine Liste der Dateinamen erzeugen von denen ext3grep annimmt, sie wiederherstellen zu können
./ext3grep test.iso --dump-names

Eine einzelne ganz bestimmte Datei "'''Verzeichnis/Path/dateiname.txt'''" wiederherstellen. Der Path zur Datei beginnt mit dem Wurzelverzeichnis aus der Sicht dieses Filesystems und darf nicht mit '''"/"''' beginnen. Der Dateiname muss in der oben erzeugten Liste enthalten sein.
./ext3grep test.iso --restore-file Verzeichnis/Path/dateiname.txt

'''Hinweise:'''
# '''Das Programm ist und bleibt "Beta"'''
# Es geht hier nur ext3, wenn ein ext3 Filesystem mit ext4 beschrieben wurde, oder nach ext3 konvertiert wurde, wird es nicht funktionieren oder nur unzureichende Ergebnisse liefern
# Niemals, und auf gar keinen Fall versuchen, Dateien aus dem selben Filesystem wiederherzustellen, in das man gerade die wiederhergestellten Dateien wieder hinein schreibt :-)
# Wann immer möglich keinen Filesystemcheck nach dem Löschen und vor dem Recoverversuch durchführen, besonders keinen, wo man Fragen beantworten soll. Wenn der Rechner vor dem Recoverversuch noch rebootet oder ausgeschalten werden muss und man keine Kopie hat, prüfen ob man den Eintrag in der /etc/fstab auf readonly umändern kann und im sechtem Feld mit einer "0" den Filesystemcheck verhindern kann
# Möglichst den Zeitraum einschränken oder genaue Dateinamen angeben, damit nicht Unmengen uralte Dateien wiederhergestellt werden.
# Es wird mit diesen hier vorgestellten einfachen Optionen der Stand vor dem letztem Löschvorgang einer Datei hergestellt.
# Nicht wirklich jede Datei wird sich jederzeit auch so wiederherstellen lassen, Ein Backup ersetzt dieses Tool also keinesfalls
# Möglichst nicht erst viel im Filesystem weiter schreiben
# Die wiederhergestellten Dateien sollten gründlich kontrolliert werden, auf Vollständigkeit und ordnungsgemäßen Inhalt
# je nach Füllstand und Durchsatz können einzelne Dateibestandteile schon ganz oder teilweise neu überschrieben und schon wieder gelöscht sein. Daraus könnte im Einzelfall durchaus auch mal ein scheinbar ganz falscher Inhalt der wiederhergestellten Dateien resultieren.
# Gerätedateien Pipes u.ä. werden nicht unterstützt
# Eventuell werden ehemalige Hardlinks jetzt zu selbständigen Dateien (Auch den Hinweis über die Hardlinks im [http://www.xs4all.nl/~carlo17/howto/undelete_ext3.html Howto] lesen.)

-----

==== extundelete ====

'''Einleitung''': 
[http://extundelete.sourceforge.net/ extundelete] ist eine Überarbeitung der Idee von ext3grep. Im Unterschied zu '''ext3grep''' benutzt '''extundelete''' die Funktionen des [http://e2fsprogs.sourceforge.net/ ext2fs library] zu. Dadurch können recht schnell auch aus großen Filesystemen einzelne Dateien wiederhergestellt werden.

'''Vorteile''' : 
Sehr brauchbare Laufzeiten auch in großen Filesystemen. Flexibel sowohl auf ext3 wie ext4. Analoge Funktionen und ebenfalls weitestgehende analoge Befehls-Optionen zu ext3grep. Durch die Benutzung der Libraryfunktionen erhält es automatisch die notwendige Flexibilität für eine gute Unterstützung des ext3/4 Filesystems. Unterstützung auf für Big Endian. Es können hiermit auch gezielt Verzeichnissbäume und Dateilisten wiederhergestellt werden.
Das Wiederherstellen von Dateien ist ohne großartige Spezialkenntnisse von jedermann möglich. Für viele Distributionen als Paket erhältlich.

'''kleine Mängel''' : 
Es sind noch längst nicht alle ursprünglich beabsichtigten Funktionen implementiert. Die Weiterentwicklung scheint mehr oder weniger eingeschlafen zu sein. Derzeit kann nur der reine Dateiinhalt wiederhergestellt werden. Nützliche Zusatzfunktionen, wie in ext3grep, sind leider derzeit nicht implementiert. ''extundelte'' ist derzeit nicht mit den aktuellsten Versionen von libext2fs (1.42) nutzbar.

'''Fazit''' (des Autor dieses Wikibeitrages) : 
Projekt mit guten Potential. Einfach in der Anwendung und einige Tests und Wiederherstellungen von Dateien und Verzeichnissen sowohl auf ext3 wie ext4 begeistern jedoch, auch wenn mehr oder weniger "nur" die reinen Dateidaten mit ihrem Namen und Pfad möglich sind. Die Datendateien sind das Wichtigste, das scheint prima zu funktionieren. Leider bleiben Fragen zu Problemen selbst in den offiziellen Mailinglisten oftmals unbeantwortet.

===== Installation von undelete =====

Soweit ''undelete'' nicht als Paket erhältlich sein sollte (Einige Distributionen bieten derzeit fertige Installationspakete an), bitte immer die aktuellste Version nehmen, hier wurde die Version 0.1.8 getestet. Kompilieren ist recht einfach, ähnlich ext3grep 
Benötigt werden genauso die allgemeinen Entwicklertools mit '''C++''' sowie die Header von '''e2fsprogs''' unterstützte Versionen 1.41.9 bis 1.41.14

Im Einzelnen wären folgende Pakete mit ihren Abhängigkeiten zu installieren : '''gcc ; gcc-c++ ; make ; e2fsprogs-devel'''

Quellcodearchiv downloaden
wget http://sourceforge.net/projects/extundelete/files/extundelete/0.1.8/extundelete-0.1.8.tar.bz2/download

Archiv auspacken
tar -xjf extundelete-0.1.8.tar.bz2

in das Unterverzeichnis "extundelete*/src" wechseln dort '''make''' ausführen. ( bei neueren Versionen erst "./configure")
cd extundelete-0.1.8/src/
make

Das Ergebnis ist eine ausführbare Datei mit Namen '''extundelete''' im Unterverzeichnis '''src/''' 
Installieren braucht man das Programm nicht unbedingt, es reicht wenn man es in ein Arbeitsverzeichnis kopiert oder man könnte es auch dort an Ort und Stelle ausführen, wo es kompiliert wurde. Dadurch kann es, wenn man es nur einmalig benötigt wird, anschließend auch schnell wieder gelöscht werden.
cp extundelete/TEMP/ARBEITS/VERZEICHNIS/
cd /TEMP/ARBEITS/VERZEICHNIS/
./extundelete --help

===== Hinweise und Beispiele zur Benutzung =====

Es wird dringend empfohlen mit einer Kopie des entsprechenden Filesystems zu arbeiten. Wo das nicht möglich ist, geht es auch mit dem Filesystem selbst, nur sollte es auf keinem Fall in dieser Zeit mit Schreibzugriff eingehängt sein. Wenn man mit einer Image-Kopie vom Filesystem arbeitet wird, benötigt man theoretisch keine Rootrechte. 
Im Arbeitsverzeichnis sollte genügend freie Plattenkapazität vorhanden sein, da dorthin die wiederhergestellten Dateien geschrieben werden.

Bei '''extundelete''' werden im Gegensatz zu '''ext3grep''' keine "stage"-Dateien angelegt auf die man gegenenfalls achten muss. Abgelegt werden die Dateien ebenfalls in einem Unterverzeichnis des aktuellem Verzeichnisses mit dem Namen '''"RECOVERED_FILES/"''' 
Im Gegensatz zu '''ext3grep''' werden jedoch Dateien die mehrmals restored werden, dort nicht jedes mal überschrieben, sondern bekommen zusätzlich noch eine Endung "'''.v1 .v2 .v3''' ......" an den Dateinamen angehängt, so das man dann bei mehrere Versuchen auch mehrere Versionen ein und der selben Datei hat.

Einen Überblick über die derzeit aktuell unterstützten Optionen kann man auch [http://extundelete.sourceforge.net/options.html hier] finden.

'''Ein paar Beispiele:'''

Eine einzelne Datei wiederherstellen: es muss auch hier der komplette Pfad zur Datei wie bei '''ext3grep''' angegeben werden. ''(Das ist im Moment noch etwas schwierig, da die Option ''--dump-names'' noch nicht implementiert ist.)''
./extundelete test.iso --restore-file dir/subdir/filename

Ein komplettes Verzeichnis recursiv wiedergewinnen. (Verzeichnis hier "testdir/" im Root des Filesystems)
./extundelete test.iso --restore-directory testdir

Eine Dateiliste wiederherstellen. Die Liste besteht aus den Dateinamen mit Pfad. Eine Datei pro Zeile. also zB so hier
<pre># cat filename.log
test8/datei_follow.log
test8/test5
test8/test5/.Hallo1
test8/test5/.Hallo2
test8/test5/.Hallo3
test8/test5/.Hallo4
test8/test6
test8/test6/dir1
test8/test6/dir1/dir2
test8/test6/dir1/dir2/dir3
test8/test6/dir1/dir2/dir3/dir4
test8/test6/dir1/dir2/dir3/dir4/Testdatei.txt </pre>
Achtung: Der Befehl ist nicht zu verwechseln mit dem zum Wiederherstellen nur einer einzigen Datei
./extundelete test.iso --restore-files filename.log

Alle als gelöscht zu findenden Dateien restaurieren.
./extundelete test.iso --restore-all

Besser ist es jedoch den Löschzeitraum möglichst genau einzuschränken, damit nicht uralte Dateien mit hergestellt werden. Die Zeitangabe auch hier in Sekunden seit 1970. (Hier im Beispiel mal gleich in der Befehlszeile erledigt.) Es sollen alle Dateien die vor mindestens 16 Stunden aber höchstens vor 18 Stunden gelöscht wurden wiederhergestellt werden.
./extundelete test.iso --after $(date -d "-18 hour" +%s) --before $(date -d "-16 hour" +%s) --restore-all

'''Hinweise :'''

Allgemein gilt dasselbe wie bei ext3grep.

-----

====ext4magic====

Mit [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic ext4magic] entsteht derzeit ein weiteres Konsolentool, welches das Wiederherstellen von Dateien aus Journaldaten ermöglicht. Es baut auf den Erfahrungen von ext3grep und extundelete auf, und geht dabei ein paar Schritte weiter. Es ermöglicht auch die Wiederherstellung der User- und Zugriffsrechte, der Zeitstempel, unterstützt mit Ausnahme von Sockets alle Dateitypen und auch Hardlinks. Auch das Wiederherstellen von Dateiattributen ist möglich und kann optional beim compilieren aktiviert werden. Das Wiederherstellen überschriebener Dateien/Verzeichnisse oder älterer Dateiversionen ist in gewissem Mass möglich, soweit die Journaldaten dafür ausreichend sind. Unterstützt wird dabei sowohl ext3 als auch ext4.

Das Programm hat eine Vielzahl von Anzeigeoptionen und ermöglicht somit auch Untersuchungen am Filesystem. Somit können über die Nutzung der Journaldaten Manipulationen und Änderungen an Dateien und Verzeichnissen ermittelt und verfolgt werden, soweit sich die Daten dazu noch im Journal befinden. Die Vielzahl der Funktionen macht dieses Programm jedoch in der Anwendung nicht ganz einfach.

===== Weitere Möglichkeiten und Funktionen =====

In Entwicklung dort ist ein mehrstufiges Recover welches speziell für den Fall eines versehentlich rekursiven Löschens abgestimmt ist. Wird das Filesystem nach einem solchem Löschvorgang baldmöglichst umountet und nicht weiter benutzt hat man mit den neuen Magic-Funktionen (derzeit verfügbar für ext3 in Versionen 0.2.x und für ext4 in Versionen 0.3.x ) sehr gute Chancen auch Dateien wiederherstellen zu können, von denen keine alte Inodekopie mehr vorhanden sind. Ermöglicht wird das durch ein mehrstufiges Verfahren. Im ersten Schritt werden alle Dateien wiederhergestellt die aus Inodekopien im Journal gewonnen werden können. Nachfolgend wird mit einem neuen sehr speziell auf das Filesystem abgestimmten [http://www.forensicswiki.org/wiki/File_Carving File Carving Verfahren] versucht, auch die Dateien zu finden, von denen keine Inodekopie mehr vorhanden sind. Im Gegensatz zu anderen Recovertools, wie zB PhotoRec, werden in den Magic-Funktionen jedoch nicht alle Datenblöcke des Filesystems untersucht. Es werden aus den Journaldaten, welche während des Löschens geschrieben wurden, versucht die Datenblöcke gezielt zu ermitteln, die gelöscht worden sind und es werden auch alle Datenblöcke übersprungen die schon durch das Recovern der Inodekopien aus dem Journal ihre Verwendung wieder gefunden haben. Damit ist auch effektives Wiederherstellen der Daten in nur teilweise gelöschten Filesystemen möglich. Diese neuen Funktionen nutzen unter anderem auch filesystemtypische Metablöcke für das Zusammenbauen der Dateien. Solche Daten werden von den meisten Recovertools weniger bis gar nicht genutzt, da viele dieser Programme darauf abgestimmt wurden, möglichst universell auf vielen unterschiedlichen Filesystemen zu arbeiten.
Im Ergebnis kann ext4magic in der derzeitigen Ausbaustufe auf ext3 auch viele fragmentiert vorhandene Dateien und damit auch sehr große Dateien wiederfinden. Viele andere typische Carving Tools haben mit solchen Dateien Probleme und können sie nicht, nur teilweise oder beschädigt wiederherstellen. Unter ext4 werden Dateien gefunden die unfragmentiert waren, und Dateien die sehr stark fragmentiert vorgelegen haben, zB sehr große Dateien, oder Dateien welche geschrieben wurden als das Filesystem so gut wie voll war. Derzeit können Dateien welche aus 2 bis 4 Fragmenten bestehen noch nicht gefunden werden, es wird noch daran gearbeitet ein Recover auch solcher Dateien für einige Dateitypen möglich zu machen.

'''Die Vorteile dieses Verfahrens:'''
# Verknüpfung und Ergänzung beider Recoververfahren in einem einzigem Tool für das optimale Ergebnis
# kann auch in nur teilweise gelöschten Filesystemen effizient nur nach den wirklich gelöschten Dateien suchen
# es wird so gut es geht vermieden solche Datenbereiche auszuwerten, die mit dem letztem Löschvorgang nichts zu tun haben
# Datenbereiche werden nicht mehrfach recovert und der Datenschrott beim Recovern wird verringert
# z.T. werden fragmentiert abgelegte Dateien, die sonst sehr schwierig zu restaurieren sind, gefunden

ext4magic stellt im optionalen Expert-Mode auch Funktionen zur Verfügung, mit denen aus defekten oder teilweise überschriebenen Filesystemen versucht werden kann, noch Dateien zu retten (funktioniert aber nur bevor versucht wurde ein komplett defektes Filesystem mit fsck wieder zu reparieren).

===== ext4magic Links und Dokumentation =====

Informationen für das [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic-Installation compilieren aus dem Quellcode], Benutzung sowie Hintergrundinformationen sind über die [http://developer.berlios.de/projects/ext4magic/ Projektseite] oder das [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic Wiki] zu finden. 
Einige ausführliche Howtos für [http://openfacts2.berlios.de/wikien/index.php/BerliosProject:Ext4magic-Howto typische Anwendungsfälle] sind im englischem Wiki zu finden.

Aktueller Source Download 
:[http://prdownload.berlios.de/ext4magic/ext4magic-0.2.4.tar.gz ext4magic-0.2.4] mit der Magic-Funktion für ext3 
:[http://prdownload.berlios.de/ext4magic/ext4magic-0.3.0.tar.gz ext4magic-0.3.0] mit der Magic-Funktion für ext4 

Einige Distributionen bieten fertige Community Pakete an. zu finden zB über [http://pkgs.org/search/?keyword=ext4magic pkgs.org] 
Die ext4magic Entwicklung stellt selbst auch für einige RPM basierende Distributionen fertige Pakete online. Sieht auch [http://openfacts2.berlios.de/wikien/index.php/BerliosProject:Ext4magic#Installation Installationshinweise] im Wiki

'''Neuigkeiten:''' Ein [http://developer.berlios.de/forum/forum.php?forum_id=35219 Front-End für ext4magic] speziell für kleine Rescue-Systeme steht derzeit für die ersten Usertests zur Verfügung.

=== Links und Quellen ===

* http://www.nongnu.org/ext2-doc/ext2.html Dokumentation "The Second Extended File System"

[[Category:Partitionen]]

Verlorene Dateien wiederherstellen ext3 ext4

2013-01-24T08:03:28Z

Itu: dank xclip ....

Wird eine Datei gelöscht, dann bleiben die Datenblöcke dieser Datei von der Löschung unberührt. Die Löschung der Datei erfolgt in den Verwaltungsdaten ([[Inode]]) der Datei, sowie in den Verzeichnissen, wo die Inodenummer mit dem Dateinamen verknüpft wird. In einem ext3/4 Filesystem werden die Daten in der Inode soweit gelöscht, das es schwierig wird eine versehentliche Löschung wieder rückgängig zu machen. Lange Zeit war das etwas für Spezialisten und dem Filesystem Debugger. [http://linux.die.net/man/8/debugfs debugfs]

Da es trotz größter Vorsicht hin und wieder mal jedem passieren kann, an dieser Stelle ein paar Hinweise und Links was heute auf ext3/4 möglich und machbar ist. Was man wissen sollte, und wie man vorgehen kann.

-----

== Gelöschte Dateien auf einem ext3 oder ext4 Filesystem wiederherstellen ==

=== Ein paar Einleitende Hintergrundinformationen ===

Um die Probleme und Möglichkeiten die beim Herstellen von gelöschten Dateien bestehen einigermaßen zu verstehen, sollte man folgendes ansatzweise wissen.
Die Gesamtheit einer normalen Dateien bestehen im ext2/3/4 Filesystem aus mehreren Einzelkomponenten
; '''die Datenblöcken''' :
* dieses sind einzelne Blöcke die den Inhalt der Datei, also die reinen Daten, aufnehmen müssen. Je größer die Datei, umso mehr solche Datenblöcke gehören zu dieser Datei.

; '''die [[Inode]]''' :
* hier stehen die Eigenschaften der Datei, wie Dateityp, Zugriffsrechte, User und Gruppe, Dateigröße usw. Die Inode adressiert aber auch über eine Art Zeigersystem die Datenblöcke. Das bedeutet, über die Inode sind alle Datenblöcke die zur Datei gehören erst auffindbar. Bei großen Dateien reicht die direkte Adressierungsmöglichkeit der Inode nicht aus und es werden zwischen die Datenblöcke weitere Adressblöcke geschrieben, die die Adressierung der Inode durch indirekter Adressierung erweitern. Die Daten von großen Dateien werden so sequentiell auf der Festplatte dann durch gelegentliche zusätzlich eingeschobene Verwaltungsblöcke unterbrochen. Große Dateien stehen also nicht in einem Stück auf der Festplatte, da Verwaltungsdaten dazwischen eingeschoben sind.

; '''der Verzeichnisseintrag''' :
* das ist ein Eintrag in einer Verzeichnisdatei. In diesen Verzeichnissdateien wird eine Zuordnung von genau einem Dateinamen zu genau einer Inode gemacht. Hier bekommt eine Datei ihren Namen. Die einzelnen Einträge für die Dateien bilden innerhalb der Verzeichnissdateidaten eine verkettete Liste, mit deren Hilfe alle Dateien dieses Verzeichnisses aufgelistet/angesprochen werden können.

; '''die Kette der Verzeichnisse''' :
* Auch die einzelnen Unterverzeichnisse sind in den Direktories mit einem Namen und der Inode der jeweils eingetragen. So bilden sie eine Art verketter Liste von der Wurzel des Dateisystems bis zum Verzeichnis in dem dann die Dateinamen enthalten sind. Aus den Verzeichnisnamen in dieser Kette wird der Path für diese Datei im Filesystem gebildet, und dieser zusammen mit dem Mountpoint ergibt dann die absolute Adresse einer Datei im gemounteten Filesystem.

Änderungen am Filesystem werden in aller Regel nicht momentan ausgeführt. Das System nimmt den Filesystem Cache und buffert die Daten temporär. Automatisch wird ein "sync" alle paar Sekunden dann die Daten wirklich auf die Platte schreiben. Wird zB eine Datei verändert und unmittelbar danach sofort die ganze Datei gelöscht, dann wird die Änderung der Datei eventuell gar nicht erst auf die Platte geschrieben, sondern nur die Löschung. Wiederherstellen können wir nur das, was auf der Platte steht und nicht das was niemals auf die Platte geschrieben wurde.

Beim Löschen von Dateien in ext3/4 passiert nun vereinfacht folgendes: 
es werden in der Inode die Zeiger auf die Datenblöcke gelöscht. Die Inode bekommt einen Zeitstempel als Lösch-Markierung, die Datenblöcke werden als "Frei verfügbar" markiert, und in den Verzeichnisdateien werden die Einträge mit dem Dateinamen und der dazugehörigen Inode ausgekettet (nicht gelöscht). Somit sind diese Dateinamen dann im Dateisystem bei normalen Zugriffen nicht mehr sichtbar. Es werden also nicht alle Spuren einer Datei beim Löschen endgültig beseitigt, im Gegenteil es wird gar nicht erst versucht. Es wird nur dafür gesorgt das sie nicht mehr zu sehen und zu finden ist und die belegten Datenbereiche dieser Datei wieder frei verfügbar sind. Bei ext3/4 ist im Gegensatz zu ext2 aber genau die Entfernung der Verlinkung in der Inode zu den Datenblöcken der Datei, ein Problem das ein rückgängig machen einer ausgeführten Löschung, ausgesprochen schwierig gestaltet.

-----

=== wiederherstellen von versehentlich gelöschten offene Dateien ===

==== Dateien aus dem /proc Verzeichnis wiedergewinnen ====

Gelegentlich kann es vorkommen, und man löscht eine Datei versehentlich und merkt sofort: "Hilfe diese Datei wird benötigt und ich habe sie auch gerade noch in einem anderem Programm in Benutzung".

Rechtzeitig bemerkt ist so was erst einmal nur Halb so schlimm. Solange eine Datei noch von einem Prozess geöffnet ist, existiert im Rechner noch der Verweis auf die Datei, und der entsprechende Prozess kann weiter mit dieser Datei arbeiten. In den Verzeichnissen ist die Datei schon nicht mehr sichtbar. Andere Prozesse können diese Datei jetzt also auch nicht mehr öffnen weil sie nicht mehr zu finden ist. Sobald der letzte Prozess, der auf eine solche schon gelöschte Datei, zugreift diese Datei schließt, oder dieser Prozess beendet wird, erst dann wird diese Datei dann endgültig im Filesystem gelöscht. Dieses Verhalten kann man zum Beispiel auch bemerken, wenn man versucht eine überlange aktuelle Logdatei zu löschen. Man hat eine riesengroße Datei zwar gelöscht, sieht sie auch nicht mehr mit '''"ls"''', aber der Speicherplatz dieser Datei wird einfach nicht freigegeben. Die Logdatei ist dann immer noch von einem Prozess geöffnet der hier nach wie vor in die scheinbar schon gelöschte Datei weiter schreibt. Die Datei kann also durchaus noch weiter anwachsen. Erst wenn dieser Prozess beendet wird, dann wird der Plattenplatz den diese Datei belegt hat, wirklich freigegeben.

Eine solche Datei kann man mit dem Befehl [http://linux.die.net/man/8/lsof lsof] finden.
<pre> rob@dhcppc0:~/Dokumente> lsof -a +L1 /home
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
more 5139 rob 3r REG 8,6 72830 0 1143264 /home/rob/Dokumente/orig.txt (deleted) </pre>
Wir sehen die Datei ist vom Befehl "more" mit der PID 5139 in Arbeit und wird als "deleted" angezeigt. In der Spalte '''FD''' finden wir '''"3r"''' Das Bedeutet: dieser Prozess greift mit dem Filediskriptor Nr '''3''' lesend ('''r''') zu. "5w" würde dann also Filediskriptor 5 hat schreibenden Zugriff auf diese Datei.

Diese Datei können wir jetzt im /proc Verzeichnis finden.
<pre>rob@dhcppc0:~/Dokumente> ls -l /proc/5139/fd/*
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/0 -> /dev/pts/0
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/1 -> /dev/pts/0
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/2 -> /dev/pts/0
lr-x------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/3 -> /home/rob/Dokumente/orig.txt (deleted)</pre>

Allerdings, können wir hier auch nicht direkt auf die schon gelöschte Datei zugreifen, aber wir können ihren Inhalt immer noch auslesen und diesen wieder als Datei neu schreiben. Dabei würde jetzt eine neue Datei mit gleichem Namen und gleichem Inhalt angelegt.
<pre>rob@dhcppc0:~/Dokumente> cat /proc/5139/fd/3 > /home/rob/Dokumente/orig.txt
rob@dhcppc0:~/Dokumente> ls -l /home/rob/Dokumente/orig.txt
-rw-r--r-- 1 rob users 72830 9. Dez 19:24 /home/rob/Dokumente/orig.txt</pre>

Das ganze funktioniert auf diese Weise solange wir es mit "nur zum Lesen geöffnet" Dateien haben. Ist diese Datei zum Schreiben geöffnet, können wir so auch jederzeit eine Momentaufnahme dieser Datei erzeugen. Doch danach wird der Prozess eventuell weiterhin in die alte, schon gelöschte Datei, weiter schreiben. Diese Änderungen werden dann natürlich nicht mehr in unsere neu angelegte Datei registriert. Wir haben ja nur eine Momentaufnahme als Kopie. So kann es hier sein, das wir die letzten Änderungen an einer solchen Datei verlieren. ZB bei Datenbankdateien wäre so etwas dann allerdings fatal. Hier könnte zB [http://linux.die.net/man/1/tail tail] helfen, um die Datei mit allen Änderungen vollständig wieder herzustellen. Siehe auch [http://www.jfranken.de/homepages/johannes/vortraege/lsof_inhalt.de.html#ToC6 Beispiele]

-----

=== Ich habe gerade all meine Daten gelöscht, Erste Hilfe ===


Selbstverständlich hat ja jeder immer ein aktuelles Backup all seiner Betriebssysteme und all seiner Daten und hat es auch schon erfolgreich getestet, dass er damit jederzeit alles wiederherstellen kann. Deshalb das folgende hier nur theoretischer Art. ;-) 
Jeder hat etwas anders auf dem Rechner und nicht jeder Rechner hat die selbe Nutzung, deshalb erstmal allgemeine Vorgehensweise unmittelbar nach dem man bemerkt hat, "hier sind wohl eben versehentlich wichtige Daten gelöscht worden". Ziel ist es hier sicherzustellen, das man morgen wieder an die Daten kommt, die man heute gelöscht hat, auch wenn man heute noch überhaupt keine Ahnung davon hat, wie das gehen soll.

# zuerst möglichst keine vorschnellen unüberlegten Aktionen starten. Nicht ausschalten, nicht Platte ziehen, keine größeren Programme, Scripte oder Befehle nach starten
# besser erstmals 3 Minuten lang nur den Kopf benutzen und versuchen überhaupt erst mal zu begreifen, was eventuell schief gelaufen sein könnte: wann ging es noch ; was habe ich "falsch" gemacht ; was könnte betroffen sein? Letzte Befehle anschauen, letzte Fehlermeldungen verstehen.
# Was hier zuerst einmal ganz wichtig ist: jetzt unbedingt verhindern das dieser Datenstand automatisch als Backup gesichert wird und uns damit vielleicht noch das letzte vollständige Backup überschreibt.
# als nächstes mit "kleinen Befehlen" möglichst herausfinden: Geht überhaupt noch was? Welches Filesystem, welcher Verzeichnisbaum ist betroffen? was sind/waren dort für Dateien und Daten? Welche Prozesse/User/Dienste/Server greifen dort zu, welche davon könnten dort auch schreiben? Kann/darf ich diese Programme beenden, oder noch schlimmer, muss ich sie etwa beenden, weil ihnen Dateien unter dem Hintern weggelöscht wurden und sie jetzt deshalb nur noch Fehler produzieren und die Logdateien vollmüllen?
# Wichtig nachdem klar ist was in etwa alles gelöscht wurde: das entsprechenden Filesystem so gut es geht vor weiteren Schreibaktionen schützen: Wenn möglich Rechner beruhigen (zB Singleusermodus wenn man genügend Konsolenrfahrung dafür hat), ansonsten: Programme die schreibend zugreifen möglichst beenden, nicht benötigte Programme und Fenster schließen, keine weiteren Programme starten die auf dieses Filesystem zugreifen könnten. Bei betroffenen Homeverzeichnissen eventuell, neuen User anlegen dessen Home dann auf dem Rootfilesystem angelegt wird und als dieser User weiterarbeiten, Ziel ist möglichst das entsprechende Filesystem auf readonly zu remounten noch besser wenn möglich das Filesystem komplett umounten. Vorsichtshalber in der /etc/fstab Schreiberlaubnis für die betroffene Partition auch vorläufig entfernen.
# Was oftmals übersehen wird. Es handelt sich um ein Journalfilesystem. Das Journal wird auch weiterhin benutzt auch wenn man nichts in das Filesystem schreibt. ZB. wenn Dateien gelesen werden, dabei wird ein neuer a-time Zeitstempel in die Inode eingetragen. Auch solche Aktionen laufen über das Journal. Würde jetzt zB mit einem "find" der Rest des Filesystems durchsucht werden, würde je nachdem wie viel vom Filesystem nach dem Löschen noch übrig ist, eventuell eine ganze Menge ins Journal geschrieben. Jede dieser Schreibaktionen im Journal wird dabei alte Journaldaten überschreiben. Und es gibt Recoverprogramme die aus alten Journaldaten hervorragend wiederherstellen können. Also sollte man sich die alten Journaldaten nicht noch unnötig überschreiben, wenn man ein solches Programm nutzen möchte. Je früher man das Filesystem oder zumindestens das Journal jetzt aushängt und nicht weiter benutzt, desto mehr Dateien werden solche Programme finden können.
# Informationen sammeln: Parititionsgrößen, Mountpoints, Filesystemtyp, wie viel ist im Moment belegt, wie viel könnte es vorher gewesen sein, Datentypen, Homeverzeichnisse anderer User betroffen? Dann diese auch informieren und auch dort Informationen sammeln. Wenn möglich welche Verzeichnisstruktur war auf der Platte, bzw. was ist davon verschwunden. Wo habe ich im Rechner eventuell noch Platz, um temporär Dateien zwischenzuspeichern. Eventuell muss man sich Prioritäten setzen: was brauche ich an Dateien unbedingt wieder; auf was kann ich notfalls verzichten; was wäre eventuell ganz unwichtig.
# Ist das betroffene Filesystem soweit beruhigt, dass möglichst nichts mehr neu geschrieben werden kann (auch nicht nach einem eventuellem reboot) und die wichtigsten Informationen eingesammelt sind, erst dann geht es weiter.
# Möglichst an dieser Stelle jetzt eine Kopie der Partition als Image oder auf eine andere Platte erzeugen. (1 zu 1, nicht komprimiert). Eine solche Kopie kann mit [[dd]] erzeugt werden, wichtig hierbei die Partition sollte möglichst umountet sein, maximal aber Readonly. Mit einer solchen Kopie zB auf einer USB-Platte hat man jetzt theoretisch unendlich viel Zeit und unendlich viele Versuche die wichtigen Dateien wieder herzustellen. Dazu muss aber entweder das Original, oder die Kopie vom Original, von jeglichen Versuchen kategorisch ausgeschlossen werden. Dieses wird immer nur zum Lesen benutzt und zwar um wieder eine neue Kopie davon zu machen, für den nächsten Versuch die Dateien wieder herzustellen.

Zum Datenwiederherstellen benötigt man mindestens 3 Dinge: Internetzugang, um an die richtigen Howtos und die Programme zu kommen, genügend Plattenkapazität, um die wiederhergestellten Dateien schreiben zu können, und reichlich Zeit. Erfahrungsgemäß fehlt einem immer eines. :-) man wird es aber trotzdem brauchen.

-----

=== Dateien anhand ihres Type mit einem Flächenscan aus den Datenblöcken wieder gewinnen ===

Die nackten Datenblöcke der Dateien bleiben als solche bei den allermeisten Filesystemen auch beim Löschen vollkommen intakt auf der Festplatte zurück. Man muss eine Platte schon gezielt überschreiben, damit man nicht mehr an alte Dateien herankommt. Liest man die gesamte Partition Block für Block aus und schaut sich die einzelnen Blöcke insbesondere den Blockanfang an, wird man dort an bestimmten Eigenschaften den Beginn von bestimmten Dateitypen erkennen können. Ist die Datei größer als die Blockgröße, dann wird man wahrscheinlich im nächsten Block die Fortsetzung dieser Datei finden. Auch das Ende vieler Dateien kann man erkennen. Meist ist der Rest hinter einer Datei mit Nullen bis zum Blockende gefüllt. Es ist also möglich hintereinander liegende Datenblöcke zu Dateien zusammen zu bauen. Wenn das ein einigermaßen intelligentes Tool macht, und dieses auch noch ein bisschen Ahnung vom Filesystem hat, dann hat man sogar die Chance auch Dateien aus Blöcken wiederzufinden und zusammen zu bauen, die auf der Platte fragmentiert vorliegen. Tools die so nach verlorenen Dateien suchen gibt es eine ganze Menge.

Das Problem dabei. Es werden in aller Regel nicht nur die verlorenen Dateien wieder gefunden die man benötigt, sondern auch solche, die man nicht verloren hat, sowie jede Menge Kopien davon und jede Menge Dateien die man schon vor ewiger Zeit gelöscht hat, und auch mehr oder weniger viele, die mittlerweile fehlerhaft oder komplett defekt sind. Ein gutes Tool ist jetzt in der Lage bei einigen Dateitype, insbesondere bei Dateien welche Metadaten in sich bergen den Dateinamen und einige Eigenschaften wieder richtig zu setzen. Für einige Dateitypen wird eventuell noch der gefundenen Datei wieder eine richtige Dateiendung gegeben, die auf den wahrscheinlichsten Datentyp hinweist. Diese Tools sind aber nicht in der Lage den gefundenen Dateien allen ihre ursprünglichen Namen wieder zugeben, geschweige denn zu entscheiden, in welches Verzeichnis gehört die Datei und welchem User hat die Datei gehört. Nach dem Einsatz solcher Tools kann man sich nicht selten Stunden und Tage damit befassen, Dateien zu sichten, zu sortieren und ihnen neue Namen zu geben. Eventuell helfen Scripte dabei. Allerdings sind die Probleme dabei so vielfältig und in jedem Fall anders gelagert, das es dazu nicht wirklich etwas universelles gibt. Dieses Verfahren eignet sich vor allem für gelöschte Datendateien, Bilder, Musik, Dokumente usw. Der Versuch dieses Verfahren auf das Rootfilesystem anzuwenden, würde wahrscheinlich zu nichts weiter als zu Datenschrott führen.

==== PhotoRec ====

[http://www.cgsecurity.org/wiki/PhotoRec_DE PhotoRec] ist ein Tool aus [http://www.cgsecurity.org/wiki/TestDisk_DE TestDisk]
Mit seiner Hilfe ist es möglich verlorene oder gelöschte Dateien durch einen Scan des Datenträgers wiederzufinden. '''PhotoRec''' unterstützt viele Dateisysteme und ist nicht mal auf ein funktionierendes Filesystem angewiesen, kann also Dateien auch noch finden wenn das Filesystem schwer beschädigt oder eventuell neu formatiert wurde.
Es kennt eine ganze Reihe von [http://www.cgsecurity.org/wiki/Wiederherstellbare_Dateiformate_unter_PhotoRec Dateitypen], die es wieder herstellen kann.

Testdisk sollte man in verschiedenen Distributionen und auf verschiedenen Hilfs- CD/DVDs finden. Unter OpenSuse sollten fertige [http://packages.opensuse-community.org/index.jsp?searchTerm=testdisk&distro=openSUSE_111 Pakete bei Packman] zu finden sein.

Die Benutzung von PhotoRec ist in diesem [http://www.cgsecurity.org/wiki/PhotoRec_Schritt_f%C3%BCr_Schritt HOWTO] wohl gut genug beschrieben, so das wir das hier gar nicht erst versuchen müssten.

Das Hauptproblem dürfte meist erst auftreten, wenn PhotoRec mit seiner Arbeit fertig ist. Es wird oftmals nicht leicht sein all die Dateien zu sortieren die dort gefunden werden. [http://www.cgsecurity.org/wiki/Nach_dem_Gebrauch_von_PhotoRec Hier] und an vielen anderen Stellen i, Netz wird man sicherlich Tipps und Tricks dazu finden.

-----

=== Die Dateien mit Hilfe alter Filesystem-Journaldaten wieder herstellen ===

Das Prinzip dahinter ist folgendes. ext3/4 ist ein Journalfilesystem. Bevor Änderungen an der internen Filesystemstruktur vorgenommen werden, werden diese Änderungen in einer Art Aufgabenbuch, dem sogenanntem Journal, auf die Platte geschrieben. Erst dann werden die Änderungen an dem Filesystem selbst vorgenommen. Ist die Änderung im Filesystem abgeschlossen, werden die Aufgaben im Journal als "erledigt" markiert. Damit wird gesichert, dass auch bei einem Rechnerabsturz das Filesystems konsistent bleibt und ermöglicht eine schnelle Wiederherstellung des Filesystems nach einem Absturz. In diesem Fall müssen dann nur die noch offenen Änderungen im Journal abgearbeitet werden. 
Zu den Daten die dort im Journal abgelegt werden gehören die Blöcke in denen die Inode enthalten sind. Dort im Journal befinden sich also Kopien von alten Inodedaten. Und diese stehen dort oftmals einen längeren Zeitraum. Da immer ganze Inode Blöcke dort abgelegt werden, ist die Wahrscheinlichkeit sehr groß, dass man von vielen Dateien dort auch eine alte Inode findet.

Hier sind also genau die Informationen die uns zB. nach dem Löschen von Dateien fehlen würden, um eine Datei komplett wieder herzustellen. Das Problem ist jedoch jetzt die richtige Kopie einer Inode zu finden, die genau die Daten der Inode einer Datei vor dem Löschen enthält. Meist sind von Dateien mehrere, oftmals sehr viele alte Kopien dort zu finden. Gelöschte Dateinamen stehen immer noch mit der ehemaligen Inodenummer in den Datenblöcken der Verzeichnisdateien. Dort müsste der Datenblock nur roh ausgelesen werden um den ehemaligen Dateinamen und die dazugehörige Inode zu ermitteln. Von dieser Inode benötigen wir jetzt aus dem Journal die älteste Kopie die noch keinen Löschzeitstempel hat. Aus den Daten dieser Inodekopie kann jetzt über die Links zu den Datenblöcken, die Datei wieder hergestellt werden. Die anderen Eigenschaften der gelöschten Datei stehen auch in dieser Inode. Die Datenblöcke auf die diese Inodekopie verweist, sind zwar im Filesystem derzeit als "frei verfügbar" markiert, die Wahrscheinlichkeit dass sie jedoch noch nicht anderweitig benutzt wurden, ist groß. Damit könnte jetzt problemlos eine Kopie der gelöschten Datei erzeugt werden. Programme die das können sind '''ext3grep''' ; '''extundelete''' ; '''ext4magic'''

Haben wir uns eine Datei überschrieben, zB weil wir statt mit der Umleitung "''>> Dateiname''" (die soviel bedeutet wie, Ausgabe am Ende der Datei Dateiname weiter schreiben) mit der Umleitung "''> Dateiname''" (Ausgabe in Datei Dateiname schreiben), gearbeitet haben, dann könnte über das Journal auch in diesem Fall die Informationen gewonnen werden, um den alten Dateistand wieder herzustellen. Automatische Funktionen dafür gibt es in den hier vorgestellten Programmen derzeit wohl nun bei '''ext4magic'''. Mit Hilfe von '''ext3grep''' wäre es mit einigem Hintergrundwissen noch manuell möglich. Mit '''extundelete''' scheint das derzeit überhaupt nicht möglich zu sein.

-----

==== ext3grep ====

'''Einleitung''' : 
'''[http://groups.google.com/group/ext3grep/web/ext3grep-source-code-and-overview ext3grep]''' ist ein Konsolenprogramm von Carlo Wood. Es wurde wohl ursprünglich aus der Not heraus entwickelt. Die allgemeine Vorgehensweise und das Prinzip sind in seinem [http://www.xs4all.nl/~carlo17/howto/undelete_ext3.html Howto] sehr schön beschrieben. Carlo Wood hatte die revolutionäre Idee aus dem Filesystem-Journal Backups von früheren Inodeblöcken die Daten zu gewinnen mit deren Hilfe die gelöschten Dateien wieder hergestellt werden können.

'''Vorteile''' : 
Es können gezielt Kopien sowohl von einzelnen gelöschte Dateien, oder auch von allen als gelöscht erkannten des Filesystems mitsamt Dateinamen mit dem Pfad und original Zugriffsrechten und Zeitstempel wieder hergestellt werden. Man kann dabei den Löschzeitraum zeitlich eingrenzen, so das man gezielt nur versucht solche Dateien wieder zu gewinnen, die während diesem Zeitraum gelöscht wurden. Es kann eine Liste aller in Verzeichnisdatenblöcken gefundenen Dateinamen erstellt werden. Möglich sind auch Zeit Histogramme aus den Inodedaten, zB um die Anzahl der Löschvorgänge im zeitlichen Zusammenhang anzuzeigen. Damit ist es möglich den interessanten Löschzeitraum gut einzugrenzen. Eine Reihe von zusätzliche Optionen ermöglichen eine sehr gute und hilfreiche Informationen aus dem Filesystem und aus dem Journal für das Auffinden von gelöschten oder verlorenen Dateien auch in speziellen Problemfällen. Mit diesen Informationen ist es mit etwas Hintergrundwissen auch durchaus möglich per Hand bestimmte ältere Dateistände von Dateien wieder herzustellen. Einfaches normales Wiederherstellen einer erst kürzlich gelöschten Datei ist damit auch ohne spezielle Kenntnisse mit nur wenigen Optionen für die meisten Linuxuser fast problemlos auf der Konsole machbar.

'''kleine Mängel''' : 
Das Programm arbeitet relativ langsam, da es einmalig aufwendige Scans nach allen Dateinamen über das gesamte Dateisystem macht. Größere Filesysteme haben dabei entsprechend sehr lange Laufzeiten, auch wenn nur sehr wenige Dateien wieder hergestellt werden sollen. Bei einem erneutem Aufruf von ext3grep auf dem selben Filesystem ist es dann recht flott, da die Daten nur einmalig gescannt werden brauchen und in Logdateien abgelegt werden.
Es ist sehr viel im Programm starr einprogrammiert worden. Dadurch ist es nicht flexibel genug, um alle möglichen Eigenschaften des Filesystems zu berücksichtigen. ext4 Filesysteme funktionieren zum Beispiel gar nicht. Unterstützt werden nur [http://de.wikipedia.org/wiki/Byte-Reihenfolge Little Endian] (Intel x86) Systeme. Das Programm wird scheinbar vom Entwickler selbst z.Z. nicht mehr ernsthaft weiterentwickelt und ist auch im Quelltext nicht sonderlich übersichtlich und strukturiert, so das auch andere Entwickler hier nur sehr schwer einen Einstieg für eine Weiterentwicklung finden werden.

'''Fazit''' (des Autor dieses Wikibeitrages) : 
Einfach genial für Standard ext3, aber leider nicht flexibel genug für ext4. Geeignet für kleine und mittlere Filesysteme wenn viele Dateien wieder hergestellt werden sollen. Sehr gut geeignet auch um Informationen aus dem Filesystem für manuelles Wiederherstellen bei extremen Problemfällen zu gewinnen.

===== Installation von ext3grep =====

Einige Distributionen scheinen es per Paket oder per default zu unterstützen. Für OpenSuse müsste es bei Bedarf selbst kompiliert werden. 
Benötigt werden die allgemeinen Entwicklertools mit '''C++''' sowie die Header von '''e2fsprogs'''

Im einzelnen wären folgende Pakete mit ihren Abhängigkeiten zu installieren : '''gcc ; gcc-c++ ; make ; e2fsprogs-devel'''

Quellcodearchiv downloaden
wget http://ext3grep.googlecode.com/files/ext3grep-0.10.1.tar.gz

Archiv auspacken
tar -xzf ext3grep-0.10.1.tar.gz

in das Verzeichnis wechseln, dort '''configure''' und '''make''' ausführen.
cd ext3grep-0.10.1/
./configure
make
Das Ergebnis ist eine ausführbare Datei namens '''ext3grep''' im Unterverzeichnis '''src/''' 
Zu installieren braucht man das Programm nicht unbedingt, es reicht wenn man es in ein Arbeitsverzeichnis kopiert oder man könnte es auch dort an Ort und Stelle ausführen, wo es kompiliert wurde. Dadurch kann es, wenn man es nur einmalig benötigt, anschließend auch schnell wieder gelöscht werden.
cp src/ext3grep /TEMP/ARBEITS/VERZEICHNIS/
cd /TEMP/ARBEITS/VERZEICHNIS/
./ext3grep --help

===== Hinweise und Beispiele zur Benutzung =====

Es wird dringend empfohlen mit einer Kopie des entsprechenden Filesystems zu arbeiten. Wo das nicht möglich ist, geht es auch mit dem Filesystem selbst, nur sollte es auf keinem Fall in dieser Zeit mit Schreibzugriff eingehängt sein. Wenn man mit einer Image-Kopie vom Filesystem arbeitet, benötigt man keine Rootrechte, kann dann allerdings ohne Rootrechte auch die Dateien nicht mit ihren Orginal Zugriffsberechtigungen erstellen. 
Im Arbeitsverzeichnis sollte genügend freie Plattenkapazität vorhanden sein, da dorthin die wiederhergestellten Dateien geschrieben werden.

Wenn ext3grep das Filesystem scannt, legt es im aktuellem Verzeichnis 2 Dateien an. '''FILESYSTEMNAME.ext3grep.stage1 '''und''' FILESYSTEMNAME.ext3grep.stage2''' 
Diese Dateien bitte nicht per Hand manipulieren, auch wenn das noch so verlockend ist. Diese Dateien müssen jedes mal gelöscht werden (damit sie bei erneuter Verwendung von ext3grep wieder neu erzeugt werden) nachdem man das Filesystem wieder schreibend eingehängt hat oder zB ein anderes Filesystem mit dem selben Kopienamen bearbeiten will. Sonst kommt ext3grep durcheinander.

Die wiederhergestellten Dateien landen in einem Unter-Verzeichnis '''"RESTORED_FILES/"''' das ext3grep selbst anlegt.
Es werden für einige Optionen Zeitangaben im Sekundenformat seit 1970 benötigt. Diese kann man zB wie folgt ermitteln, oder in der [http://linux.die.net/man/1/date Manpage von date] nachlesen.
date +%s #jetzt
date -d "" +%s #heute 0:00 Uhr
date -d "-1 day" +%s #gestern um diese Zeit
date -d "2009-12-10 15:28:42" +%s

Alle Befehlsoptionen anzeigen lassen, allgemeine Hilfe
./ext3grep --help

Test auf prinzipielle Unterstützung des Filesystems, auslesen des Filesystem Superblocks, ('''test.iso''' ist hier ein Filesystemimage)
./ext3grep test.iso

Ein Histogramm erzeugen, um herauszufinden, wann wie viele Dateien gelöscht wurden, Damit lässt sich der interessante Zeitbereich sehr genau bestimmen (Zeitoptionen wie oben beschrieben)
./ext3grep --histogram=dtime --after=1202351086 --before=1202351129

Alle Dateien wiederherstellen, die ab einer bestimmten Zeit gelöscht wurden
./ext3grep test.iso --restore-all --after=1260399600

Eine Liste der Dateinamen erzeugen von denen ext3grep annimmt, sie wiederherstellen zu können
./ext3grep test.iso --dump-names

Eine einzelne ganz bestimmte Datei "'''Verzeichnis/Path/dateiname.txt'''" wiederherstellen. Der Path zur Datei beginnt mit dem Wurzelverzeichnis aus der Sicht dieses Filesystems und darf nicht mit '''"/"''' beginnen. Der Dateiname muss in der oben erzeugten Liste enthalten sein.
./ext3grep test.iso --restore-file Verzeichnis/Path/dateiname.txt

'''Hinweise:'''
# '''Das Programm ist und bleibt "Beta"'''
# Es geht hier nur ext3, wenn ein ext3 Filesystem mit ext4 beschrieben wurde, oder nach ext3 konvertiert wurde, wird es nicht funktionieren oder nur unzureichende Ergebnisse liefern
# Niemals, und auf gar keinen Fall versuchen, Dateien aus dem selben Filesystem wiederherzustellen, in das man gerade die wiederhergestellten Dateien wieder hinein schreibt :-)
# Wann immer möglich keinen Filesystemcheck nach dem Löschen und vor dem Recoverversuch durchführen, besonders keinen, wo man Fragen beantworten soll. Wenn der Rechner vor dem Recoverversuch noch rebootet oder ausgeschalten werden muss und man keine Kopie hat, prüfen ob man den Eintrag in der /etc/fstab auf readonly umändern kann und im sechtem Feld mit einer "0" den Filesystemcheck verhindern kann
# Möglichst den Zeitraum einschränken oder genaue Dateinamen angeben, damit nicht Unmengen uralte Dateien wiederhergestellt werden.
# Es wird mit diesen hier vorgestellten einfachen Optionen der Stand vor dem letztem Löschvorgang einer Datei hergestellt.
# Nicht wirklich jede Datei wird sich jederzeit auch so wiederherstellen lassen, Ein Backup ersetzt dieses Tool also keinesfalls
# Möglichst nicht erst viel im Filesystem weiter schreiben
# Die wiederhergestellten Dateien sollten gründlich kontrolliert werden, auf Vollständigkeit und ordnungsgemäßen Inhalt
# je nach Füllstand und Durchsatz können einzelne Dateibestandteile schon ganz oder teilweise neu überschrieben und schon wieder gelöscht sein. Daraus könnte im Einzelfall durchaus auch mal ein scheinbar ganz falscher Inhalt der wiederhergestellten Dateien resultieren.
# Gerätedateien Pipes u.ä. werden nicht unterstützt
# Eventuell werden ehemalige Hardlinks jetzt zu selbständigen Dateien (Auch den Hinweis über die Hardlinks im [http://www.xs4all.nl/~carlo17/howto/undelete_ext3.html Howto] lesen.)

-----

==== extundelete ====

'''Einleitung''': 
[http://extundelete.sourceforge.net/ extundelete] ist eine Überarbeitung der Idee von ext3grep. Im Unterschied zu '''ext3grep''' benutzt '''extundelete''' die Funktionen des [http://e2fsprogs.sourceforge.net/ ext2fs library] zu. Dadurch können recht schnell auch aus großen Filesystemen einzelne Dateien wiederhergestellt werden.

'''Vorteile''' : 
Sehr brauchbare Laufzeiten auch in großen Filesystemen. Flexibel sowohl auf ext3 wie ext4. Analoge Funktionen und ebenfalls weitestgehende analoge Befehls-Optionen zu ext3grep. Durch die Benutzung der Libraryfunktionen erhält es automatisch die notwendige Flexibilität für eine gute Unterstützung des ext3/4 Filesystems. Unterstützung auf für Big Endian. Es können hiermit auch gezielt Verzeichnissbäume und Dateilisten wiederhergestellt werden.
Das Wiederherstellen von Dateien ist ohne großartige Spezialkenntnisse von jedermann möglich. Für viele Distributionen als Paket erhältlich.

'''kleine Mängel''' : 
Es sind noch längst nicht alle ursprünglich beabsichtigten Funktionen implementiert. Die Weiterentwicklung scheint mehr oder weniger eingeschlafen zu sein. Derzeit kann nur der reine Dateiinhalt wiederhergestellt werden. Nützliche Zusatzfunktionen, wie in ext3grep, sind leider derzeit nicht implementiert. ''extundelte'' ist derzeit nicht mit den aktuellsten Versionen von libext2fs (1.42) nutzbar.

'''Fazit''' (des Autor dieses Wikibeitrages) : 
Projekt mit guten Potential. Einfach in der Anwendung und einige Tests und Wiederherstellungen von Dateien und Verzeichnissen sowohl auf ext3 wie ext4 begeistern jedoch, auch wenn mehr oder weniger "nur" die reinen Dateidaten mit ihrem Namen und Pfad möglich sind. Die Datendateien sind das Wichtigste, das scheint prima zu funktionieren. Leider bleiben Fragen zu Problemen selbst in den offiziellen Mailinglisten oftmals unbeantwortet.

===== Installation von undelete =====

Soweit nicht als Paket erhältlich sein sollte (Einige Distributionen bieten derzeit fertige Installationspakete an), bitte immer die aktuellste Version nehmen, hier wurde die Version 0.1.8 getestet. Kompilieren ist recht einfach, ähnlich ext3grep 
Benötigt werden genauso die allgemeinen Entwicklertools mit '''C++''' sowie die Header von '''e2fsprogs''' unterstützte Versionen 1.41.9 bis 1.41.14

im Einzelnen wären folgende Pakete mit ihren Abhängigkeiten zu installieren : '''gcc ; gcc-c++ ; make ; e2fsprogs-devel'''

Quellcodearchiv downloaden
wget http://sourceforge.net/projects/extundelete/files/extundelete/0.1.8/extundelete-0.1.8.tar.bz2/downl

Archiv auspacken
tar -xjf extundelete-0.1.8.tar.bz2

in das Unterverzeichnis "extundelete*/src" wechseln dort '''make''' ausführen. ( bei neueren Versionen erst "./configure")
cd extundelete-0.1.8/src/
make

Das Ergebnis ist eine ausführbare Datei mit Namen '''extundelete''' im Unterverzeichnis '''src/''' 
Zu installieren braucht man das Programm nicht unbedingt, es reicht wenn man es in ein Arbeitsverzeichnis kopiert oder man könnte es auch dort an Ort und Stelle ausführen, wo es kompiliert wurde. Dadurch kann es, wenn man es nur einmalig benötigt wird, anschließend auch schnell wieder gelöscht werden.
cp extundelete/TEMP/ARBEITS/VERZEICHNIS/
cd /TEMP/ARBEITS/VERZEICHNIS/
./extundelete --help

===== Hinweise und Beispiele zur Benutzung =====

Es wird dringend empfohlen mit einer Kopie des entsprechenden Filesystems zu arbeiten. Wo das nicht möglich ist, geht es auch mit dem Filesystem selbst, nur sollte es auf keinem Fall in dieser Zeit mit Schreibzugriff eingehängt sein. Wenn man mit einer Image-Kopie vom Filesystem arbeitet wird, benötigt man theoretisch keine Rootrechte. 
Im Arbeitsverzeichnis sollte genügend freie Plattenkapazität vorhanden sein, da dorthin die wiederhergestellten Dateien geschrieben werden.

Bei '''extundelete''' werden im Gegensatz zu '''ext3grep''' keine "stage"-Dateien angelegt auf die man gegenenfalls achten muss. Abgelegt werden die Dateien ebenfalls in einem Unterverzeichnis des aktuellem Verzeichnisses mit dem Namen '''"RECOVERED_FILES/"''' 
Im Gegensatz zu '''ext3grep''' werden jedoch Dateien die mehrmals restored werden, dort nicht jedes mal überschrieben, sondern bekommen zusätzlich noch eine Endung "'''.v1 .v2 .v3''' ......" an den Dateinamen angehängt, so das man dann bei mehrere Versuchen auch mehrere Versionen ein und der selben Datei hat.

Einen Überblick über die derzeit aktuell unterstützten Optionen kann man auch [http://extundelete.sourceforge.net/options.html hier] finden.

'''Ein paar Beispiele:'''

Eine einzelne Datei restoren, es muss auch hier der komplette Path zur Datei wie bei '''ext3grep''' angegeben werden. ''(Das ist im Moment noch etwas schwierig, da die Option ''--dump-names'' noch nicht implementiert ist.)''
./extundelete test.iso --restore-file dir/subdir/filename

Ein komplette Verzeichnis recursiv wiedergewinnen. (Verzeichnis hier "testdir/" im Root des Filesystems)
./extundelete test.iso --restore-directory testdir

Eine Dateiliste wiederherstellen. Die Liste besteht aus Dateinamen mit ihrem Path. Eine Datei pro Zeile. also zB so hier
<pre># cat filename.log
test8/datei_follow.log
test8/test5
test8/test5/.Hallo1
test8/test5/.Hallo2
test8/test5/.Hallo3
test8/test5/.Hallo4
test8/test6
test8/test6/dir1
test8/test6/dir1/dir2
test8/test6/dir1/dir2/dir3
test8/test6/dir1/dir2/dir3/dir4
test8/test6/dir1/dir2/dir3/dir4/Testdatei.txt </pre>
Achtung: Der Befehl ist nicht zu verwechseln mit dem zum restore nur einer einzigen Datei
./extundelete test.iso --restore-files filename.log

Alle als gelöscht zu findende Dateien restoren.
./extundelete test.iso --restore-all

Besser ist es jedoch die Löschzeitpunkt möglichst genau einzuschränken, damit nicht uralte Dateien mit hergestellt werden. Die Zeitangabe auch hier in Sekunden seit 1970. (Hier im Beispiel mal gleich in der Befehlszeile erledigt.) Es sollen alle Dateien die vor mindestens 16 Stunden aber höchstens vor 18 Stunden gelöscht wurden wieder restored werden.
./extundelete test.iso --after $(date -d "-18 hour" +%s) --before $(date -d "-16 hour" +%s) --restore-all

'''Hinweise :'''

Allgemein gilt das selbe wie bei ext3grep.

-----

====ext4magic====

Mit [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic ext4magic] entsteht derzeit ein weiteres Konsol Tool, welches das recovern von Dateien aus Journaldaten ermöglicht. Es baut auf den Erfahrungen von ext3grep und extundelete auf, und geht dabei ein paar Schritte weiter. Es ermöglicht auch die Wiederherstellung der User- und Zugriffsrechte, der Zeitstempel, unterstützt mit Ausnahme von Sockets alle Dateitypen und auch Hardlinks. Auch das Wiederherstellen von Dateiattributen ist möglich und kann optional beim compilieren aktiviert werden. Das Wiederherstellen überschriebener Dateien/Verzeichnisse oder älterer Dateiversionen ist in gewissen Masse möglich, soweit die Journaldaten dafür ausreichend sind. Unterstützt wird dabei sowohl ext3 als auch ext4.

Das Programm hat eine Vielzahl von Anzeige Optionen und ermöglicht somit auch Untersuchungen am Filesystem. Somit können über die Nutzung der Journaldaten Manipulationen und Änderungen an Dateien und Verzeichnissen ermittelt und verfolgt werden, soweit sich die Daten dazu noch im Journal befinden. Die Vielzahl der Funktionen macht dieses Programm jedoch in der Anwendung nicht ganz einfach.

===== Weitere Möglichkeiten und Funktionen =====

In Entwicklung dort ist ein mehrstufiges Recover welches speziell für den Fall eines versehentlich rekursivem Löschens abgestimmt ist. Wird das Filesystem nach einem solchem Löschvorgang baldmöglichst umountet und nicht weiter benutzt hat man mit den neuen Magic-Funktionen (derzeit verfügbar für ext3 in Versionen 0.2.x und für ext4 in Versionen 0.3.x ) sehr gute Chancen auch Dateien wiederherstellen zu können, von denen keine alte Inodekopie mehr vorhanden sind. Ermöglicht wird das durch ein mehrstufiges Verfahren. Im ersten Schritt werden alle Dateien wiederhergestellt die aus Inodekopien im Journal gewonnen werden können. Nachfolgend wird mit einem neuen sehr speziell auf das Filesystem abgestimmten [http://www.forensicswiki.org/wiki/File_Carving File Carving Verfahren] versucht, auch die Dateien zu finden, von denen keine Inodekopie mehr vorhanden sind. Im Gegensatz zu anderen Recovertools, wie zB PhotoRec, werden in den Magic-Funktionen jedoch nicht alle Datenblöcke des Filesystems untersucht. Es werden aus dem Journaldaten, welche während des Löschens geschrieben wurden, versucht die Datenblöcke gezielt zu ermitteln, die gelöscht worden sind und es werden auch alle Datenblöcke übersprungen die schon durch das Recovern der Inodekopien aus dem Journal ihre Verwendung wieder gefunden haben. Damit ist auch effektives Wiederherstellen der Daten in nur teilweise gelöschten Filesystemen möglich. Diese neuen Funktionen nutzen unter anderem auch filesystemtypischen Metablöcke für das Zusammenbauen der Dateien. Solche Daten werden von den meisten Recovertools weniger bis gar nicht genutzt, da viele dieser Programme darauf abgestimmt wurden, möglichst universell auf viele unterschiedlichen Filesysteme zu arbeiten.
Im Ergebnis kann ext4magic in der derzeitigen Ausbaustufe auf ext3 auch viele fragmentiert vorhandene Dateien und damit auch sehr große Dateien wiederfinden. Viele andere typische Carving Tools haben mit solchen Dateien Probleme und können sie nicht, nur teilweise oder beschädigt wiederherstellen. Unter ext4 werden Dateien gefunden die unfragmentiert waren, und Dateien die sehr stark fragmentiert vorgelegen haben, zB sehr große Dateien, oder Dateien welche geschrieben wurden als das Filesystem so gut wie voll war. Derzeit können Dateien welche aus 2 bis 4 Fragmenten bestehen noch nicht gefunden werden, es wird noch daran gearbeitet ein Recover auch solcher Dateien für einige Dateitypen möglich zu machen.

'''Die Vorteile dieses Verfahrens:'''
# Verknüpfung und Ergänzung beider Recoververfahren in einem einzigem Tool für das optimale Ergebnis
# kann auch in nur teilweise gelöschten Filesystemen effizient nur nach den wirklich gelöschten Dateien suchen
# es wird so gut es geht vermieden solche Datenbereiche auszuwerten, die mit dem letztem Löschvorgang nichts zu tun haben
# Datenbereiche werden nicht mehrfach recovert und der Datenschrott beim Recovern wird verringert
# zT werden fragmentiert abgelegte Dateien, die sonst sehr schwierig zu recovern sind, gefunden

ext4magic stellt im optionalen Expert-Mode auch Funktionen zur Verfügung, mit denen aus defekten oder teilweise überschriebenen Filesysteme versucht werden kann, noch Dateien zu retten (funktioniert aber nur bevor versucht wurde ein komplett defektes Filesystem mit fsck wieder zu reparieren).

===== ext4magic Links und Dokumentation =====

Informationen für das [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic-Installation compilieren aus dem Quellcode], Benutzung sowie Hintergrundinformationen sind über die [http://developer.berlios.de/projects/ext4magic/ Projektseite] oder das [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic Wiki] zu finden. 
Einige ausführliche Howtos für [http://openfacts2.berlios.de/wikien/index.php/BerliosProject:Ext4magic-Howto typische Anwendungsfälle] sind im englischem Wiki zu finden.

Aktueller Source Download
:[http://prdownload.berlios.de/ext4magic/ext4magic-0.2.4.tar.gz ext4magic-0.2.4] mit der Magic-Funktion für ext3 
:[http://prdownload.berlios.de/ext4magic/ext4magic-0.3.0.tar.gz ext4magic-0.3.0] mit der Magic-Funktion für ext4 

Einige Distributionen bieten fertige Community Pakete an. zu finden zB über. [http://pkgs.org/search/?keyword=ext4magic pkgs.org] 
Die ext4magic Entwicklung stellt selbst auch für einige RPM basierende Distributionen fertige Pakete online. Sieht auch [http://openfacts2.berlios.de/wikien/index.php/BerliosProject:Ext4magic#Installation Installationshinweise] im Wiki

'''Neuigkeiten:''' Ein [http://developer.berlios.de/forum/forum.php?forum_id=35219 Front-End für ext4magic] speziell für kleine Rescue Systeme steht derzeit für die ersten Usertests zur Verfügung.

=== Links und Quellen ===

* http://www.nongnu.org/ext2-doc/ext2.html Dokumentation "The Second Extended File System"

[[Category:Partitionen]]

Verlorene Dateien wiederherstellen ext3 ext4

2013-01-24T07:54:43Z

Itu: whitespace wieder raus?

Wird eine Datei gelöscht, dann bleiben die Datenblöcke dieser Datei von der Löschung unberührt. Die Löschung der Datei erfolgt in den Verwaltungsdaten ([[Inode]]) der Datei, sowie in den Verzeichnissen, wo die Inodenummer mit dem Dateinamen verknüpft wird. In einem ext3/4 Filesystem werden die Daten in der Inode soweit gelöscht, das es schwierig wird eine versehentliche Löschung wieder rückgängig zu machen. Lange Zeit war das etwas für Spezialisten und dem Filesystem Debugger. [http://linux.die.net/man/8/debugfs debugfs]

Da es trotz größter Vorsicht hin und wieder mal jedem passieren kann, an dieser Stelle ein paar Hinweise und Links was heute auf ext3/4 möglich und machbar ist. Was man wissen sollte, und wie man vorgehen kann.

-----

== Gelöschte Dateien auf einem ext3 oder ext4 Filesystem wiederherstellen ==

=== Ein paar Einleitende Hintergrundinformationen ===

Um die Probleme und Möglichkeiten die beim Herstellen von gelöschten Dateien bestehen einigermaßen zu verstehen, sollte man folgendes ansatzweise wissen.
Die Gesamtheit einer normalen Dateien bestehen im ext2/3/4 Filesystem aus mehreren Einzelkomponenten
; '''die Datenblöcken''' :
* dieses sind einzelne Blöcke die den Inhalt der Datei, also die reinen Daten, aufnehmen müssen. Je größer die Datei, umso mehr solche Datenblöcke gehören zu dieser Datei.

; '''die [[Inode]]''' :
* hier stehen die Eigenschaften der Datei, wie Dateityp, Zugriffsrechte, User und Gruppe, Dateigröße usw. Die Inode adressiert aber auch über eine Art Zeigersystem die Datenblöcke. Das bedeutet, über die Inode sind alle Datenblöcke die zur Datei gehören erst auffindbar. Bei großen Dateien reicht die direkte Adressierungsmöglichkeit der Inode nicht aus und es werden zwischen die Datenblöcke weitere Adressblöcke geschrieben, die die Adressierung der Inode durch indirekter Adressierung erweitern. Die Daten von großen Dateien werden so sequentiell auf der Festplatte dann durch gelegentliche zusätzlich eingeschobene Verwaltungsblöcke unterbrochen. Große Dateien stehen also nicht in einem Stück auf der Festplatte, da Verwaltungsdaten dazwischen eingeschoben sind.

; '''der Verzeichnisseintrag''' :
* das ist ein Eintrag in einer Verzeichnisdatei. In diesen Verzeichnissdateien wird eine Zuordnung von genau einem Dateinamen zu genau einer Inode gemacht. Hier bekommt eine Datei ihren Namen. Die einzelnen Einträge für die Dateien bilden innerhalb der Verzeichnissdateidaten eine verkettete Liste, mit deren Hilfe alle Dateien dieses Verzeichnisses aufgelistet/angesprochen werden können.

; '''die Kette der Verzeichnisse''' :
* Auch die einzelnen Unterverzeichnisse sind in den Direktories mit einem Namen und der Inode der jeweils eingetragen. So bilden sie eine Art verketter Liste von der Wurzel des Dateisystems bis zum Verzeichnis in dem dann die Dateinamen enthalten sind. Aus den Verzeichnisnamen in dieser Kette wird der Path für diese Datei im Filesystem gebildet, und dieser zusammen mit dem Mountpoint ergibt dann die absolute Adresse einer Datei im gemounteten Filesystem.

Änderungen am Filesystem werden in aller Regel nicht momentan ausgeführt. Das System nimmt den Filesystem Cache und buffert die Daten temporär. Automatisch wird ein "sync" alle paar Sekunden dann die Daten wirklich auf die Platte schreiben. Wird zB eine Datei verändert und unmittelbar danach sofort die ganze Datei gelöscht, dann wird die Änderung der Datei eventuell gar nicht erst auf die Platte geschrieben, sondern nur die Löschung. Recovern können wir nur das, was auf der Platte steht und nicht das was niemals auf die Platte geschrieben wurde.

Beim Löschen von Dateien in ext3/4 passiert nun vereinfacht folgendes: 
es werden in der Inode die Zeiger auf die Datenblöcke gelöscht. Die Inode bekommt einen Zeitstempel als Lösch-Markierung, die Datenblöcke werden als "Frei verfügbar" markiert, und in den Verzeichnisdateien werden die Einträge mit dem Dateinamen und der dazugehörigen Inode ausgekettet (nicht gelöscht). Somit sind diese Dateinamen dann im Dateisystem bei normalen Zugriffen nicht mehr sichtbar. Es werden also nicht alle Spuren einer Datei beim Löschen endgültig beseitigt, im Gegenteil es wird gar nicht erst versucht. Es wird nur dafür gesorgt das sie nicht mehr zu sehen und zu finden ist und die belegten Datenbereiche dieser Datei wieder frei verfügbar sind. Bei ext3/4 ist im Gegensatz zu ext2 aber genau die Entfernung der Verlinkung in der Inode zu den Datenblöcken der Datei, ein Problem das ein rückgängig machen einer ausgeführten Löschung, ausgesprochen schwierig gestaltet.

-----

=== wiederherstellen von versehentlich gelöschten offene Dateien ===

==== Dateien aus dem /proc Verzeichnis wiedergewinnen ====

Gelegentlich kann es vorkommen, und man löscht eine Datei versehentlich und merkt sofort: "Hilfe diese Datei wird benötigt und ich habe sie auch gerade noch in einem anderem Programm in Benutzung".

Rechtzeitig bemerkt ist so was erst einmal nur Halb so schlimm. Solange eine Datei noch von einem Prozess geöffnet ist, existiert im Rechner noch der Verweis auf die Datei, und der entsprechende Prozess kann weiter mit dieser Datei arbeiten. In den Verzeichnissen ist die Datei schon nicht mehr sichtbar. Andere Prozesse können diese Datei jetzt also auch nicht mehr öffnen weil sie nicht mehr zu finden ist. Sobald der letzte Prozess, der auf eine solche schon gelöschte Datei, zugreift diese Datei schließt, oder dieser Prozess beendet wird, erst dann wird diese Datei dann endgültig im Filesystem gelöscht. Dieses Verhalten kann man zum Beispiel auch bemerken, wenn man versucht eine überlange aktuelle Logdatei zu löschen. Man hat eine riesengroße Datei zwar gelöscht, sieht sie auch nicht mehr mit '''"ls"''', aber der Speicherplatz dieser Datei wird einfach nicht freigegeben. Die Logdatei ist dann immer noch von einem Prozess geöffnet der hier nach wie vor in die scheinbar schon gelöschte Datei weiter schreibt. Die Datei kann also durchaus noch weiter anwachsen. Erst wenn dieser Prozess beendet wird, dann wird der Plattenplatz den diese Datei belegt hat, wirklich freigegeben.

Eine solche Datei kann man mit dem Befehl [http://linux.die.net/man/8/lsof lsof] finden.
<pre> rob@dhcppc0:~/Dokumente> lsof -a +L1 /home
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
more 5139 rob 3r REG 8,6 72830 0 1143264 /home/rob/Dokumente/orig.txt (deleted) </pre>
Wir sehen die Datei ist vom Befehl "more" mit der PID 5139 in Arbeit und wird als "deleted" angezeigt. In der Spalte '''FD''' finden wir '''"3r"''' Das Bedeutet: dieser Prozess greift mit dem Filediskriptor Nr '''3''' lesend ('''r''') zu. "5w" würde dann also Filediskriptor 5 hat schreibenden Zugriff auf diese Datei.

Diese Datei können wir jetzt im /proc Verzeichnis finden.
<pre>rob@dhcppc0:~/Dokumente> ls -l /proc/5139/fd/*
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/0 -> /dev/pts/0
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/1 -> /dev/pts/0
lrwx------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/2 -> /dev/pts/0
lr-x------ 1 rob users 64 9. Dez 19:09 /proc/5139/fd/3 -> /home/rob/Dokumente/orig.txt (deleted)</pre>

Allerdings, können wir hier auch nicht direkt auf die schon gelöschte Datei zugreifen, aber wir können ihren Inhalt immer noch auslesen und diesen wieder als Datei neu schreiben. Dabei würde jetzt eine neue Datei mit gleichem Namen und gleichem Inhalt angelegt.
<pre>rob@dhcppc0:~/Dokumente> cat /proc/5139/fd/3 > /home/rob/Dokumente/orig.txt
rob@dhcppc0:~/Dokumente> ls -l /home/rob/Dokumente/orig.txt
-rw-r--r-- 1 rob users 72830 9. Dez 19:24 /home/rob/Dokumente/orig.txt</pre>

Das ganze funktioniert auf diese Weise solange wir es mit "nur zum Lesen geöffnet" Dateien haben. Ist diese Datei zum Schreiben geöffnet, können wir so auch jederzeit eine Momentaufnahme dieser Datei erzeugen. Doch danach wird der Prozess eventuell weiterhin in die alte, schon gelöschte Datei, weiter schreiben. Diese Änderungen werden dann natürlich nicht mehr in unsere neu angelegte Datei registriert. Wir haben ja nur eine Momentaufnahme als Kopie. So kann es hier sein, das wir die letzten Änderungen an einer solchen Datei verlieren. ZB bei Datenbankdateien wäre so etwas dann allerdings fatal. Hier könnte zB [http://linux.die.net/man/1/tail tail] helfen, um die Datei mit allen Änderungen vollständig wieder herzustellen. Siehe auch [http://www.jfranken.de/homepages/johannes/vortraege/lsof_inhalt.de.html#ToC6 Beispiele]

-----

=== Ich habe gerade all meine Daten gelöscht, Erste Hilfe ===


Selbstverständlich hat ja jeder immer ein aktuelles Backup all seiner Betriebssysteme und all seiner Daten und hat es auch schon erfolgreich getestet, dass er damit jederzeit alles wiederherstellen kann. Deshalb das folgende hier nur theoretischer Art. ;-) 
Jeder hat etwas anders auf dem Rechner und nicht jeder Rechner hat die selbe Nutzung, deshalb erstmal allgemeine Vorgehensweise unmittelbar nach dem man bemerkt hat, "hier sind wohl eben versehentlich wichtige Daten gelöscht worden". Ziel ist es hier sicherzustellen, das man morgen wieder an die Daten kommt, die man heute gelöscht hat, auch wenn man heute noch überhaupt keine Ahnung davon hat, wie das gehen soll.

# zuerst möglichst keine vorschnellen unüberlegten Aktionen starten. Nicht ausschalten, nicht Platte ziehen, keine größeren Programme, Scripte oder Befehle nach starten
# besser erstmals 3 Minuten lang nur den Kopf benutzen und versuchen überhaupt erst mal zu begreifen, was eventuell schief gelaufen sein könnte: wann ging es noch ; was habe ich "falsch" gemacht ; was könnte betroffen sein? Letzte Befehle anschauen, letzte Fehlermeldungen verstehen.
# Was hier zuerst einmal ganz wichtig ist: jetzt unbedingt verhindern das dieser Datenstand automatisch als Backup gesichert wird und uns damit vielleicht noch das letzte vollständige Backup überschreibt.
# als nächstes mit "kleinen Befehlen" möglichst herausfinden: Geht überhaupt noch was? Welches Filesystem, welcher Verzeichnisbaum ist betroffen? was sind/waren dort für Dateien und Daten? Welche Prozesse/User/Dienste/Server greifen dort zu, welche davon könnten dort auch schreiben? Kann/darf ich diese Programme beenden, oder noch schlimmer, muss ich sie etwa beenden, weil ihnen Dateien unter dem Hintern weggelöscht wurden und sie jetzt deshalb nur noch Fehler produzieren und die Logdateien vollmüllen?
# Wichtig nachdem klar ist was in etwa alles gelöscht wurde: das entsprechenden Filesystem so gut es geht vor weiteren Schreibaktionen schützen: Wenn möglich Rechner beruhigen (zB Singleusermodus wenn man genügend Konsolenrfahrung dafür hat), ansonsten: Programme die schreibend zugreifen möglichst beenden, nicht benötigte Programme und Fenster schließen, keine weiteren Programme starten die auf dieses Filesystem zugreifen könnten. Bei betroffenen Homeverzeichnissen eventuell, neuen User anlegen dessen Home dann auf dem Rootfilesystem angelegt wird und als dieser User weiterarbeiten, Ziel ist möglichst das entsprechende Filesystem auf readonly zu remounten noch besser wenn möglich das Filesystem komplett umounten. Vorsichtshalber in der /etc/fstab Schreiberlaubnis für die betroffene Partition auch vorläufig entfernen.
# Was oftmals übersehen wird. Es handelt sich um ein Journalfilesystem. Das Journal wird auch weiterhin benutzt auch wenn man nichts in das Filesystem schreibt. ZB. wenn Dateien gelesen werden, dabei wird ein neuer a-time Zeitstempel in die Inode eingetragen. Auch solche Aktionen laufen über das Journal. Würde jetzt zB mit einem "find" der Rest des Filesystems durchsucht werden, würde je nachdem wie viel vom Filesystem nach dem Löschen noch übrig ist, eventuell eine ganze Menge ins Journal geschrieben. Jede dieser Schreibaktionen im Journal wird dabei alte Journaldaten überschreiben. Und es gibt Recoverprogramme die aus alten Journaldaten hervorragend wieder recovern können. Also sollte man sich die alten Journaldaten nicht noch unnötig überschreiben, wenn man ein solches Programm nutzen möchte. Je früher man das Filesystem oder zumindestens das Journal jetzt aushängt und nicht weiter benutzt, desto mehr Dateien werden solche Programme finden können.
# Informationen sammeln: Parititionsgrößen, Mountpoints, Filesystemtyp, wie viel ist im Moment belegt, wie viel könnte es vorher gewesen sein, Datentypen, Homeverzeichnisse anderer User betroffen? Dann diese auch informieren und auch dort Informationen sammeln. Wenn möglich welche Verzeichnisstruktur war auf der Platte, bzw. was ist davon verschwunden. Wo habe ich im Rechner eventuell noch Platz, um temporär Dateien zwischenzuspeichern. Eventuell muss man sich Prioritäten setzen: was brauche ich an Dateien unbedingt wieder; auf was kann ich notfalls verzichten; was wäre eventuell ganz unwichtig.
# Ist das betroffene Filesystem soweit beruhigt, dass möglichst nichts mehr neu geschrieben werden kann (auch nicht nach einem eventuellem reboot) und die wichtigsten Informationen eingesammelt sind, erst dann geht es weiter.
# Möglichst an dieser Stelle jetzt eine Kopie der Partition als Image oder auf eine andere Platte erzeugen. (1 zu 1, nicht komprimiert). Eine solche Kopie kann mit [[dd]] erzeugt werden, wichtig hierbei die Partition sollte möglichst umountet sein, maximal aber Readonly. Mit einer solchen Kopie zB auf einer USB-Platte hat man jetzt theoretisch unendlich viel Zeit und unendlich viele Versuche die wichtigen Dateien wieder herzustellen. Dazu muss aber entweder das Original, oder die Kopie vom Original, von jeglichen Versuchen kategorisch ausgeschlossen werden. Dieses wird immer nur zum Lesen benutzt und zwar um wieder eine neue Kopie davon zu machen, für den nächsten Versuch die Dateien wieder herzustellen.

Zum Datenwiederherstellen benötigt man mindestens 3 Dinge: Internetzugang, um an die richtigen Howtos und die Programme zu kommen, genügend Plattenkapazität, um die wiederhergestellten Dateien schreiben zu können, und reichlich Zeit. Erfahrungsgemäß fehlt einem immer eines. :-) man wird es aber trotzdem brauchen.

-----

=== Dateien anhand ihres Type mit einem Flächenscan aus den Datenblöcken wieder gewinnen ===

Die nackten Datenblöcke der Dateien bleiben als solche bei den allermeisten Filesystemen auch beim Löschen vollkommen intakt auf der Festplatte zurück. Man muss eine Platte schon gezielt überschreiben, damit man nicht mehr an alte Dateien herankommt. Liest man die gesamte Partition Block für Block aus und schaut sich die einzelnen Blöcke insbesondere den Blockanfang an, wird man dort an bestimmten Eigenschaften den Beginn von bestimmten Dateitypen erkennen können. Ist die Datei größer als die Blockgröße, dann wird man wahrscheinlich im nächsten Block die Fortsetzung dieser Datei finden. Auch das Ende vieler Dateien kann man erkennen. Meist ist der Rest hinter einer Datei mit Nullen bis zum Blockende gefüllt. Es ist also möglich hintereinander liegende Datenblöcke zu Dateien zusammen zu bauen. Wenn das ein einigermaßen intelligentes Tool macht, und dieses auch noch ein bisschen Ahnung vom Filesystem hat, dann hat man sogar die Chance auch Dateien aus Blöcken wiederzufinden und zusammen zu bauen, die auf der Platte fragmentiert vorliegen. Tools die so nach verlorenen Dateien suchen gibt es eine ganze Menge.

Das Problem dabei. Es werden in aller Regel nicht nur die verlorenen Dateien wieder gefunden die man benötigt, sondern auch solche, die man nicht verloren hat, sowie jede Menge Kopien davon und jede Menge Dateien die man schon vor ewiger Zeit gelöscht hat, und auch mehr oder weniger viele, die mittlerweile fehlerhaft oder komplett defekt sind. Ein gutes Tool ist jetzt in der Lage bei einigen Dateitype, insbesondere bei Dateien welche Metadaten in sich bergen den Dateinamen und einige Eigenschaften wieder richtig zu setzen. Für einige Dateitypen wird eventuell noch der gefundenen Datei wieder eine richtige Dateiendung gegeben, die auf den wahrscheinlichsten Datentyp hinweist. Diese Tools sind aber nicht in der Lage den gefundenen Dateien allen ihre ursprünglichen Namen wieder zugeben, geschweige denn zu entscheiden, in welches Verzeichnis gehört die Datei und welchem User hat die Datei gehört. Nach dem Einsatz solcher Tools kann man sich nicht selten Stunden und Tage damit befassen, Dateien zu sichten, zu sortieren und ihnen neue Namen zu geben. Eventuell helfen Scripte dabei. Allerdings sind die Probleme dabei so vielfältig und in jedem Fall anders gelagert, das es dazu nicht wirklich etwas universelles gibt. Dieses Verfahren eignet sich vor allem für gelöschte Datendateien, Bilder, Musik, Dokumente usw. Der Versuch dieses Verfahren auf das Rootfilesystem anzuwenden, würde wahrscheinlich zu nichts weiter als zu Datenschrott führen.

==== PhotoRec ====

[http://www.cgsecurity.org/wiki/PhotoRec_DE PhotoRec] ist ein Tool aus [http://www.cgsecurity.org/wiki/TestDisk_DE TestDisk]
Mit seiner Hilfe ist es möglich verlorene oder gelöschte Dateien durch einen Scan des Datenträgers wiederzufinden. '''PhotoRec''' unterstützt viele Dateisysteme und ist nicht mal auf ein funktionierendes Filesystem angewiesen, kann also Dateien auch noch finden wenn das Filesystem schwer beschädigt oder eventuell neu formatiert wurde.
Es kennt eine ganze Reihe von [http://www.cgsecurity.org/wiki/Wiederherstellbare_Dateiformate_unter_PhotoRec Dateitypen], die es wieder herstellen kann.

Testdisk sollte man in verschiedenen Distributionen und auf verschiedenen Hilfs- CD/DVDs finden. Unter OpenSuse sollten fertige [http://packages.opensuse-community.org/index.jsp?searchTerm=testdisk&distro=openSUSE_111 Pakete bei Packman] zu finden sein.

Die Benutzung von PhotoRec ist in diesem [http://www.cgsecurity.org/wiki/PhotoRec_Schritt_f%C3%BCr_Schritt HOWTO] wohl gut genug beschrieben, so das wir das hier gar nicht erst versuchen müssten.

Das Hauptproblem dürfte meist erst auftreten, wenn PhotoRec mit seiner Arbeit fertig ist. Es wird oftmals nicht leicht sein all die Dateien zu sortieren die dort gefunden werden. [http://www.cgsecurity.org/wiki/Nach_dem_Gebrauch_von_PhotoRec Hier] und an vielen anderen Stellen i, Netz wird man sicherlich Tipps und Tricks dazu finden.

-----

=== Die Dateien mit Hilfe alter Filesystem-Journaldaten wieder herstellen ===

Das Prinzip dahinter ist folgendes. ext3/4 ist ein Journalfilesystem. Bevor Änderungen an der internen Filesystemstruktur vorgenommen werden, werden diese Änderungen in einer Art Aufgabenbuch, dem sogenanntem Journal, auf die Platte geschrieben. Erst dann werden die Änderungen an dem Filesystem selbst vorgenommen. Ist die Änderung im Filesystem abgeschlossen, werden die Aufgaben im Journal als "erledigt" markiert. Damit wird gesichert, dass auch bei einem Rechnerabsturz das Filesystems konsistent bleibt und ermöglicht eine schnelle Wiederherstellung des Filesystems nach einem Absturz. In diesem Fall müssen dann nur die noch offenen Änderungen im Journal abgearbeitet werden. 
Zu den Daten die dort im Journal abgelegt werden gehören die Blöcke in denen die Inode enthalten sind. Dort im Journal befinden sich also Kopien von alten Inodedaten. Und diese stehen dort oftmals einen längeren Zeitraum. Da immer ganze Inode Blöcke dort abgelegt werden, ist die Wahrscheinlichkeit sehr groß, dass man von vielen Dateien dort auch eine alte Inode findet.

Hier sind also genau die Informationen die uns zB. nach dem Löschen von Dateien fehlen würden, um eine Datei komplett wieder herzustellen. Das Problem ist jedoch jetzt die richtige Kopie einer Inode zu finden, die genau die Daten der Inode einer Datei vor dem Löschen enthält. Meist sind von Dateien mehrere, oftmals sehr viele alte Kopien dort zu finden. Gelöschte Dateinamen stehen immer noch mit der ehemaligen Inodenummer in den Datenblöcken der Verzeichnisdateien. Dort müsste der Datenblock nur roh ausgelesen werden um den ehemaligen Dateinamen und die dazugehörige Inode zu ermitteln. Von dieser Inode benötigen wir jetzt aus dem Journal die älteste Kopie die noch keinen Löschzeitstempel hat. Aus den Daten dieser Inodekopie kann jetzt über die Links zu den Datenblöcken, die Datei wieder hergestellt werden. Die anderen Eigenschaften der gelöschten Datei stehen auch in dieser Inode. Die Datenblöcke auf die diese Inodekopie verweist, sind zwar im Filesystem derzeit als "frei verfügbar" markiert, die Wahrscheinlichkeit dass sie jedoch noch nicht anderweitig benutzt wurden, ist groß. Damit könnte jetzt problemlos eine Kopie der gelöschten Datei erzeugt werden. Programme die das können sind '''ext3grep''' ; '''extundelete''' ; '''ext4magic'''

Haben wir uns eine Datei überschrieben, zB weil wir statt mit der Umleitung "''>> Dateiname''" (die soviel bedeutet wie, Ausgabe am Ende der Datei Dateiname weiter schreiben) mit der Umleitung "''> Dateiname''" (Ausgabe in Datei Dateiname schreiben), gearbeitet haben, dann könnte über das Journal auch in diesem Fall die Informationen gewonnen werden, um den alten Dateistand wieder herzustellen. Automatische Funktionen dafür gibt es in den hier vorgestellten Programmen derzeit wohl nun bei '''ext4magic'''. Mit Hilfe von '''ext3grep''' wäre es mit einigem Hintergrundwissen noch manuell möglich. Mit '''extundelete''' scheint das derzeit überhaupt nicht möglich zu sein.

-----

==== ext3grep ====

'''Einleitung''' : 
'''[http://groups.google.com/group/ext3grep/web/ext3grep-source-code-and-overview ext3grep]''' ist ein Konsolenprogramm von Carlo Wood. Es wurde wohl ursprünglich aus der Not heraus entwickelt. Die allgemeine Vorgehensweise und das Prinzip sind in seinem [http://www.xs4all.nl/~carlo17/howto/undelete_ext3.html Howto] sehr schön beschrieben. Carlo Wood hatte die revolutionäre Idee aus dem Filesystem-Journal Backups von früheren Inodeblöcken die Daten zu gewinnen mit deren Hilfe die gelöschten Dateien wieder hergestellt werden können.

'''Vorteile''' : 
Es können gezielt Kopien sowohl von einzelnen gelöschte Dateien, oder auch von allen als gelöscht erkannten des Filesystems mitsamt Dateinamen mit dem Pfad und original Zugriffsrechten und Zeitstempel wieder hergestellt werden. Man kann dabei den Löschzeitraum zeitlich eingrenzen, so das man gezielt nur versucht solche Dateien wieder zu gewinnen, die während diesem Zeitraum gelöscht wurden. Es kann eine Liste aller in Verzeichnisdatenblöcken gefundenen Dateinamen erstellt werden. Möglich sind auch Zeit Histogramme aus den Inodedaten, zB um die Anzahl der Löschvorgänge im zeitlichen Zusammenhang anzuzeigen. Damit ist es möglich den interessanten Löschzeitraum gut einzugrenzen. Eine Reihe von zusätzliche Optionen ermöglichen eine sehr gute und hilfreiche Informationen aus dem Filesystem und aus dem Journal für das Auffinden von gelöschten oder verlorenen Dateien auch in speziellen Problemfällen. Mit diesen Informationen ist es mit etwas Hintergrundwissen auch durchaus möglich per Hand bestimmte ältere Dateistände von Dateien wieder herzustellen. Einfaches normales Wiederherstellen einer erst kürzlich gelöschten Datei ist damit auch ohne spezielle Kenntnisse mit nur wenigen Optionen für die meisten Linuxuser fast problemlos auf der Konsole machbar.

'''kleine Mängel''' : 
Das Programm arbeitet relativ langsam, da es einmalig aufwendige Scans nach allen Dateinamen über das gesamte Dateisystem macht. Größere Filesysteme haben dabei entsprechend sehr lange Laufzeiten, auch wenn nur sehr wenige Dateien wieder hergestellt werden sollen. Bei einem erneutem Aufruf von ext3grep auf dem selben Filesystem ist es dann recht flott, da die Daten nur einmalig gescannt werden brauchen und in Logdateien abgelegt werden.
Es ist sehr viel im Programm starr einprogrammiert worden. Dadurch ist es nicht flexibel genug, um alle möglichen Eigenschaften des Filesystems zu berücksichtigen. ext4 Filesysteme funktionieren zum Beispiel gar nicht. Unterstützt werden nur [http://de.wikipedia.org/wiki/Byte-Reihenfolge Little Endian] (Intel x86) Systeme. Das Programm wird scheinbar vom Entwickler selbst z.Z. nicht mehr ernsthaft weiterentwickelt und ist auch im Quelltext nicht sonderlich übersichtlich und strukturiert, so das auch andere Entwickler hier nur sehr schwer einen Einstieg für eine Weiterentwicklung finden werden.

'''Fazit''' (des Autor dieses Wikibeitrages) : 
Einfach genial für Standard ext3, aber leider nicht flexibel genug für ext4. Geeignet für kleine und mittlere Filesysteme wenn viele Dateien wieder hergestellt werden sollen. Sehr gut geeignet auch um Informationen aus dem Filesystem für manuelles Wiederherstellen bei extremen Problemfällen zu gewinnen.

===== Installation von ext3grep =====

Einige Distributionen scheinen es per Paket oder per default zu unterstützen. Für OpenSuse müsste es bei Bedarf selbst kompiliert werden. 
Benötigt werden die allgemeinen Entwicklertools mit '''C++''' sowie die Header von '''e2fsprogs'''

Im einzelnen wären folgende Pakete mit ihren Abhängigkeiten zu installieren : '''gcc ; gcc-c++ ; make ; e2fsprogs-devel'''

Quellcodearchiv downloaden
wget http://ext3grep.googlecode.com/files/ext3grep-0.10.1.tar.gz

Archiv auspacken
tar -xzf ext3grep-0.10.1.tar.gz

in das Verzeichnis wechseln, dort '''configure''' und '''make''' ausführen.
cd ext3grep-0.10.1/
./configure
make
Das Ergebnis ist eine ausführbare Datei namens '''ext3grep''' im Unterverzeichnis '''src/''' 
Zu installieren braucht man das Programm nicht unbedingt, es reicht wenn man es in ein Arbeitsverzeichnis kopiert oder man könnte es auch dort an Ort und Stelle ausführen, wo es kompiliert wurde. Dadurch kann es, wenn man es nur einmalig benötigt, anschließend auch schnell wieder gelöscht werden.
cp src/ext3grep /TEMP/ARBEITS/VERZEICHNIS/
cd /TEMP/ARBEITS/VERZEICHNIS/
./ext3grep --help

===== Hinweise und Beispiele zur Benutzung =====

Es wird dringend empfohlen mit einer Kopie des entsprechenden Filesystems zu arbeiten. Wo das nicht möglich ist, geht es auch mit dem Filesystem selbst, nur sollte es auf keinem Fall in dieser Zeit mit Schreibzugriff eingehängt sein. Wenn man mit einer Image-Kopie vom Filesystem arbeitet, benötigt man keine Rootrechte, kann dann allerdings ohne Rootrechte auch die Dateien nicht mit ihren Orginal Zugriffsberechtigungen erstellen. 
Im Arbeitsverzeichnis sollte genügend freie Plattenkapazität vorhanden sein, da dorthin die wiederhergestellten Dateien geschrieben werden.

Wenn ext3grep das Filesystem scannt, legt es im aktuellem Verzeichnis 2 Dateien an. '''FILESYSTEMNAME.ext3grep.stage1 '''und''' FILESYSTEMNAME.ext3grep.stage2''' 
Diese Dateien bitte nicht per Hand manipulieren, auch wenn das noch so verlockend ist. Diese Dateien müssen jedes mal gelöscht werden (damit sie bei erneuter Verwendung von ext3grep wieder neu erzeugt werden) nachdem man das Filesystem wieder schreibend eingehängt hat oder zB ein anderes Filesystem mit dem selben Kopienamen bearbeiten will. Sonst kommt ext3grep durcheinander.

Die wiederhergestellten Dateien landen in einem Unter-Verzeichnis '''"RESTORED_FILES/"''' das ext3grep selbst anlegt.
Es werden für einige Optionen Zeitangaben im Sekundenformat seit 1970 benötigt. Diese kann man zB wie folgt ermitteln, oder in der [http://linux.die.net/man/1/date Manpage von date] nachlesen.
date +%s #jetzt
date -d "" +%s #heute 0:00 Uhr
date -d "-1 day" +%s #gestern um diese Zeit
date -d "2009-12-10 15:28:42" +%s

Alle Befehlsoptionen anzeigen lassen, allgemeine Hilfe
./ext3grep --help

Test auf prinzipielle Unterstützung des Filesystems, auslesen des Filesystem Superblocks, ('''test.iso''' ist hier ein Filesystemimage)
./ext3grep test.iso

Ein Histogramm erzeugen, um herauszufinden, wann wie viele Dateien gelöscht wurden, Damit lässt sich der interessante Zeitbereich sehr genau bestimmen (Zeitoptionen wie oben beschrieben)
./ext3grep --histogram=dtime --after=1202351086 --before=1202351129

Alle Dateien recovern, die ab einer bestimmten Zeit gelöscht wurden
./ext3grep test.iso --restore-all --after=1260399600

Eine Liste der Dateinamen erzeugen von denen ext3grep annimmt, sie wiederherstellen zu können
./ext3grep test.iso --dump-names

Eine einzelne ganz bestimmte Datei "'''Verzeichnis/Path/dateiname.txt'''" recovern. Der Path zur Datei beginnt mit dem Wurzelverzeichnis aus der Sicht dieses Filesystems und darf nicht mit '''"/"''' beginnen. Der Dateiname muss in der oben erzeugten Liste enthalten sein.
./ext3grep test.iso --restore-file Verzeichnis/Path/dateiname.txt

'''Hinweise:'''
# '''Das Programm ist und bleibt "Beta"'''
# Es geht hier nur ext3, wenn ein ext3 Filesystem mit ext4 beschrieben wurde, oder nach ext3 konvertiert wurde, wird es nicht funktionieren oder nur unzureichend Ergebnisse liefern
# Niemals, und auf gar keinen Fall versuchen, Dateien aus dem selben Filesystem wiederherzustellen, in das man gerade die wiederhergestellten Dateien wieder hinein schreibt :-)
# Wann immer möglich keinen Filesystemcheck nach dem Löschen und vor dem Recoverversuch durchführen, besonders keinen, wo man Fragen beantworten soll. Wenn der Rechner vor dem Recoverversuch noch rebootet oder ausgeschalten werden muss und man keine Kopie hat, prüfen ob man den Eintrag in der /etc/fstab auf readonly umändern kann und im sechtem Feld mit einer "0" den Filesystemcheck verhindern kann
# Möglichst den Zeitraum einschränken oder genaue Dateinamen recovern lassen, damit nicht Unmengen uralte Dateien recovert werden.
# Es wird mit diesen hier vorgestellten einfachen Optionen der Stand vor dem letztem Löschvorgang einer Datei hergestellt.
# Nicht wirklich jede Datei wird sich jederzeit auch so wieder recovern lassen, Ein Backup ersetzt dieses Tool also keinesfalls
# Möglichst nicht erst viel im Filesystem weiter schreiben bevor man recovert
# Die wiederhergestellten Dateien sollten gründlich kontrolliert werden, auf Vollständigkeit und ordnungsgemäßen Inhalt
# je nach Füllstand und Durchsatz können einzelne Dateibestandteile schon ganz oder teilweise neu überschrieben und schon wieder gelöscht sein. Daraus könnte im Einzelfall durchaus auch mal ein scheinbar ganz falscher Inhalt der wiederhergestellten Dateien resultieren.
# Gerätedateien Pipes uä werden nicht unterstützt
# Eventuell werden ehemalige Hardlinks jetzt zu selbständigen Dateien (Auch den Hinweis über die Hardlinks im [http://www.xs4all.nl/~carlo17/howto/undelete_ext3.html Howto] lesen.)

-----

==== extundelete ====

'''Einleitung''': 
[http://extundelete.sourceforge.net/ extundelete] ist eine Überarbeitung der Idee von ext3grep. Im Unterschied zu '''ext3grep''' benutzt '''extundelete''' die Funktionen des [http://e2fsprogs.sourceforge.net/ ext2fs library] zu. Dadurch können recht schnell auch aus großen Filesystemen einzelne Dateien wiederhergestellt werden.

'''Vorteile''' : 
Sehr brauchbare Laufzeiten auch in großen Filesystemen. Flexibel sowohl auf ext3 wie ext4. Analoge Funktionen und ebenfalls weitest gehende analoge Befehls-Optionen zu ext3grep. Durch die Benutzung der Libraryfunktionen erhält es automatisch die notwendige Flexibilität für eine gute Unterstützung des ext3/4 Filesystems. Unterstützung auf für Big Endian. Es können hiermit auch gezielt Verzeichnissbäume und Dateilisten wiederhergestellt werden.
Das Wiederherstellen von Dateien ist ohne großartige Spezialkenntnisse von jedermann möglich. Für viele Distributionen als Paket erhältlich.

'''kleine Mängel''' : 
Es sind noch längst nicht alle ursprünglich beabsichtigten Funktionen implementiert. Die Weiterentwicklung scheint mehr oder weniger eingeschlafen zu sein. Derzeit können nur der reine Dateiinhalt wiederhergestellt werden. Nützliche Zusatzfunktionen, analog ext3grep, sind leider derzeit nicht implementiert. extundelte ist derzeit nicht mit den aktuellsten Versionen von libext2fs (1.42) nutzbar.

'''Fazit''' (des Autor dieses Wikibeitrages) : 
Projekt mit guten Potential. Einfach in der Anwendung und einige Test und Wiederherstellung von Dateien und Verzeichnissen sowohl auf ext3 wie ext4 begeistern jedoch, auch wenn mehr oder weniger "nur" die reinen Dateidaten mit ihrem Namen und Path möglich sind. Die Datendateien sind das Wichtigste, das scheint prima zu funktionieren. Leider bleiben Fragen zu Problemen selbst in den offiziellen Mailinglisten oftmals unbeantwortet.

===== Installation von undelete =====

Soweit nicht als Paket erhältlich sein sollte (Einige Distributionen bieten derzeit fertige Installationspakete an), bitte immer die aktuellste Version nehmen, hier wurde die Version 0.1.8 getestet. Kompilieren ist recht einfach, ähnlich ext3grep 
Benötigt werden genauso die allgemeinen Entwicklertools mit '''C++''' sowie die Header von '''e2fsprogs''' unterstützte Versionen 1.41.9 bis 1.41.14

im Einzelnen wären folgende Pakete mit ihren Abhängigkeiten zu installieren : '''gcc ; gcc-c++ ; make ; e2fsprogs-devel'''

Quellcodearchiv downloaden
wget http://sourceforge.net/projects/extundelete/files/extundelete/0.1.8/extundelete-0.1.8.tar.bz2/downl

Archiv auspacken
tar -xjf extundelete-0.1.8.tar.bz2

in das Unterverzeichnis "extundelete*/src" wechseln dort '''make''' ausführen. ( bei neueren Versionen erst "./configure")
cd extundelete-0.1.8/src/
make

Das Ergebnis ist eine ausführbare Datei mit Namen '''extundelete''' im Unterverzeichnis '''src/''' 
Zu installieren braucht man das Programm nicht unbedingt, es reicht wenn man es in ein Arbeitsverzeichnis kopiert oder man könnte es auch dort an Ort und Stelle ausführen, wo es kompiliert wurde. Dadurch kann es, wenn man es nur einmalig benötigt wird, anschließend auch schnell wieder gelöscht werden.
cp extundelete/TEMP/ARBEITS/VERZEICHNIS/
cd /TEMP/ARBEITS/VERZEICHNIS/
./extundelete --help

===== Hinweise und Beispiele zur Benutzung =====

Es wird dringend empfohlen mit einer Kopie des entsprechenden Filesystems zu arbeiten. Wo das nicht möglich ist, geht es auch mit dem Filesystem selbst, nur sollte es auf keinem Fall in dieser Zeit mit Schreibzugriff eingehängt sein. Wenn man mit einer Image-Kopie vom Filesystem arbeitet wird, benötigt man theoretisch keine Rootrechte. 
Im Arbeitsverzeichnis sollte genügend freie Plattenkapazität vorhanden sein, da dorthin die wiederhergestellten Dateien geschrieben werden.

Bei '''extundelete''' werden im Gegensatz zu '''ext3grep''' keine "stage"-Dateien angelegt auf die man gegenenfalls achten muss. Abgelegt werden die Dateien ebenfalls in einem Unterverzeichnis des aktuellem Verzeichnisses mit dem Namen '''"RECOVERED_FILES/"''' 
Im Gegensatz zu '''ext3grep''' werden jedoch Dateien die mehrmals restored werden, dort nicht jedes mal überschrieben, sondern bekommen zusätzlich noch eine Endung "'''.v1 .v2 .v3''' ......" an den Dateinamen angehängt, so das man dann bei mehrere Versuchen auch mehrere Versionen ein und der selben Datei hat.

Einen Überblick über die derzeit aktuell unterstützten Optionen kann man auch [http://extundelete.sourceforge.net/options.html hier] finden.

'''Ein paar Beispiele:'''

Eine einzelne Datei restoren, es muss auch hier der komplette Path zur Datei wie bei '''ext3grep''' angegeben werden. ''(Das ist im Moment noch etwas schwierig, da die Option ''--dump-names'' noch nicht implementiert ist.)''
./extundelete test.iso --restore-file dir/subdir/filename

Ein komplette Verzeichnis recursiv wiedergewinnen. (Verzeichnis hier "testdir/" im Root des Filesystems)
./extundelete test.iso --restore-directory testdir

Eine Dateiliste wiederherstellen. Die Liste besteht aus Dateinamen mit ihrem Path. Eine Datei pro Zeile. also zB so hier
<pre># cat filename.log
test8/datei_follow.log
test8/test5
test8/test5/.Hallo1
test8/test5/.Hallo2
test8/test5/.Hallo3
test8/test5/.Hallo4
test8/test6
test8/test6/dir1
test8/test6/dir1/dir2
test8/test6/dir1/dir2/dir3
test8/test6/dir1/dir2/dir3/dir4
test8/test6/dir1/dir2/dir3/dir4/Testdatei.txt </pre>
Achtung: Der Befehl ist nicht zu verwechseln mit dem zum restore nur einer einzigen Datei
./extundelete test.iso --restore-files filename.log

Alle als gelöscht zu findende Dateien restoren.
./extundelete test.iso --restore-all

Besser ist es jedoch die Löschzeitpunkt möglichst genau einzuschränken, damit nicht uralte Dateien mit hergestellt werden. Die Zeitangabe auch hier in Sekunden seit 1970. (Hier im Beispiel mal gleich in der Befehlszeile erledigt.) Es sollen alle Dateien die vor mindestens 16 Stunden aber höchstens vor 18 Stunden gelöscht wurden wieder restored werden.
./extundelete test.iso --after $(date -d "-18 hour" +%s) --before $(date -d "-16 hour" +%s) --restore-all

'''Hinweise :'''

Allgemein gilt das selbe wie bei ext3grep.

-----

====ext4magic====

Mit [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic ext4magic] entsteht derzeit ein weiteres Konsol Tool, welches das recovern von Dateien aus Journaldaten ermöglicht. Es baut auf den Erfahrungen von ext3grep und extundelete auf, und geht dabei ein paar Schritte weiter. Es ermöglicht auch die Wiederherstellung der User- und Zugriffsrechte, der Zeitstempel, unterstützt mit Ausnahme von Sockets alle Dateitypen und auch Hardlinks. Auch das Wiederherstellen von Dateiattributen ist möglich und kann optional beim compilieren aktiviert werden. Das Wiederherstellen überschriebener Dateien/Verzeichnisse oder älterer Dateiversionen ist in gewissen Masse möglich, soweit die Journaldaten dafür ausreichend sind. Unterstützt wird dabei sowohl ext3 als auch ext4.

Das Programm hat eine Vielzahl von Anzeige Optionen und ermöglicht somit auch Untersuchungen am Filesystem. Somit können über die Nutzung der Journaldaten Manipulationen und Änderungen an Dateien und Verzeichnissen ermittelt und verfolgt werden, soweit sich die Daten dazu noch im Journal befinden. Die Vielzahl der Funktionen macht dieses Programm jedoch in der Anwendung nicht ganz einfach.

===== Weitere Möglichkeiten und Funktionen =====

In Entwicklung dort ist ein mehrstufiges Recover welches speziell für den Fall eines versehentlich rekursivem Löschens abgestimmt ist. Wird das Filesystem nach einem solchem Löschvorgang baldmöglichst umountet und nicht weiter benutzt hat man mit den neuen Magic-Funktionen (derzeit verfügbar für ext3 in Versionen 0.2.x und für ext4 in Versionen 0.3.x ) sehr gute Chancen auch Dateien wiederherstellen zu können, von denen keine alte Inodekopie mehr vorhanden sind. Ermöglicht wird das durch ein mehrstufiges Verfahren. Im ersten Schritt werden alle Dateien wiederhergestellt die aus Inodekopien im Journal gewonnen werden können. Nachfolgend wird mit einem neuen sehr speziell auf das Filesystem abgestimmten [http://www.forensicswiki.org/wiki/File_Carving File Carving Verfahren] versucht, auch die Dateien zu finden, von denen keine Inodekopie mehr vorhanden sind. Im Gegensatz zu anderen Recovertools, wie zB PhotoRec, werden in den Magic-Funktionen jedoch nicht alle Datenblöcke des Filesystems untersucht. Es werden aus dem Journaldaten, welche während des Löschens geschrieben wurden, versucht die Datenblöcke gezielt zu ermitteln, die gelöscht worden sind und es werden auch alle Datenblöcke übersprungen die schon durch das Recovern der Inodekopien aus dem Journal ihre Verwendung wieder gefunden haben. Damit ist auch effektives Wiederherstellen der Daten in nur teilweise gelöschten Filesystemen möglich. Diese neuen Funktionen nutzen unter anderem auch filesystemtypischen Metablöcke für das Zusammenbauen der Dateien. Solche Daten werden von den meisten Recovertools weniger bis gar nicht genutzt, da viele dieser Programme darauf abgestimmt wurden, möglichst universell auf viele unterschiedlichen Filesysteme zu arbeiten.
Im Ergebnis kann ext4magic in der derzeitigen Ausbaustufe auf ext3 auch viele fragmentiert vorhandene Dateien und damit auch sehr große Dateien wiederfinden. Viele andere typische Carving Tools haben mit solchen Dateien Probleme und können sie nicht, nur teilweise oder beschädigt wiederherstellen. Unter ext4 werden Dateien gefunden die unfragmentiert waren, und Dateien die sehr stark fragmentiert vorgelegen haben, zB sehr große Dateien, oder Dateien welche geschrieben wurden als das Filesystem so gut wie voll war. Derzeit können Dateien welche aus 2 bis 4 Fragmenten bestehen noch nicht gefunden werden, es wird noch daran gearbeitet ein Recover auch solcher Dateien für einige Dateitypen möglich zu machen.

'''Die Vorteile dieses Verfahrens:'''
# Verknüpfung und Ergänzung beider Recoververfahren in einem einzigem Tool für das optimale Ergebnis
# kann auch in nur teilweise gelöschten Filesystemen effizient nur nach den wirklich gelöschten Dateien suchen
# es wird so gut es geht vermieden solche Datenbereiche auszuwerten, die mit dem letztem Löschvorgang nichts zu tun haben
# Datenbereiche werden nicht mehrfach recovert und der Datenschrott beim Recovern wird verringert
# zT werden fragmentiert abgelegte Dateien, die sonst sehr schwierig zu recovern sind, gefunden

ext4magic stellt im optionalen Expert-Mode auch Funktionen zur Verfügung, mit denen aus defekten oder teilweise überschriebenen Filesysteme versucht werden kann, noch Dateien zu retten (funktioniert aber nur bevor versucht wurde ein komplett defektes Filesystem mit fsck wieder zu reparieren).

===== ext4magic Links und Dokumentation =====

Informationen für das [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic-Installation compilieren aus dem Quellcode], Benutzung sowie Hintergrundinformationen sind über die [http://developer.berlios.de/projects/ext4magic/ Projektseite] oder das [http://openfacts2.berlios.de/wikide/index.php/BerliosProject:Ext4magic Wiki] zu finden. 
Einige ausführliche Howtos für [http://openfacts2.berlios.de/wikien/index.php/BerliosProject:Ext4magic-Howto typische Anwendungsfälle] sind im englischem Wiki zu finden.

Aktueller Source Download
:[http://prdownload.berlios.de/ext4magic/ext4magic-0.2.4.tar.gz ext4magic-0.2.4] mit der Magic-Funktion für ext3 
:[http://prdownload.berlios.de/ext4magic/ext4magic-0.3.0.tar.gz ext4magic-0.3.0] mit der Magic-Funktion für ext4 

Einige Distributionen bieten fertige Community Pakete an. zu finden zB über. [http://pkgs.org/search/?keyword=ext4magic pkgs.org] 
Die ext4magic Entwicklung stellt selbst auch für einige RPM basierende Distributionen fertige Pakete online. Sieht auch [http://openfacts2.berlios.de/wikien/index.php/BerliosProject:Ext4magic#Installation Installationshinweise] im Wiki

'''Neuigkeiten:''' Ein [http://developer.berlios.de/forum/forum.php?forum_id=35219 Front-End für ext4magic] speziell für kleine Rescue Systeme steht derzeit für die ersten Usertests zur Verfügung.

=== Links und Quellen ===

* http://www.nongnu.org/ext2-doc/ext2.html Dokumentation "The Second Extended File System"

[[Category:Partitionen]]