Awk

Achtung dieser Artikel ist noch in Arbeit und dient vorläufig nur als Vorlage. Dieser Beitrag zu Linux oder der Abschnitt ist in Bearbeitung. Weitere Informationen findest du hier. Der Ersteller arbeitet an dem Beitrag oder Abschnitt und entsorgt den Wartungsbaustein spätestens 3 Tage nach der letzten Bearbeitung. Änderungen außer Rechtschreibkorrekturen ohne Absprache mit dem Urspungsautor sind möglichst zu vermeiden, solange dieser Baustein noch innerhalb der genannten Frist aktiviert ist.

 Robi 18:38, 26. Sep. 2008 (UTC)

Hier wird in nächster Zeit eine kleine Einführung in awk enstehen. Wegen der Mächtigkeit und des Gesamtumfanges wird auf eine tiefgründige Aufarbeitung des Themas verzichtet, Im Wesentlichen ist folgende Struktur geplant.

Was ist awk und was kann awk ?

Awk ist eine tratitionelle Script-Programmiersprache und auf jedem UNIX- und Linux-System zu finden. Der Interpreter ist ein Programm namens awk ( benannt nach den geistigen Urvätern Alfred v. Aho ; Peter J. Weinberger und Brian W. Kernighan ). Das gesamte Konzept ist für eine Batchverarbeitung ausgelegt, d.h ein awk Programm wird ohne äußeren Eingriff eines Benutzers von Anfang bis zum Ende ausgeführt. Häuptsächlich wird es zum Durchsuchen, Auswerten und Manipulieren von Daten eingesetzt.

Das Grundprinzip von awk beruht auf der Verarbeitung einer Datei oder der Standardeingabe, dieser wird zeilenweise nach anwenderspezifischen Mustern durchsucht und beim Auffinden von Übereinstimmung eine dem jeweiligem Muster zugeordnete Aktion ausgeführt. Das Ergebnis wird in der Standardausgabe ausgegeben oder kann entsprechend umgeleitet werden. Sowohl Ein- wie auch Ausgabe wird dabei von awk als eine Folge von durch Zeilentrennzeichen separierte Zeilen (records) angesehen, die ihrerseits wieder durch Feldtrennzeichen in einzelne Felder aufgeteilt sind. Sowohl Zeilentrennzeichen (default ASCII-LF) als auch Feldtrennzeichen ( default Leerzeichen oder Tabulatorzeichen) können vom Anwender auch individuell angepasst werden. Eine Eingabezeile kann als Ganzes mit dem Bezeichner $0 angesprochen werden, die einzelnen Felder der Zeile mit $1 , $2 , $3 .... $n. Besonders geeignet sind somit Dateien in Listen- oder Tabellenform oder analog die Ausgaben von Befehlen in diesem Format, und davon gibt es auf jedem Rechner jede Menge.

Die Spachelemente von awk ist dem der Programmiersprache C nicht unähnlich. Die Möglichkeit von Konstanten und Variablen (auch als Feld und Array Elemente) die integierte Typenanpassung, die Steuerelementen zB in Form von Schleifen und Verzweigungen und schon eingebauten Funktionen der Formatierung der Textmanipulation und einiger häufiger mathematischer Funktionen machen awk zu einem sehr mächtigem Tool. Mit seiner Hilfe lassen sich auf einfache Weise eine Vielzahl von Problemen lösen, für die es sonst wenig andere akzeptable Lösungsmöglichkeiten im Scriptumfeld gibt. Allerdings sollte man bedenken, awk ist eine interpretierende Sprache und desshalb insbesondere bei der Bearbeitung großer Datenbestände in Punkto Geschwindigkeit gegenüber anderen kompilierbaren Sprachen und Tools im Nachteil.

Kleine awk Lösungen lassen sich auf der Kommandozeile bequem mittels Pipe mit anderen Kommandos verbinden und so sowohl auf der Kommandozeile wie auch in Shellscripten sehr universell direkt benutzen. akw wird heute zB in der Systemverwaltung innerhalb von Scripten verwendet für die Bearbeitung von Konfigurationsdateien sowie für einmaliges oder gelegentliches komplexes Filtern, Konvertieren und Auswerten von umfangreichen Daten zB von Logdateien. Unterteilen kann man die Einsatzgebiete in 3 Gruppen.

Datenauswertung und -aufbereitung

Vor allem bei Anwendungen mit Listenausgabe, dabei sind uA. Filteroptionen und statistische Problemstellungen, wie z.B. Berechnung oder einfach nur Summierung von Feldinhalten oder Zählung von Häufigkeiten, in Verbindung mit weiteren Auswahlkriterien möglich

Datentransformation

Eingabedaten werden auf beliebige Weise neu gruppiert, neu formatiert oder selektiv verändert.

Datenvalidierung

Überprüfung der Daten auf ihre syntaktische und semantische Korrektheit. Auch komplettes Neuerstellen von Konfigurationsdateien aus vom User editierten Dateien.

Der grundlegende Befehlsaufruf

Für das Ausführens eines awk Programmes benötigen wir also einerseits den Interpreter, das ist das Programm namens awk selbst, weiterhin benötigen wir in den meisten Fällen die Datei oder den Datenstrom der bearbeitet werden soll und wir benötigen noch den awk Programmtext. Prinzipell ist es möglich diesen Programmtext entweder in eine separate Datei abzulegen und von dort aus darauf beim Programmaufruf zuzugreifen oder aber der Programmtext kann auch direkt auf der Komandozeile hinter dem Interpreteraufruf stehen.

awk -f Programmdatei Eingabedatei

Programmtext als separate Datei 

Dieser Aufruf wird meist bei umfangreichen oder universellen awk Programmen bevorzugt. Der Programmtext kann hierzu seperat in einer Datei entwickelt werden, und muss nicht immer wieder neu auf der Komandozeile erstellt werden.

awk 'Programmtext' Eingabedatei

Programmtext vor Interpretation durch die Shell geschütz direkt hinter den Programmaufruf 

Diese Form ist besonders für klein und kleinste awk Programme geeignet, da im Falle eines Syntaxfehlers der gesamte awk Programmtext in der Komandozeile wieder neu eingegeben werden muss, und man oftmals auf hilfreiche übersichtliche Formatierung des awk Programmtextes verzichten muss.

Beide Aufrufmöglichkeiten lassen sich in Shellscripten verwenden. Wobei oftmals innerhalb von Shellscripten die 2. Variante bevorzugt wird, da damit das awk Programm mit dem Shellscipt gleichzeitig entwickelt werden kann und dann auch beides als eine Einheit in einer einzigen Datei enthalten ist. Bei universalen awk Programmtexten, die von mehreren Scripten aufgerufen werden können, bietet sich jedoch die erste Variante besser an.

Die Programmstruktur

Ein awk Programm besteht aus einer Folge von Bedingungen und Aktionen die dieser Bedingung zugeordnet sind und hat folgende allgemeine Struktur

BEGIN       { Aktion... }
Bedingung_1 { Aktion... }
Bedingung_2 { Aktion... }
....
Bedingung_n { Aktion... }
END         { Aktion... }

• BEGIN und END sind Schlüsselworte für spezielle Bedingungen innerhalb des Programmablauf, deren Aktionen werden entweder vor oder nach der Bearbeitung der Datei ausgeführt. BEGIN oder END Aktionen sind optional, also nicht jedes awk Programm muss sie beinhalten.
• Um die Bedingungen von den Aktionen unterscheiden zu können, werden die Aktionen in geschweifte Klammern { } eingeschlossen. Mehrere Aktionen können durch ; oder durch einen Zeilentrennzeichen getrennt werden.
• Bedingungungen dürfen nicht über mehrere Zeilen geschrieben werden.
• ein Aktion müssen in derselben Programmzeile beginnen in der die Bedingung steht ( "{" reicht aus ) dürfen aber über mehrere Zeilen fortgesetzt werden.
• bei einer fehlenden Bedingung, wird die Aktion für jede Zeile der Eingabedatei ausgeführt.
• bei einer fehlenden Aktion, wird jede zur Bedingung passenden Zeile unverändert an die Ausgabe durchgereicht.

Der Programmablauf

• Ist eine BEGIN Bedingung im Programm enthalten wird zuerst diese Aktion ausgeführt
  

hier ist es zB möglich spezielle Bedingungn (zB: Feldtrennzeichen für Ein- oder Ausgabe ) für den weiteren Programmablauf festzulegen, Variablen vorzubelegen oder Ausgaben zu machen, die dann in vor den verarbeiteten Daten in der Ausgabe erscheinen

• Der eigentliche Hauptprogrammablauf erfolgt in einer Doppelschleife
  

dabei wird jeweils eine einzelne Zeile der Reihe nach auf alle programmierten Bedingungen geprüft und gegebenenfalls die dazugehörige Aktion ausgeführt. Sind alle Bedingungen für die erste Zeile abgearbeitet, wird die nächste Zeile geladen und diese wiederum auf alle Bedingungen geprüft, bis auch die letzte Zeile so abgearbeitet ist.

• Ist eine END Bedingung enthalten, wird nach dem Durchlauf aller Zeilen die Aktion zur END Bedingung ausgeführt
  

Hier können jetzt die Variablen nach dem Programmdurchlauf verarbeitet und ausgegeben werden, oder Ausgaben erfolgen, die unterhalb der verarbeiteten Daten angehängt werden.

Die Bedingungen

Wie oben schon beschrieben, legt eine Bedingung fest, ob für eine Zeile die dazugehörige Aktion auszuführen ist oder nicht. In awk gibt es 2 prinzipielle Möglichkeiten für Bedingungen, einmal Reguläre Ausdrücke und zum anderem Vergleichsausdrücke. Reguläre Ausdrücke müssen in Schrägstriche /..../ eingeschlossen werden. Dabei kann sowohl auf den Inhalt der ganzen Zeile sowie auf deren einzelnen Felder wie auch auf die Variablen innerhalb des Programmes zugegriffen werden. Darüber hinaus ist es möglich mit logischen Verknüpfungen und Bereichen (analog etwa von - bis) zu arbeiten. Die Leistungsfähigkeit und Möglichkeiten von awk gehen hier weit über das hinaus, was andere Scriptsprachen, Tools und Programme können. An dieser Stelle nur ein paar Beispiele.

Die Aktion

Mit der Aktion werden im Wesentlichen 2 Dinge getätigt, zum einem werden hier die Ausgaben erstellt, und zum anderen können hier die Variablen während des Programmablaufs geändert also zB abhängig von Werten innerhalb der Zeile neu berechnet werden. Eine Aktion kann ihrerseits wieder mit Hilfe von Bedingungen oder Schleifen gesteuert werden. Die Ausgabe ist die wesentliche Aufgabe der Aktionen, denn ohne eine einzige Ausgabe würde unser awk Programm ja gar nichts machen. Die einfachste Form der Ausgabe ist die Funktion print darüber hinaus sind aber weitere sehr leistungsfähige Printfunktionen analog der Programmiersprache C vorhanden. An dieser Stelle nur einige Beispiele

Einige einfache Beispiele mit Erläuterungen

In den weiten des Web gibt es genügend großartige awk-Beispiele die einzelne Funktionen sehr anschaulich oftmals sogar spektakulär belegen, jedoch oftmals aber für die Praxis wenig wirklich wiederverwendbare Elemente enthalten. Aus diesem Grund sehen wir uns doch einmal auf unseren Rechnern um. In vielen Scripten auf unseren Rechnern werden wir awk Befehle finden. Picken wir uns doch einmal einige heraus und untersuchen sie etwas genauer.

Beispiel 1

BEFEHL | awk '{print $3}' | BEFEHL

Diesem sehr einfachen awk Befehlskonstrukt werden wir in vielen Scipten wiederfinden. Sie unterscheiden sich nur in der Zahl hinter dem $. Die Ausgabe eines Befehles wird mittels Pipe an awk übergeben. Die einfachen Hochkomma dienen hier nur dem Schutz vor der Interpretation der Shell so das unser ganzer awk Programmtext nur aus {print $3} besteht. Die Ausgabe wird anschließend wiederum an den nächsten Befehl mittels Pipe weitergereicht.

{print $3} wir haben hier nur eine Aktion ohne eine einzige Bedingung, sie wird also mit jeder Zeile der Eingabedatei durchgeführt. Die Aktion ist hier im Beispiel einfach nur "gebe für diese Zeile das Feld Nr. 3 zu Ausgabe". Also wir schneiden von jeder Zeile alles weg, außer Feld Nr. 3. Warum nimmt man dann nicht den Befehl cut mit dem geht doch das auch ?

Die Antwort ist sehr einfach, cut kennt nur jeweils einen einzigen Feldtrenner, awk arbeitet hier mit mehr Feldtrennern und geht damit viel intelligenter um als die sturen Regeln in cut. Wir wissen nicht was der User bei editieren einer Datei zwischen die einzelnen Felder für Feldtrenner einbaut, ein Leerzeichen, mehrere Leerzeichen, ein Tab-Zeichen oder mehrere, oder gar Tab- und Leerzeichen gemischt. Für den User zählt hier einzig das äußere Erscheinungsbild der Datei, bei cut müssten wir hier ganz schön vorarbeiten, damit wir auch sicher genau das 3 Feld erwischen, egal was der User eingegeben hat. awk macht das im Schlaf.

 # echo -e "1  2 3\t4 \t \t 5" | awk '{print $1,$2,$3,$4,$5}'
1 2 3 4 5
# echo -e "1  2 3\t4 \t \t 5" | cut -f 1-5
1  2 3  4                5
# echo -e "1  2 3\t4 \t \t 5" | cut -f 5

# echo -e "1  2 3\t4 \t \t 5" | cut -f 4
 5
# echo -e "1  2 3\t4 \t \t 5" | cut -f 3

# echo -e "1  2 3\t4 \t \t 5" | cut -f 2
4

Variationen

BEFEHL | awk '" " { print $2 }' | BEFEHL

hier handelt es sich um genau das selbe, nur wird hier zusätzlich noch einmal deutlich gemacht, dass hier eine leere also keine Bedingung steht.

BEFEHL | awk -F" " '{ print $8}' | BEFEHL
BEFEHL | awk -F[ '{print $1}' | BEFEHL
BEFEHL | awk -F. '{print $1 , $2 , $3}' | BEFEHL

hier wird mit Hilfe der Option -F ein spezieller Feldtrenner für die Eingabedaten festgelegt. Im letzten Befehl wird nicht nur ein Feld ausgegeben sondern die Felder 1 2 und 3 und als Feldtrennezeichen der Ausgabe wird das Standardzeichen " " von verwendet. ( Achtung wird hier {print $1 $2 $3} verwendet, dann werden die Felder ohne Trennzeichen ausgegeben)

VARIABLE=`BEFEHL | awk '{print $1 * 60}'`
VARIABLE=`BEFEHL | awk -F: '{print $1 / $2 * $3 + 1}'`

hier wird mit den Feldern vor der Ausgabe gerechnet im ersten Fall wird der 60fache Wert von Feld 1 und im zweiten Fall der Wert von Feld1 / Feld2 * Feld3 + 1 errechnet und ausgegeben und somit in der Variable gepeichert

VARIABLE=`BEFEHL | awk '{ORS=""; print $1}'`

hierbei handelt es sich um eine Anpassung des Ausgabeformates, die implementierte Variable ORS in awk beinhaltet das Zeilentrennzeichen der Ausgabe, also normalerweise '\n'. In diesem Falle wurde es geleert, das bedeutet in der Ausgabe dieser Aktion gibt es keine Zeilenvorschub, die nächste Aktion würde direkt an das Ende der Ausgabe weiterschreiben.

BEFEHL | awk '{OFS=";"; print $1,$3,$8}'

hierbei handelt es sich ebenfalls um eine Anpassung des Ausgabeformates, nur wird hier die implementierte Variable OFS geändert, in ihr steht das Feldtrennzeichen der Ausgabe, also normalerweise " ". Hier werden also für jede Zeile der Eingabe die Felder 1 3 und 8 mit einem ; getrennt ausgegeben.

Beispiel 2

Befehl | awk '/Video:/ {print $4}' | BEFEHL

hier haben wir jetzt neben der schon bekannten einfachen Aktion noch eine Bedingung. /Video:/
die Schrägstriche zeigen uns es handelt sich um einen Regulären Ausdruck. Damit kommen hier für die Aktion nur die Zeilen in Betracht die irgendwo innerhalb der Zeile den Sting "Video:" enthalten. Wir haben hier also vergleichbar den Ausdruck | grep "Video:" | cut -f 4 | implementiert

Variationen

BEFEHL | awk -F= '/quant=/ {print $2}' | BEFEHL 

das kennen wir schon, es wurde nur zusätzlich noch ein anderes Zeilentrennzeichen definiert

BEFEHL | awk '/unit/ {print sum+=$2}' | BEFEHL

Diese Variante hat hier eine Neuerung für uns, es wird hier nicht der Inhalt eines Feldes selbst ausgegeben, sondern der Inhalt einer benutzerdefinierten Variable. sum
Die Variable sum hat beim Programmstart den Wert 0 (weil nicht anders initalisiert)
Mit jeder Zeile in der der Suchstring "unit" enthalten ist, wird zu diesem Wert der Wert von Feld 2 dazuaddiert und dann diese Summe ausgegeben.
Bei mehreren gefundenen Zeilen mit "unit" wird unser awk Programm also eine entsprechende Zahlenreihe ausgeben, die jeweils um den Wert des Feldes 2 der betreffenden Zeilen ansteigt.

$hdparm -d /dev/dvd | awk '$1 == "using_dma" {print $3}' 

hier handelt es sich um das selbe Prinzip, nur wurde hier als Bedingung kein Regulärer Ausdruck verwendet, sondern ein Vergleichsausdruck, es wird hier geprüft ob der Inhalt von Feld 1 gleich "using_dma" entspricht, und nur in diesem Fall wird das Feld 3 ausgegeben.

Beispiel 3

Sehr oft aber durchaus nicht immer sind die awk Programme so kurz und leicht zu verstehen wie in obrigen Beispielen
folgender Ausschnitt wurde gefunden in /usr/bin/anytovcd.sh

echo "`awk -F= '/quant=/ {print $2}' "$1" | \
    awk '{iquant=$1; \
    oquant=iquant; \
    if (iquant>=  10) {oquant=9}; \
    if (iquant>=  12) {oquant=10}; \
    if (iquant>=  14) {oquant=11}; \
    ....
    ....
    if (iquant>=  88) {oquant=28}; \
    if (iquant>=  96) {oquant=29}; \
    if (iquant>= 104) {oquant=30}; \
    if (iquant>= 112) {oquant=31}; \
    nquant+=1; \
    sum_quant+=oquant; \
    print sum_quant/nquant}' | \
    tail -1 | awk -F. '{print $1}'`"

hier handelt es sich sogar um 3 awk Programme in einer Befehlskette. Das erste Script

awk -F= '/quant=/ {print $2}' "$1"

sucht in der Datei die dem Script oder der Funktion als erster Parameter übergeben wurde nach dem Vorkommen von "quant=" und gibt mit dem Feldtrennzeichen "=" dann jeweils das 2. Feld an die Ausgabe.

über einen Pipe wird diese Ausgabe an das 2. awk Programm übergeben, da es hier keine Bedingung gibt, wird mit jeder Zeile folgende Aktionen der Reihe nach abgearbeitet.

• Die Variabel iquant wird mit dem Inhalt von Feld1 belegt. (Wir wissen aus Script 1, es gibt nur diese erste Feld in jeder Zeile)
• Die Variable oquant bekommt den selben Wert wie iquant
• in einer langen Liste (unterscheiden sich nur durch ihre Werte) wird anschließend iquant mit Zahlen verglichen und entsprechend oquant auf einen anderen Wert gesetzt
• ist diese Liste abgearbeitet hat also oquant einen anderen aber einen von der Größe von iquant abhängigen Wert
• nquant wird in jeder Zeile jeweils um 1 erhöht
• sum_quant wird in jeder Zeile um den Wert von oquant erhöht
• zum Schluss erfolgt in jeder Zeile eine Ausgabe des Ergebnisses von sum_quant / nquant

Script 2 rechnet also die Eingangaswerte in eine andere Großenskala um und gibt jeweils das aritmethische Mittel der vorangegangen Werte aus. Dieses wird dann über die Pipe weitergereicht

tail -1

läßt hier nur die letzte Zeile passieren und übergibt diese wiederum per Pipe an das 3. awk-Script

awk -F. '{print $1}'

arbeitet mit dem Feldtrenner Punkt und gibt mit dem ersten Feld desshalb nur den Ganzzahligen Wert des ihm ubergebenen Wertes aus (Kommastellen werden abgeschnitten).

Beispiel 4

Wer bis hier her einigermaßen verstanden hat wie awk funktioniert, wird mit folgendem kein Problem haben
gefunden in /usr/bin/fontprop.sh

awk -F- '
{
    printf "FONTNAME_REGISTRY \"%s\"\n", $1;
    printf "FOUNDRY \"%s\"\n", $2;
    printf "FAMILY_NAME \"%s\"\n", $3;
    printf "WEIGHT_NAME \"%s\"\n", $4;
    printf "SLANT \"%s\"\n", $5;
    printf "SETWIDTH_NAME \"%s\"\n", $6;
    printf "ADD_STYLE_NAME \"%s\"\n", $7;
    printf "PIXEL_SIZE %d\n", $8;
    printf "POINT_SIZE %d\n", $9;
    printf "RESOLUTION_X %d\n", $10;
    printf "RESOLUTION_Y %d\n", $11;
    printf "SPACING \"%s\"\n", $12;
    printf "AVERAGE_WIDTH %d\n", $13;
    printf "CHARSET_REGISTRY \"%s\"\n", $14;
    printf "CHARSET_ENCODING \"%s\"\n", $15;
}' $*

Dem awk Befehl werden hier eine oder mehrere Dateien übergeben die jeweils eine oder mehrere Zeilen mit jeweils fest definierten Spalteninhalten haben. Die einzelnen Spalten sind durch Bindestrich "-" getrennt. (eine genaue Aufschlüsselung befindet sich auch im Script)

awk setzt diese Tabelle mit wagerechten Infomationen in eine vom Menschen gut verständliche zeilenweise Auflistung mit vorangesteller Feldbenennung um. Benutzt wird hierbei die printf Funktion, die wie in C funktioniert.

weiterführende Links

• deutschsprachige Einführung in awk
• AWK Reportgenerator Guide gute deutsche Schnellübersicht
• The GNU Awk User's Guide
• awk Manpage
• The AWK Programming Language das orginal Buch sollte wohl mittlerweile auch deutsch erhältlich sein
• ein unvollendetes [ http://de.wikibooks.org/wiki/Awk awk Wikibook]