Die Linux Shell - kurz Wiederholung

echo

• Universell eingesetzt, um Inhalte in Dateien zu schreiben bzw. anzuhängen.

• -n um das automatische Anhängen von Zeilenumbrüchen zu unterdrücken. (Besonders dann wichtig, wenn man Hashes für Testdaten generieren will.)

• Entweder ein explizites Programm oder ein in die Shell eingebautes Kommando.

$ echo -n "TestPasswort"
  | shasum -a 256
  | sed -E 's/  -$//'
2214db3d6fca761041242b9fc41fdcca
f0b2c7f556b80c0a91cfe6994437d807

cat

• Liest alle Dateien sequentiell ein und schreibt diese auf Standard Out (stdout).

• "-" repräsentiert Standard In (stdin); dies ermöglicht die Verwendung von cat mitten in einer Verarbeitungskette.

• Liest (ggf.) von stdin bis zur EOF End-of-File Markierung.

  (Das Einlesen von der Kommandozeile kann mit CTR+D beendet werden.)

$ echo "Test3" | cat Test1.txt Test2.txt -
Test1
Test2
Test3

tr

• Kopiert die Eingabe von stdin nach stdout und führt dabei Substitutionen und Löschungen durch.

$ echo -n 'ab.cd_12!' | tr -dc '[:alnum:]'  # -dc = delete complement
abcd12

$ echo -n 'STARK' | tr '[:upper:]' '[:lower:]'
stark

uniq

• vergleicht nebeneinanderliegende Zeilen und schreibt jede einzigartige Zeile einmal nach stdout. Nicht-nebeneinanderliegende Wiederholungen werden nicht erkannt.

• -c erlaubt es die Anzahl der Wiederholungen zu zählen.

$ echo "Test\nTest\nSchlaraffenland\nTest" | uniq -c
2 Test
1 Schlaraffenland
1 Test

awk

• Muster-orientierte Verarbeitung der Zeilen einer Eingabedatei.

• Jede Zeile wird segmentiert (Standardmäßig basierend auf Leerzeichen), die einzelnen Segmente werden mit $1, $2, ... bezeichnet. $0 steht für die ganze Zeile.

• Die Verarbeitung erfolgt durch Muster-Handlungsanweisungen der Form:

  pattern { action }

  ist das Muster (pattern) leer, dann wird die Zeile immer verarbeitet; ist keine Handlungsanweisung (action) angegeben, dann wird die Zeile ausgegeben.

$ echo "Test\nSchlaraffenland" |  awk '{print length " " $1}'
4 Test
15 Schlaraffenland

sort

• Sortiert eine Liste gemäß der entsprechenden Felder.

• -r sortiert in absteigender Reihenfolge.

• -n der Wert des ersten Feldes wird als numerischer Wert interpretiert.

• -k spezifiziert das Feld, nach dem sortiert werden soll. (z. B. -k 3)

• -t spezifiziert das Trennzeichen, das die Felder trennt. (z. B. -t ',')

$ echo "abc\nxyz\nuvw\nxyz" \
  | sort \                  # alphabetische Sortierung
  | uniq -c \               # zähle Häuigkeit des Vorkommens einer Zeile
  | sort -nr \              # absteigende Sortierung
  | sed -E 's/ *[0-9]+ *//' # entferne den Zähler
xyz
uvw
abc

$ printf '%s' "abc\nuvw\nxyz\nlmnop\nxyz\nuvw" \
       "\nlmnop\nlmnop\nxyz\ncd\ncd\ncd" \
  | awk '{print length " " $1}'
  | sort
  | uniq -c
  | sort -nr -k 1 -k 2
3 5 lmnop
3 3 xyz
3 2 cd
2 3 uvw
1 3 abc

$ echo "abc\n" "uvw\n" "xyz\n" "lmnop\n" "xyz\n" "uvw\n" \
       "lmnop\n" "lmnop\n" "xyz\n" "cd\n" "cd\n" "cd" \
  | awk '{print length " " $1}' \
  | sort | uniq -c \
  | sort  -k1nr -k2n
3 3 cd
3 4 xyz
3 6 lmnop
2 4 uvw
1 3 abc

base64

Base64 kodierte Werte bestehen nur noch aus gültigen ASCII Zeichen und können als "Text" gespeichet/übermittelt werden kann.

# Codierung
$ echo "Dies_ist_ein_test" | base64
RGllc19pc3RfZWluX3Rlc3QK
$ echo 'Dies_ist_ein_test!' | base64
RGllc19pc3RfZWluX3Rlc3QhCg==

# Dekodierung
$ echo REhCVyBNYW5uaGVpbQ== | base64 --decode
DHBW Mannheim

grep

• Selektiert Zeilen, die einem gegebenen Muster entsprechen.

• -o gibt nur den Teil einer Zeile aus, der dem Muster entspricht.

• -v selektiert Zeilen für die kein Teil der Zeile dem Muster entspricht.

• -E erlaubt die Spezifikation von Mustern mit Hilfe von regulären Ausdrücken.

• -i ignoriert Groß-/Kleinschreibung (in Verbindung mit -E mgl. verwirrend).

• -P Perl kompatible Ausdrücke

$ echo "Test123\nmichael@dhbw.de\n345test@dhbw.de\nEnde__" \
  | grep -Eo "[a-zA-Z]{3,}" | sort -u
Ende
Test
dhbw
michael
test

sed - Stromeditor

• modifiziert die Eingabe gemäß der spezifizierten Kommandos in der angegebenen Reihenfolge.

• -E zur Verwendung moderner regulärer Ausdrücke

• Standardform: Funktion[Agrumente]

• Substitutionen: s/Regulärer Ausdruck/Ersatz/[Kennzeichen]; das Kennzeichen "g" z. B. bewirkt, dass jedes Vorkommen ersetzt wird; sonst nur das erste Vorkommen.

$ echo 'ab_cd!_ef?' | sed -E  's/[^a-zA-Z0-9]//'
abcd!_ef?

$ echo 'aB_c1d!_ef?' |
  sed -E -e's/[a-z]/l/g' -e's/[A-Z]/u/g' -e's/[0-9]/d/g' -e 's/[^lud]/s/g'
lusldlsslls

find

• durchläuft den Dateibaum ab einer angegebenen Stelle und evaluiert dabei Ausdrücke.

• -iname Testet ob der Verzeichniseintrag - unabhängig von der Groß- und Kleinschreibung - dem gegebenen Muster entspricht.

• -exec ... {} ... \; ermöglicht es für jede gefilterte Datei {} einen Befehl auszuführen.

$ find . -iname "*hash*" -exec wc -c {} \;
33 ./saltedmd5/hash.md5
38 ./saltedmd5/saltedhash.md5
129 ./scenario5/hash.sha125
65 ./scenario6/hash.sha256
65 ./scenario7/hash.sha256
65 ./scenario9/hash.sha256

Software nachinstallieren

• Auf allen Linux und BSD Distributionen können Softwarepakete durch den Paketmanager des Betriebssystems nachinstalliert werden, z. B.:

  • apt (Debian, Ubuntu, Kali Linux, ...)

  • yum (RedHat, CentOS, ...)

  • pacman (Arch Linux, ...)

  • brew oder macports (MacOS) [*]

sudo apt install ent

Shellprogrammierung

• Jede Shell (insbesondere: zsh (auf Mac und Kali Linux) und bash (Debian, Ubuntu, ...)) erlaubt es prozedurale Programme zu schreiben.

#!/usr/bin/zsh                    # Shebang
IFS=$'\n'                         # IFS = Internal Field Separator
                                  # (Nur Zeilenumbrüche sind Trennzeichen)
rm Files.list.assessed            # Lösche die Ausgabedatei
for i in $(cat Files.list); do    # Iteriere über die Zeilen in Files.list
    echo "Processing: ""$i"
    ent -t "$i" | \               # Berechne die Entropie
    grep -E "^1" | \              # Selektiere die Zeile mit der Entropie
    tr -d '\n' | \                # Lösche den Zeilenumbruch
    cat - <(echo ",""$i") \       # Füge den Dateinamen hinzu
        >> Files.list.assessed ;  # Schreibe das Ergebnis
done;