Zeichenhäufigkeit

Zeichenhäufigkeit im Text mit Balkendiagramm-Visualisierung analysieren

Was ist das und wie funktioniert es?

Zeichenhäufigkeitsanalyse zählt, wie oft jedes Zeichen in einem Text vorkommt, und drückt Ergebnisse als Zählungen und Prozentsätze aus. Dies ist eine der ältesten Techniken in der Kryptoanalyse — der arabische Mathematiker Al-Kindi beschrieb sie im 9. Jahrhundert.

Neben der Kryptografie wird die Zeichenhäufigkeitsanalyse in der Datenkomprimierung (Huffman-Kodierung), der natürlichen Sprachverarbeitung und der typografischen Analyse verwendet.

Anwendungsfälle

• Chiffre brechen: Bei einem Substitutionschiffre-Text den häufigsten Chiffretextbuchstaben finden — im Englischen wahrscheinlich E.
• Spracherkennung: Französisch hat höhere Häufigkeit von Akzentzeichen (é, è, à); Deutsch hat charakteristisches "e" (~17%) und Umlaute.
• Komprimierungsanalyse: Bei sehr ungleichmäßiger Zeichenverteilung erreicht Huffman-Kodierung hohe Komprimierung.

Häufige Fragen

Was ist die ETAOIN-SHRDLU-Reihenfolge?

ETAOIN SHRDLU ist die ungefähre Reihenfolge der 12 häufigsten Buchstaben im Englischen. Er wurde bekannt, weil Linotype-Maschinen Tasten in dieser Reihenfolge aus Effizienzgründen anordneten.

Wie bricht die Häufigkeitsanalyse eine Substitutionschiffre?

In einer einfachen Substitutionschiffre wird jeder Klartextbuchstabe konsistent auf einen Chiffretextbuchstaben abgebildet. Die Häufigkeitsanalyse nutzt aus, dass diese Zuordnung Buchstabenhäufigkeiten beibehält.

Was ist das Zipf'sche Gesetz?

Das Zipf'sche Gesetz besagt, dass in natürlicher Sprache die Häufigkeit eines Wortes umgekehrt proportional zu seinem Rang in der Häufigkeitstabelle ist.

Was ist Huffman-Kodierung?

Huffman-Kodierung ist ein verlustloser Datenkomprimierungsalgorithmus, der häufigeren Zeichen kürzere Binärcodes zuweist. Verwendet in deflate (ZIP, gzip, PNG), JPEG, MP3.

Text

Groß-/Kleinschreibung · Wortzähler · Zeichenzähler · Lorem-Ipsum-Generator · Leerzeichen entfernen · Textzeilen sortieren