| |
|
Ein lexikalischer Scanner ist ein Computerprogramm(-teil) zur Zerlegung einer Eingabe in eine Folge von logisch zusammengehörigen Einheiten (Tokens).
Ein Scanner wird meist als Teil eines Compilers genutzt. Er erkennt dabei innerhalb der Eingabedatei oder des Eingabedatenstroms z. B. Schlüsselwörter, Bezeichner, Operatore, Zahlen und Zeichenketten. Als Einheit erkannte Zeichenfolgen (Tokens) werden mit ihrem Typ markiert zurückgeliefert.
Ein Scanner kann einen separaten so genannten Screener benutzen, um Whitespace (Computer) und Kommentare zu entfernen.
Wenn man eine formale Beschreibung der zu erkennenden Lexik angeben kann, läßt sich ein lexikalischer Scanner automatisch generieren.
Das auf UNIX-Betriebssystemen enthaltene Program lex sowie das von der Free Software Foundation entwickelte flex erfüllen genau diese Funktion.
Aus der formale Beschreibung generieren diese Programme eine Funktion, die aus einem eingegebenen Text das jeweils nächste Token ermittelt und zurückgibt.
Diese Funktion findet dann meist in einem Parser Verwendung.
Programme zur Erzeugung