Die Tokenizer-Funktionen bieten eine Schnittstelle zum in der Zend-Engine integrierten PHP-Tokenizer. Mit Hilfe dieser Funktionen ist es möglich, eigene Werkzeuge zur Analyse oder Modifikation von PHP-Quellcode zu entwickeln, ohne sich mit der Sprachspezifikation auf lexikalischer Ebene auseinandersetzen zu müssen.
Siehe auch Anhang zu Token.