Les fonctions tokenizer fournissent une interface au tokenizer PHP interne au moteur Zend. En utilisant ces fonctions, vous pouvez écrire vos propres outils d'analyse ou de modification de code source PHP, sans avoir à vous soucier de la spécification du langage au niveau lexical.
Voir aussi l'appendice sur les tokens.