以下に tokenizer を用いた簡単な PHP スクリプトの例を示します。この例は、 PHP ファイルを読み込み、ソースから全てのコメントを削除し、コードのみを 出力するものです。
例1 tokenizer によるコメントの削除
<?php
$source = file_get_contents('example.php');
$tokens = token_get_all($source);
foreach ($tokens as $token) {
if (is_string($token)) {
// 簡単な1文字毎のトークン
echo $token;
} else {
// トークン配列
list($id, $text) = $token;
switch ($id) {
case T_COMMENT:
case T_DOC_COMMENT:
// コメントの場合は何もしない
break;
default:
// それ以外の場合 -> "そのまま"出力
echo $text;
break;
}
}
}
?>