(PHP 8)
このクラスは、token_get_all() 関数の代替です。 token_get_all() 関数は、トークンを示す一文字、 またはトークンのIDの配列、トークンのテキスト、行番号からなる配列を返します。 PhpToken::tokenize() は、 全てのトークンを PhpToken オブジェクトに正規化します。 これによって、トークンの操作を行うコードのメモリ使用量が少なくなり、 コードが読みやすくなります。
T_* 定数のうちのひとつ。 または、 一文字のトークンを表す ASCII コードポイント。
トークンの内容を示すテキスト
トークンが始まる行番号(1から始まります)
トークン化された文字列内での(バイト単位の)開始位置(0から始まります)