(PHP 8)
Bu sınıf, token_get_all() işlevi yerine kullanılabilir. İşlev, dizgecikleri tek karakterli bir dizge veya dizgecik kimliği, dizgecik metni ve satır numarasını içeren bir dizi olarak döndürürken, PhpToken::tokenize() tüm dizgecikleri PhpToken nesneleri içinde normalleştirir, bu da kodun dizgecikler üzerinde daha verimli çalışmasını ve okunabilmesini sağlar.
T_* sabitlerinden biri veya tek karakterlik bir dizgeciği temsil eden bir ASCII değer.
Dizgeciğin metinsel gösterimi.
Dizgeciğin başlangıç satır numarası (1'den başlar).
Dizgeciğin dizge içindeki başlangıç konumu (bayt sayısı olup 0'dan başlar)