Без сумніву, токенізація неминуча.