令牌:令牌
標記化:標記化
令牌化器:令牌解析器
2.另壹種翻譯是token可以翻譯為“標記”，tokenize可以翻譯為“標記解析”或“解析標記”，tokenizer可以翻譯為“標記解析器”。
在編寫詞法分析器（Lexer）或解析器時，除了Lexer和Parser之外，還經常會出現tokenize和tokenizer，基本上所有涉及詞法解析的源代碼都會使用tokenize。
邱中攀翻譯的《掌握Java 2》中有壹段話:
根據用戶定義的規則，StreamTokenizer類從輸入流中提取可識別的子字符串和標記符號。這個過程稱為標記化（【I】標記化【/i】），因為流被簡化為標記符號。token（【I】token【/I】）通常表示語法標點符號，如關鍵字、變量名、字符串、直接數量和大括號。