ANTLR复用词法单元的子集
ANTLR中的词法单元（tokens）是由词法分析器（lexer）生成的，用于表示文本中的语言元素。当同一个词法单元在不同的地方被使用时，ANTLR默认会生成不同的Token对象来表示它们。这可能会导致重复的对象生成，从而占用更多的内存。为了减少这种重复，并更有效地利用内存，我们可以配置ANTLR在需要时复用相同的词法单元。
具体做法是添加下列代码片段到ANTLR语法文件（.g4文件）的options{}部分中：
options { tokenVocab = MyLexer; tokensPerChannel = 1000; }
这里，tokenVocab指定要使用的词法器（lexer）名称，在这个词法器中定义了所有的词法单元；tokensPerChannel指定每个词法通道（channel）中最多可以出现的词法单元数。如果不指定tokensPerChannel，ANTLR会为每个词法通道创建一个新的TokenFactory，这可能会导致内存问题。
另外，需要在词法器中设置使用通道（channel）来区分不同的词法单元。例如：
lexer grammar MyLexer;
NUMBER: [0-9]+ ; OPERATOR: '+'|'-'|'*'|'/' ; NEWLINE: '\r'? '\n' -> channel(WHITESPACE); WHITESPACE: [ \t]+ -> channel(WHITESPACE);
在这个例子中，使用了两个通道：默认通道（默认情况下ANTLR会将所有的词法单元放在默认通道）和WHITESPACE通道。词法单元NEWLINE和WHITESPACE被分配到WHITESPACE通道中，这样它们就不会干扰其他词法单元的解析，且可以单独处理。同时，我们还可以通过tokensPer