去除代码中的注释（二） 实现 上

上一篇博文介绍了去除代码注释的思想。咱们发现，代码注释准确来讲，不属于上下文无关文法的范畴。也就是一样的一个字符串，在不一样的上下文环境下语义有所不一样。为了对付这种状况，须要在字符解析时引入状态变量。 咱们实现的过程，主要分为两个部分。数组 首先将输入字符串整理成一个Token。这里的Token在文法规则中对应的终结符。 有了第一部分的工做，生成的Token流就能够经过上下文无关文法进行分析了。

>>阅读原文<<