分词器

内部操作步骤

Standard-Analyzer

基于复杂的语法实现词汇单元化， 这种语法规则可以识别Email地址、首字母缩写、字母数字等

Simple-Analyzer

在分字母字符切分文本，并将其转成为小写形式

IK-Analyzer

实现了以词典作为基础信息的正方向切分， 以及正反双向最大匹配切分，是第三方实现的分词器

ICTCLAS4J

中科院的分词器，是基于语义分词的，简化了传统分词程度的复杂度