lucene学习笔记04-分词、中文分词

    在建立索引过程中，还有一个非常重要的部分， 就是Analyzer（分词器）。
    回想创建IndexWriter对象时，需要一个IndexWriterConfig对象，而这个IndexWriterConfig对象的构造方法，需要一个Analyze对象作为参数。像这样： 

Directory directory = FSDirectory.open(new File(indexDir)); 
IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, new StandardAnalyzer()); 
IndexWriter writer = new IndexWriter(directory, config); 

 
    本文详细说一下Analyzer的内容。
    Analyzer是分词器，负责将一段话分解成为一个个的Token（词，词元，这个概念在自然语言中使用比较广泛）。lucene在建立索引时，记录每个token的内容，并且记录该token在文中的”偏移“。检索时，需要使用建立索引时相同的分词器对输入进行分词，然后lucene就可以根据token的内容及偏移信息，检索出结果。
    举个例子：“我爱北京小吃街”。
    在比较理想的情况下，可以被分解成”我“、”爱“、”北京“、”小吃街“这几个token。

    在建立索引时，索引保存每个token以及每个token在文中的偏移。（假设”我“的偏移为0，”爱“的偏移就为1）。
    在检索时，对输入的”北京小吃街“，首先经过分词器处理，得到”北京“和”小吃街“这两个token，并且，计算出这两个token之间的距离为1（两个token之间没有其他token）。通过检索同时含有”北京“和”小吃街“这两个token，并且这两个token之间的距离为1的，就可以找到”我爱北京小吃街“这条记录。
    分词器分词过程中完成两个过程：一是去掉StopWords（停用词）；二是拆成Token（同时完成名词复数转为单数、动词时态转换等）。
    停用词是指在自然语言处理中，没有实际意义的词（比如英文中的a、an、the等），去掉停用词可以提高检索效率。
    关于停用词的一个段子： 

-如何评价中国移动新品牌「and 和」的名称？ 
-这个名字很好，不管中文还是英文都可以被搜索引擎滤掉。

    每种语言都有其特有的停用词表，并且每种语言的语言规则不尽相同，因此，不同的语言有不同的分词器。
    一般来说，对英文的分词使用StandardAnalyzer，对中文的分词使用SmartChineseAnalyzer。
    同样的文本，使用不同的分词器的效果是不一样的。用户可以自行测试，选择与业务比较贴合的分词器。
    如何查看分词器的分词结果呢？
    Analyzer中提供有tokenStream方法，其返回值为TokenStream。TokenStream的设计使用了设计模式中的”迭代器模式“和”访问者模式“。通过TokenStream的addAttribute方法，将访问者添加到访问者列表中，并且通过incrementToken方法，进行迭代。
    下面提供一个一般的方法，可以观察分词器的分词结果。该方法接收两个参数：第一个参数为使用的分词器，第二个参数为待分词文本。

private void printToken(Analyzer analyzer, String text) throws IOException {
	TokenStream tokenStream = analyzer.tokenStream("content", text);
	CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);

	tokenStream.reset();

	while (tokenStream.incrementToken()) {
		System.out.println(new String(charTermAttribute.buffer(), 0, charTermAttribute.length()));
	}

	tokenStream.end();
}

 
    整个单元测试代码：

package cn.lym.lucene.quickstart.analyzer;

import java.io.IOException;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cjk.CJKAnalyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.en.EnglishAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.junit.Test;

public class AnalyzerTest {
	@Test
	public void testStandardAnalyzer() throws Exception {
		StandardAnalyzer analyzer = new StandardAnalyzer();
		printToken(analyzer, "An apple a day keeps doctor away");
		analyzer.close();
	}

	@Test
	public void testEnglishAnalyzer() throws Exception {
		EnglishAnalyzer analyzer = new EnglishAnalyzer();
		printToken(analyzer, "An apple a day keeps doctor away");
		analyzer.close();
	}

	@Test
	public void testCJKAnalyzer() throws Exception {
		CJKAnalyzer analyzer = new CJKAnalyzer();
		printToken(analyzer, "我爱北京小吃街");
		analyzer.close();
	}

	@Test
	public void testChineseAnalyzer() throws Exception {
		SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer();
		printToken(analyzer, "我爱北京小吃街");
		analyzer.close();
	}

	private void printToken(Analyzer analyzer, String text) throws IOException {
		TokenStream tokenStream = analyzer.tokenStream("content", text);
		CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);

		tokenStream.reset();

		while (tokenStream.incrementToken()) {
			System.out.println(new String(charTermAttribute.buffer(), 0, charTermAttribute.length()));
		}

		tokenStream.end();
	}
}

 

    本文的代码可以从 https://git.oschina.net/coding4j/lucene-quickstart 获得。