IK分词器的空指针问题

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_31246691/article/details/82320528

之前有在Lucene项目中使用过IK分词器的Lucene相关API，没有出现什么问题，今天使用了另一个API，出现了空指针问题，记录一下。

            IKSegmenter segmenter = new IKSegmenter(reader, true);
                while(segmenter.next()!= null){
                    String w = segmenter.next().getLexemeText();
                    System.out.println(w);
                    context.write(new Text(id + "-" + w), new IntWritable(1));
                }

如上代码，这是我出现空指针的代码。修改后的代码如下：

            IKSegmenter segmenter = new IKSegmenter(reader, true);
                Lexeme word;
                while((word = segmenter.next()) != null){
                    String w = word.getLexemeText();
                    System.out.println(w);
                    context.write(new Text(id + "-" + w), new IntWritable(1));
                }

对比，明显可以发现，问题所在：即，在判断segmener是否有下一个词时，必须是有下一个Lexeme对象，因为在IK分词器内部，将最终分出的每一个词都封装为了一个Lexeme对象，所以，可能后面还有一个或者多个字或者符号什么的，但是并没有封装为Lexeme对象。