Solr分词mmseg4j配置

x33g5p2x  于2021-12-20 转载在 其他  
字(2.6k)|赞(0)|评价(0)|浏览(244)

1  概述

中文分词器有多中,常用的有IKAnalyzer、mmseg4j。

引用:

前者最新版本更新到2012年,所以使用的时候要注意可能版本上有不兼容的情况,由于它是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始,IKAnalyzer已经推出了4个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从3.0版本开始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。在2012版本中,IK实现了简单的分词歧义排除算法,标志着IK分词器从单纯的词典分词向模拟语义分词衍化**。**

使用方法。

主要记录以下mmseg4j的配置,关于mmseg4j介绍:http://www.oschina.net/p/mmseg4j?fromerr=Gtaj9S9O

2      为何引用分词器

使用通常的solr系统提供的分词,可以看到会将字符串切割成每一个词,它把每一个词都分开了,可以预计如果一篇文章这样分词的搜索的体验效果非常差。所以分词器的提供可以对此进行优化。

3  配置mmseg4j

3.1     下载

下载地址:https://github.com/chenlb/mmseg4j-solr

可以将源码下载后自行编译成jar

或者使用maven直接下载jar

<dependency>
   <groupId>com.chenlb.mmseg4j</groupId>
   <artifactId>mmseg4j-solr</artifactId>
   <version>2.4.0</version>
</dependency>

将下载的mmseg4j-core-1.10.0.jar、mmseg4j-solr-2.4.0.jar拷贝到solr的lib目录下,

如:G:\solr\server\solr-webapp\webapp\WEB-INF\lib

3.2     配置

修改managed-schema文件,新增:

<!-- mmseg4j-->
<fieldTypename="text_mmseg4j_complex" class="solr.TextField"positionIncrementGap="100" > 
   <analyzer> 
       <tokenizerclass="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"mode="complex" dicPath="dic"/> 
   </analyzer> 
</fieldType> 
<fieldTypename="text_mmseg4j_maxword" class="solr.TextField"positionIncrementGap="100" > 
   <analyzer> 
       <tokenizerclass="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"mode="max-word" dicPath="dic"/> 
   </analyzer> 
</fieldType> 
<fieldTypename="text_mmseg4j_simple" class="solr.TextField"positionIncrementGap="100" > 
   <analyzer> 
     <!--
       <tokenizerclass="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"mode="simple" dicPath="n:/OpenSource/apache-solr-1.3.0/example/solr/my_dic"/>
       -->
       <tokenizerclass="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"mode="simple" dicPath="dic"/>    
   </analyzer> 
</fieldType>
<!-- mmseg4j-->

再新增Field:

<!-- mmseg4j -->
<field name="mmseg4j_complex"type="text_mmseg4j_complex" indexed="true"stored="true"/>
<field name="mmseg4j_maxword"type="text_mmseg4j_maxword" indexed="true"stored="true"/>
<field name="mmseg4j_simple"type="text_mmseg4j_simple" indexed="true"stored="true"/>
<!--mmseg4j -->

说明:dicPath 用于自定义词库,mmseg4j的jar包里面已经包含,可以删除dicPath配置

3.3     测试

以上配置完成后,停止solr,并重启

Solr.cmd stop –all
Solr.cmd start

进入控制台Analysis,可以看到分词已经基本根据语意去分隔了,如下图:

下一篇:Solr主从配置

相关文章