青岛利群网络为您提供专业的seo服务,多年seo经验,可为您量身打造营销体系,多渠道提升业绩。咨询QQ285886280点击这里给我发消息

什么是搜索引擎中文分词技术原理

泰安seo 青岛seo 160次浏览 0个评论

什么是搜索引擎中文分词技术原理

>很多从事seo优化的朋友都对搜索引擎分词感兴趣,因为如果了解中文分词的原理,掌握一定的搜索引擎分词技术,对网站上seo优化的长尾关键词的布局会很有帮助。今天,石家庄搜索引擎优化博客将与朋友们谈论什么是中文分词技术。

什么是搜索引擎中文分词技术原理

搜索引擎分词技术是中文搜索引擎特有的关键词技术支撑。中文关键词和英文关键词的区别在于英文单词之间用空格隔开,而中文没有空格键。因此,搜索引擎必须将一个完整的句子分为小单位关键词和长尾关键词。比如青岛seo博客这个词可以分为石家庄,青岛seo,seo博客等。因此,分词技术的效率将直接影响整个搜索引擎系统的搜索结果显示效率。

一般来说,分词有两种方法,一种是基于字符串匹配的,另一种是基于统计的。

1.基于字符串匹配的分词方法根据匹配方向的不同分为正向匹配、反向匹配和最小分词。同时,这三种分词方法可以一起使用,也就是说,可以通过正向最大匹配、反向最大匹配、正向最小匹配和反向最小匹配进行分词。

a、正最大匹配分词原则:假设词典中最长的字数为m,首先根据中文标点符号和特征词将中文句子分成若干个短语,然后取该短语的前m个词,搜索该词在词库中是否存在,如果存在,则从短语中去除该词;如果不存在,则去掉这m个单词的最后一个单词,然后检查剩下的单词是否是单字,如果是,则输出这个单词并从短语中去掉,如果不是,则继续判断这个单词是否存在于单词库中。这样,重复检测,直到输出一个单词,然后取出剩余短语的前m个单词并重复,从而可以将一个短语分成单词组合。

这个可能很多朋友都不太理解,下面就用一个例子来说明一下。以“我是好人”为例。假设字典中最长的单词为三个,正向最大匹配顺序为:a .取出短语“我是一个”,检查字典中是否存在“我是一个”或单个单词,处理方法是去掉最后一个单词“一个”;b .检查“我是”这个短语是存在于词典中还是单个单词。处理方法是去掉“是”字;c、检查单词“我”在字典中是否存在或者是单个单词,因为“我”是单个单词,所以输出单词“我”;d .然后继续取“是一”这个词,检查“是一”是词典中存在的还是单个词。处理方法是去掉最后一个字“哥”;通过这样的反复检查,最终输出的结果是我,对,一,好人。

b反向最大匹配分词原理:分词的方法是从句尾开始,反向最大匹配分词技术最大的作用是消歧。比如“一个培训线下聚会在一个城市举行”的分词结果肯定是一定的,培训,线下,聚会,现在,城市,很不理想。使用反向最大匹配分词技术可以更大程度上满足句子的本意。比如一个分词节点大小设为6,很明显“hold”会被分割成“hold in a city”,剩下的就是“meet in a city”。

一般来说,正向最小匹配和反向最小匹配很少使用。事实上,反向匹配的精度高于正向匹配。

2.基于统计分词技术的原理

直接调用分词词典中的一些词进行匹配,利用统计技术对一些新词进行识别,使所有的统计结果进行匹配,充分发挥分词的最高效率。

分词词典是搜索引擎判断单词的依据,基本包含了汉语词典中所有的单词。如果我们在搜索引擎中输入“我想减肥”,那么“减肥”这个词就会被判断为一个词。现在网络上经常出现新造的流行语,比如“神马”“犀利哥”“浮云”等等。这样的词肯定会被搜索引擎慢慢收录,加入分词词典,这也是为了满足用户需求而不断更新分词词典的结果。


青岛seo , 版权所有丨如未注明 , 均为原创丨本文网址:什么是搜索引擎中文分词技术原理 http://www.seoqingdao.com/1445.html
喜欢 (1)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址