|
|
百度是如何来分词的呢？分词技术现今非常成熟了。
第一：字符串匹配的分词方法
（1）正向最大匹配法
就是把一个词从左至右来分词。
举个例子：”不知道你在说什么”
这句话采用正向最大匹配法是如何分的呢？“不知道，你，在，说什么”。
（2）反向最大匹配法
“不知道你在说什么”反向最大匹配法来分上面这段是如何分的。“不，知道，你在，说，什么”，这个就分的比较多了，反向最大匹配法就是从右至左。
（3）就是最短路径分词法。
就是说一段话里面要求切出的词数是最少的。
“不知道你在说什么”最短路径分词法就是指，把上面那句话分成的词要是最少的。“不知道，你在，说什么”，这就是最短路径分词法，分出来就只有3个词了。
（4）双向最大匹配法。
而有一种特殊的情况，就是关健词前后组合内容被认为粘性相差不大，而搜索结果中也同时包含这两组词的话，百度会进行正反向同时进行分词匹配。
第二：词义分词法
就是一种机器语音判断的分词方法。很简单，进行句法、语义分析，利用句法信息和语义信息来处理歧义现象来分词，这种分词方法，现在还不成熟，处在测试阶段 |
|
