使用正向最大匹配算法实现中文分词简单模型-用trie树实现

使用trie树来构造字典。 构建词库。扫描词库匹配。

Trie树 又称为字典树。

Trie树

当关键码是可变长时,Trie树是一种特别有用的索引结构。

 Trie树的定义

Trie树是一棵度 m ≥ 2 的树,它的每一层分支不是靠整个关键码的值来确定,而是由关键码的一个分量来确定。

如下图所示Trie树,关键码由英文字母组成。它包括两类结点:元素结点和分支结点。元素结点包含整个key数据;分支结点有27个指针,其中有一个空白字符‘b’,用来终结关键码;其它用来标识‘a’, ‘b’,…, ‘z’等26个英文字母。

《使用正向最大匹配算法实现中文分词简单模型-用trie树实现》

在第0层,所有的关键码根据它们第0位字符, 被划分到互不相交的27个类中。

因此,root→brch.link[i] 指向一棵子Trie树,该子Trie树上所包含的所有关键码都是以第 i 个英文字母开头。

若某一关键码第 j 位字母在英文字母表中顺序为 i ( i = 0, 1, ?, 26 ), 则它在Trie树的第 j 层分支结点中从第 i 个指针向下找第 j+1 位字母所在结点。当一棵子Trie树上只有一个关键码时,就由一个元素结点来代替。在这个结点中包含有关键码,以及其它相关的信息,如对应数据对象的存放地址等。

Trie树的类定义:

const int MaxKeySize = 25; //关键码最大位数

typedef struct { //关键码类型
 char ch[MaxKeySize]; //关键码存放数组
 int currentSize; //关键码当前位数
} KeyType;

class TrieNode { //Trie树结点类定义
 friend class Trie;
protected:
 enum { branch, element } NodeType; //结点类型
 union NodeType { //根据结点类型的两种结构
  struct { //分支结点
   int num; //本结点关键码个数
   TrieNode *link[27]; //指针数组
  } brch;
  struct { //元素结点
   KeyType key; //关键码
   recordNode *recptr; //指向数据对象指针
  } elem;
 }
}

class Trie { //Trie树的类定义
private:
 TrieNode *root, *current;
public:
 RecordNode* Search ( const keyType & );
 int Insert ( const KeyType & );
 int Delete ( const KeyType & );
}

 Trie树的搜索

为了在Trie树上进行搜索,要求把关键码分解成一些字符元素, 并根据这些字符向下进行分支。

函数 Search 设定 current = NULL, 表示不指示任何一个分支结点, 如果 current 指向一个元素结点 elem,则 current→elem.key 是 current 所指结点中的关键码。

Trie树的搜索算法:

RecordNode* Trie::Search ( const KeyType & x ) {
 k = x.key;
 concatenate ( k, ‘b’ );
 current = root;
 int i = 0; //扫描初始化
 while ( current != NULL && current→NodeType != element && i <= x.ch[i] ) {
  current = current→brch.link[ord (x.ch[i])];
  i = i++;
 };
 if ( current != NULL && current→NodeType == element && current→elem.key == x )
  return current→recptr;
 else
  return NULL;
}

经验证,Trie树的搜索算法在最坏情况下搜索的时间代价是 O(l)。其中, l 是Trie树的层数(包括分支结点和元素结点在内)。

在用作索引时,Trie树的所有结点都驻留在磁盘上。搜索时最多做 l 次磁盘存取。

当结点驻留在磁盘上时,不能使用C++的指针 (pointer) 类型, 因为C++不允许指针的输入 / 输出。在结点中的 link 指针可改用整型(integer) 实现。

 在Trie树上的插入和删除

示例:插入关键码bobwhite和bluejay。
a. 插入 x = bobwhite 时,首先搜索Trie树寻找 bobwhite 所在的结点。
b. 如果找到结点, 并发现该结点的 link[‘o’] = NULL。x不在Trie树中, 可以在该处插入。插入结果参看图。
c. 插入 x = bluejay时,用Trie树搜索算法可找到包含有 bluebird 的元素结点,关键码bluebird 和 bluejay 是两个不同的值,它们在第5个字母处不匹配。从 Trie树沿搜索路径,在第4层分支。插入结果参看图。

在Trie树上插入bobwhite和bluejay后的结果 :

《使用正向最大匹配算法实现中文分词简单模型-用trie树实现》

示例:考虑在上图所示Trie树中删除bobwhite。此时,只要将该结点link[‘o’]置为0 (NULL)即可,Trie树的其它部分不需要改变。

考虑删除 bluejay。删除之后在标记为δ3 的子Trie树中只剩下一个关键码,这表明可以删去结点δ3 ,同时结点 ρ 向上移动一层。对结点δ2 和δ1 可以做同样的工作,最后到达结点б。因为以б 为根的子Trie树中有多个关键码,所以它不能删去,令该结点link[‘l’] = ρ即可。

为便于Trie树的删除, 在每个分支结点中设置了一个 num 数据成员,它记载了结点中子女的数目。

 

    原文作者:Trie树
    原文地址: https://blog.csdn.net/lyflower/article/details/1452091
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞