基于
trie
树词典
的正向最大切分
分词
构建trie树,初始化词典。
1. 待分词文本预处理。
2. 正向最大切分 查询词典。
3. 分词结果。
数据结构及算法设计:
Trie 数据结构:
1. 首字散列,根据汉字的国标区位码,采用哈希函数,定位汉字的在散列表中的序号。
数据结构:
Hash散列首字。–hash表 hash_map<string, struct> . 首个汉字2(字节)
通过过散列映射到数据结构
Struct first_hash{
Int num_entry; //入口项个数
first_hash *first_pointer; //第一项指针
}
Trie 树索引结点:关键字(2字节)、子树大小(2字节) 子树指针(4字节)
Struct index_node{
Char[2]; //存放关键字
index_node *next; //下一关键字(指向右兄弟的指针)
int childnum; // 子树大小
index_node *child_pointer; //子树指针
}
主要操作:
1. 建立trie树:
遍历字典的过程即为,建立trie树的过程。
2. 对trie树的删除,插入操作。和树的合并操作。 合并多个trie树操作。
3. 正向最大匹配算法。
4. 对树的查询操作。
Trie树存在的问题:
1. 数据结构比较复杂,存储空间比较大