基于trie树词典 的正向最大切分 分词

基于
trie
树词典
的正向最大切分
分词
      构建trie树,初始化词典。
1.       待分词文本预处理。
2.       正向最大切分 查询词典。
3.       分词结果。

待分词文本
按照标点分成独立句子
正向最大匹配 查询词典
初始化词典
词典文件
分词结果

       数据结构及算法设计:
Trie 数据结构:
1.       首字散列,根据汉字的国标区位码,采用哈希函数,定位汉字的在散列表中的序号。
 数据结构:
Hash散列首字。–hash表 hash_map<string, struct> . 首个汉字2(字节)
通过过散列映射到数据结构
 Struct first_hash{
              Int  num_entry;   //入口项个数
        first_hash *first_pointer; //第一项指针
}
       Trie 树索引结点:关键字(2字节)、子树大小(2字节) 子树指针(4字节)
     Struct index_node{
      Char[2];  //存放关键字
      index_node *next; //下一关键字(指向右兄弟的指针)
         int childnum; // 子树大小
      index_node *child_pointer; //子树指针
}

主要操作:
1.       建立trie树:
遍历字典的过程即为,建立trie树的过程。
2.       对trie树的删除,插入操作。和树的合并操作。 合并多个trie树操作。
3.       正向最大匹配算法。
4.       对树的查询操作。
Trie树存在的问题:
1. 数据结构比较复杂,存储空间比较大
 

    原文作者:Trie树
    原文地址: https://blog.csdn.net/lyflower/article/details/1463145
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞