敏感词过滤与DFA算法Trie树

一:Trie概念

下面我们有and,as,at,cn,com这些关键词,那么如何构建trie树呢?

《敏感词过滤与DFA算法Trie树》

从上面的图中,我们或多或少的可以发现一些好玩的特性。

  第一:根节点不包含字符,除根节点外的每一个子节点都包含一个字符。

  第二:从根节点到某一节点,路径上经过的字符连接起来,就是该节点对应的字符串。

  第三:每个单词的公共前缀作为一个字符节点保存。

二:使用范围

 既然学Trie树,我们肯定要知道这玩意是用来干嘛的。

 第一:词频统计。

        可能有人要说了,词频统计简单啊,一个hash或者一个堆就可以打完收工,但问题来了,*如果内存有限呢?*还能这么

         玩吗?所以这里我们就可以用trie树来压缩下空间,因为公共前缀都是用一个节点保存的。

 第二: 前缀匹配

        就拿上面的图来说吧,如果我想获取所有以"a"开头的字符串,从图中可以很明显的看到是:and,as,at,如果不用trie树,

        你该怎么做呢?很显然朴素的做法时间复杂度为O(N2) ,那么用Trie树就不一样了,它可以做到h,h为你检索单词的长度,

        可以说这是秒杀的效果。

举个例子:现有一个编号为1的字符串”and“,我们要插入到trie树中,采用动态规划的思想,将编号”1“计入到每个途径的节点中,

          那么以后我们要找”a“,”an“,”and"为前缀的字符串的编号将会轻而易举。

《敏感词过滤与DFA算法Trie树》

事例

百度云上有保存源码

引用原文链接

这里写链接内容
http://www.cnblogs.com/huangxincheng/archive/2012/11/25/2788268.html

好处

  • trie树最大程度的压缩了内存
  • 使用简单,轻量级, 满足应用前期需求
    原文作者:Trie树
    原文地址: https://blog.csdn.net/helloznan/article/details/51819632
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注