脏词过滤

2024年6月11日 168次阅读

刚好有空，近来抽空看了下lua-crab，虽然算法不是最好的，但够用就好
lua-crab代码很简单，测试的算法和主要代码加起来没超过200行

首先，词库很可能是几千到上万个，所以为了快速检索出脏词，hash应该是很好的选择，所以作者定义了这么一个函数：

unsigned int _hash(wchar_t c) {
    unsigned low = c & 0xFFFF;
    unsigned high = (c>>16) & 0xFFFF;
    return high ^ low;
}

在lua版本里是这个

static TableNode*
mainposition(Table *t, uint32_t key) { return &t->node[(key & (t->capacity -1))];
}

然后就是重点了，两个函数参数key和c都是一个字符
所以，crab的主要算法是以第一个字符构成hash表，然后在这个hash下面创建一个列表，并保存这个key

检查脏词的时候，把每个字符通过hash后，如果有找到列表，再遍历列表，比较key，如果相等，则找到脏词

点赞