[大数据]ahocorasick 库 ac自动化 自动过滤违禁数据或者替换*

安装方式 pip install ahocorasick-python
替换* 代码例子

import ahocorasick
weijin_list = ['小明','小红','啤酒']
ac = ahocorasick.AhoCorasick(*weijin_list)  # 从列表里匹配关键字
def handle(old_str):
    if not old_str:
        return ''
    result = ac.search(old_str, True)
    str_list = list(old_str)
    if result:
        for i in result:
            start = i[1][0]
            end = i[1][1]
            str_list[start:end] = ("*" * (end - start))
        return "".join(str_list),True
    else:
        return old_str,False

if __name__ == '__main__':
    print(handle('小明喝啤酒'))

结果

从一段话过滤出来违禁词
举例
违禁词 ：啤酒
一段话：小明经常喜欢喝啤酒
如图

作用 可以很方便处理 敏感词汇，对大数据的处理，分析 起到很好的作用