一种文本变种词识别方法、装置、电子设备及存储介质与流程

专利检索2025-06-16  19


本发明涉及敏感词,尤其涉及一种文本变种词识别方法、装置、电子设备及存储介质。


背景技术:

1、随着移动互联网的迅速发展,网络媒体工具已经成为人们生活中不可分割的一部分。而在通过互联网传播文字的过程中,经常会出现用户发布敏感文字的情况,因此,需要对用户发布的内容进行审核。

2、敏感词是各个网站为了方便管理而设置的限制发布的词汇。一般为不健康、不文明的词。在具体应用中,一些网站也会设置一些只适用于本网站的特殊敏感词。

3、在现实场景中,为了规避敏感词审核,用户往往会采用敏感词的变种词来发布相关文字,从而使阅读者通过变种词联想到对应的敏感词,从而达到散播敏感文字的目的。

4、目前主要基于人工整理变种映射词表,去自动识别文本中是否含有变种词,进而去执行下一步的策略;或直接以文本分类的形式去识别文本是否为含有变种词的文本。

5、然而,上述方法变种词识别的准确性较低。


技术实现思路

1、本发明提供了一种文本变种词识别方法、装置、电子设备及存储介质,用于解决现有的变种词识别方法准确性较低的技术问题。

2、本发明提供了一种文本变种词识别方法,包括:

3、接收待识别文本;

4、对所述待识别文本进行预处理,得到预处理文本;

5、判断所述预处理文本是否为疑似变种词文本;

6、若是,则判断所述疑似变种词文本的变种链路;

7、获取所述变种链路对应的识别规则;

8、采用所述识别规则识别所述疑似变种词文本,得到所述疑似变种词文本对应的原始词。

9、可选地,所述对所述待识别文本进行预处理,得到预处理文本的步骤,包括:

10、检测所述待识别文本中的空格、换行符和不可见字符;

11、从所述待识别文本中删除所述空格、所述换行符和所述不可见字符,得到预处理文本。

12、可选地,所述判断所述疑似变种词文本的变种链路的步骤,包括:

13、判断所述疑似变种词文本是否有非文字文本;

14、若是,则判断所述非文字文本的非文字类别;

15、根据所述非文字类别确定所述非文字文本的变种链路;

16、若所述疑似变种词文本中有文字文本,则判断所述文字文本的文字类别;

17、根据所述文字类别确定所述文字文本的变种链路。

18、可选地,所述根据所述非文字类别确定所述非文字文本的变种链路的步骤,包括:

19、当所述非文字类别为拼音类别时,判定所述非文字文本的变种链路为拼音链路;

20、当所述非文字类别为字符类别时,判定所述非文字文本的变种链路为字符链路;

21、当所述非文字类别为图片字类别时,判定所述非文字文本的变种链路为图片字链路。

22、可选地,所述根据所述文字类别确定所述文字文本的变种链路的步骤,包括:

23、当所述文字类别为谐音类别时,判定所述文字文本的变种链路为谐音链路;

24、当所述文字类别为拆字类别时,判定所述文字文本的变种链路为拆字链路;

25、当所述文字类别为象形字类别时,判定所述文字文本的变种链路为象形字链路;

26、当所述文字类别为简称类别时,判定所述文字文本的变种链路为简称链路。

27、本发明还提供了一种文本变种词识别装置,包括:

28、待识别文本接收模块,用于接收待识别文本;

29、预处理模块,用于对所述待识别文本进行预处理,得到预处理文本;

30、疑似变种词文本判断模块,用于判断所述预处理文本是否为疑似变种词文本;

31、变种链路判断模块,用于若是,则判断所述疑似变种词文本的变种链路;

32、识别规则获取模块,用于获取所述变种链路对应的识别规则;

33、原始词识别模块,用于采用所述识别规则识别所述疑似变种词文本,得到所述疑似变种词文本对应的原始词。

34、可选地,所述预处理模块,包括:

35、检测子模块,用于检测所述待识别文本中的空格、换行符和不可见字符;

36、删除子模块,用于从所述待识别文本中删除所述空格、所述换行符和所述不可见字符,得到预处理文本。

37、可选地,所述变种链路判断模块,包括:

38、非文字文本判断子模块,用于判断所述疑似变种词文本是否有非文字文本;

39、非文字类别判断子模块,用于若是,则判断所述非文字文本的非文字类别;

40、第一变种链路确定子模块,用于根据所述非文字类别确定所述非文字文本的变种链路;

41、文字类别判断子模块,用于若所述疑似变种词文本中有文字文本,则判断所述文字文本的文字类别;

42、第二变种链路确定子模块,用于根据所述文字类别确定所述文字文本的变种链路。

43、本发明还提供了一种电子设备,所述设备包括处理器以及存储器:

44、所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

45、所述处理器用于根据所述程序代码中的指令执行如上任一项所述的文本变种词识别方法。

46、本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行如上任一项所述的文本变种词识别方法。

47、从以上技术方案可以看出,本发明具有以下优点:本发明提供了一种文本变种词识别方法,并具体公开了:接收待识别文本;对待识别文本进行预处理,得到预处理文本;识别预处理文本中的疑似变种词文本;判断疑似变种词文本的变种链路;获取变种链路对应的识别规则;采用识别规则识别疑似变种词文本,得到疑似变种词文本对应的原始词。本发明通过识别变种词的变种链路,以为不同的变种词适配不同的识别规则,通过有针对性地变种词识别规则,来提高变种词识别的准确性。



技术特征:

1.一种文本变种词识别方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述待识别文本进行预处理,得到预处理文本的步骤,包括:

3.根据权利要求1所述的方法,其特征在于,所述判断所述疑似变种词文本的变种链路的步骤,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述非文字类别确定所述非文字文本的变种链路的步骤,包括:

5.根据权利要求3所述的方法,其特征在于,所述根据所述文字类别确定所述文字文本的变种链路的步骤,包括:

6.一种文本变种词识别装置,其特征在于,包括:

7.根据权利要求6所述的装置,其特征在于,所述预处理模块,包括:

8.根据权利要求6所述的装置,其特征在于,所述变种链路判断模块,包括:

9.一种电子设备,其特征在于,所述设备包括处理器以及存储器:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-5任一项所述的文本变种词识别方法。


技术总结
本发明公开了一种文本变种词识别方法、装置、电子设备及存储介质,用于解决现有的变种词识别方法准确性较低的技术问题。本发明包括:接收待识别文本;对所述待识别文本进行预处理,得到预处理文本;判断所述预处理文本是否为疑似变种词文本;若是,则判断所述疑似变种词文本的变种链路;获取所述变种链路对应的识别规则;采用所述识别规则识别所述疑似变种词文本,得到所述疑似变种词文本对应的原始词。

技术研发人员:张政统,马金龙,邓其春,吴文亮,黎子骏,王伟喆,廖艳冰,马飞,熊佳,曾锐鸿,周阳,徐志坚,谢睿,陈光尧
受保护的技术使用者:广州趣研网络科技有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1155235.html

最新回复(0)