基于AI算法不当言论监测系统的制作方法

专利检索2026-07-22  4


本发明涉及数据处理,尤其涉及基于ai算法不当言论监测系统。


背景技术:

1、网络日渐发达,日常生活中上网浏览各种网站逐渐成为主流,而各种网络留言交谈等行为却很难进行监管,同时,人工无法对全部网络言论进行逐个筛查,在某些特殊情况产生漏洞从而容易发生危害沟通或发布违法消息,因此亟需一种切实可行的方法对网络异常言论进行分析处理,进而得到实时监测结果。

2、现有技术基于异常言论根据设置的词汇进行比对处理,限制异常言论的出现;但是,在判断言论是否为不当言论时,容易忽略不当言论域实际发言之间的关系,使得不当言论识别效果较差。


技术实现思路

1、本申请实施例通过提供一种基于ai算法不当言论监测系统,解决了现有技术中不当言论识别精准率较低的问题,提高了不当言论的监测效果与效率。

2、本申请实施例提供了一种基于ai算法不当言论监测系统,包括:

3、数据采集单元,用于采集历史言论数据,并将历史言论数据根据历史热度将历史言论数据进行排序处理;

4、情感分类单元,用于将排序后的历史言论数据进行筛选获取目标文字,确定第一情感分类,并依次获取第一情感分类内目标文字的情感权值和情感强度,并将目标文字识别后的初始验证结果输出到文本比对单元;

5、文本比对单元,用于根据初始验证结果,确定目标文字的输出状况,并将目标文字与预设的相似文本进行比较,确定目标文字的文本比对结果;

6、误差分析单元,用于将目标文字中出现的误报、漏报状况进行分析,确定文本信息在识别后出现的误差,根据误差确定文本信息对应的监测结果。

7、s01,基于预设文本对历史言论数据进行筛选,获取目标文字,基于目标文字的情感分析,确定第一情感分类;

8、s02,基于第一情感分类对目标文字进行情感识别,确定初始情感识别结果;

9、s03,基于初始情感识别结果,对目标文字进行验证,获取目标文字对应的情感权重和情感强度;基于目标文字的情感强度,确定情感识别中的初始验证结果;

10、s04,基于初始验证结果,确定目标文字的比对情况,比较目标文字中的出现概率状况,生成特征关联结果;

11、s05,基于特征关联结果,将特征关联结果中的文本信息与设置的文本对比库进行比对,确定文本比对结果。

12、初始验证结果的获取方式包括:

13、将目标文字转化为文本向量,计算每个目标文字之间的相关度,针对每个目标文字之间的相关度,计算得到目标文字的情感权值,基于情感权值衡量得到目标文字的情感强度。

14、情感权值的确定方式包括:

15、基于目标文字与预设的情感词集中第一预设数目的情感词之间的相关度,计算得到目标文字的情感权值,目标文字的情感权值为预设的情感词集中第一预设数目的情感词的相关度的平均值。

16、情感权值还包括:

17、对目标文字中每个词分别设置第一权重、第二权重,第一权重用于给形容词和副词中更能表示情感的词赋予权重,第二权重用于给名词动词中表达情感较弱的词赋予权重,第一权重大于第二权重;目标文字的情感权值为预设的情感词集中第一预设数目的情感词的相关度的与第一权重、第二权重乘积的平均值,每个情感词的相关度都乘以了相应的第一权重和第二权重。

18、特征关联结果包括:

19、将不同情感强度的目标文本与相似文本进行比较,获取目标文字与多个相似文本比较后获取相似度均值和出现概率均值;

20、对于相似度均值和出现概率均值进行归一化,确定相似度均值与出现概率均值取值范围一致,并情感强度进行归一化处理,相似度均值、出现概率均值、情感强度的取值范围映射为0到1之间;

21、将情感强度、相似度均值、出现概率均值进行特征融合,输出为综合特征;

22、根据综合特征的特征值进行排序,将高于预设阈值的综合特征作为输出的特征关联结果。

23、包括:s11,基于文本比对结果,提取出对应的历史处理数据内的不当言论;

24、s12,基于不当言论的言论特征,确定不当言论对应的言论分类结果;

25、s13,获取每个分类下的不当言论,确定不同分类下不当言论对应的第一概率区间;

26、s14,基于不当言论对应的第一概率区间,确定不当言论的初始言论结果;

27、s15,基于不当言论的初始言论结果,确定不当言论的监测结果。

28、包括:s21,获取不当言论的漏报率和误报率,基于漏报率和误报率的平衡,确定不当言论的识别形式;

29、s22,将所有的不当言论根据漏报和误报的概率进行分类,确定不同概率下,产生漏报和误报的文本信息的言论特征;

30、s23,根据获取的言论特征,对所有的文本信息中对应的概率分布进行求取,并分为多个第二概率区间,将每个第二概率区间内的均值作为不同第二概率区间的分割概率;

31、s24,比较每个分割概率对应的第二概率区间的文本信息的言论特征对应的变化情况,获取误差概率指标。

32、不当言论的初始言论结果的获取方式为:

33、获取不当言论对应的获取第一概率区间对应的覆盖率,比较第一概率区间与正常言论特征对应的概率区间的覆盖率的相似度,作为第一相似度;

34、比较第一概率区间与异常言论特征对应的概率区间的覆盖率的相似度,作为第二相似度;

35、当第一相似度与第二相似度的均值小于第一相似度与第二相似度的差值时,判断不当言论为初步正常,比较第一概率区间与异常言论特征对应的概率区间之间的相关性,当相关性大于第一阈值时,判断不当言论为异常数据。

36、当第一相似度与第二相似度的均值大于第一相似度与第二相似度的差值时,不当言论为异常。

37、对初始验证结果进行识别包括:

38、获取初始验证结果中的目标文字,比较初始验证结果中目标文字的情感强度,情感强度大于预设情感强度值时,获取对应的目标文字,并对目标文字进行处理。

39、本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

40、通过将不当言论进行情感识别后,根据情感强度、出现概率、相似度进行特征融合,以获取能够表示文本信息的综合特征,并根据综合特征将对应的文本信息进行特征关联输出后,与设置的文本比对,获取到出现不当言论的文本信息;将不当言论根据言论特征进行识别后,获取到不当言论得到误差概率指标,使得对于不当言论的划分更为精准,提高了对不当言论的处理效果。



技术特征:

1.一种基于ai算法不当言论监测系统,其特征在于,包括:数据采集单元,用于采集历史言论数据,并将历史言论数据根据历史热度将历史言论数据进行排序处理;

2.如权利要求1所述的基于ai算法不当言论监测系统,其特征在于,包括:s01,基于预设文本对历史言论数据进行筛选,获取目标文字,基于目标文字的情感分析,确定第一情感分类;

3.如权利要求1所述的基于ai算法不当言论监测系统,其特征在于,初始验证结果的获取方式包括:

4.如权利要求3所述的基于ai算法不当言论监测系统,其特征在于,情感权值的确定方式包括:

5.如权利要求3所述的基于ai算法不当言论监测系统,其特征在于,情感权值还包括:

6.如权利要求2所述的基于ai算法不当言论监测系统,其特征在于,特征关联结果包括:

7.如权利要求1所述的基于ai算法不当言论监测系统,其特征在于,包括:s11,基于文本比对结果,提取出对应的历史处理数据内的不当言论;

8.如权利要求1所述的基于ai算法不当言论监测系统,其特征在于,包括:s21,获取不当言论的漏报率和误报率,基于漏报率和误报率的平衡,确定不当言论的识别形式;

9.如权利要求7所述的基于ai算法不当言论监测系统,其特征在于,不当言论的初始言论结果的获取方式为:

10.如权利要求1所述的基于ai算法不当言论监测系统,其特征在于,对初始验证结果进行识别包括:


技术总结
本申请公开了一种基于AI算法不当言论监测系统,涉及数据处理技术领域,包括:数据采集单元,用于采集历史言论数据,并将历史言论数据根据历史热度将历史言论数据进行排序处理;情感分类单元,用于将排序后的历史言论数据进行筛选获取目标文字,确定第一情感分类,并依次获取第一情感分类内目标文字的情感权值和情感强度,并将目标文字识别后的初始验证结果输出到文本比对单元;文本比对单元,用于根据初始验证结果,确定目标文字的输出状况,并将目标文字与预设的相似文本进行比较,确定目标文字的文本比对结果;能够提高不当言论的处理效果,减少不当言论识别的误差。

技术研发人员:张向志,田欢,唐淮军
受保护的技术使用者:贵州蓝天创新科技有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1165593.html

最新回复(0)