本发明涉及游戏直播，具体而言，涉及一种直播中的难样本收集及对象识别模型优化方法、相关装置。
背景技术：
1、在游戏直播场景中,已经上线并部署的实际业务中的对象识别模型能够提供实时在线服务。尽管该对象识别模型在上线前的识别准确率已经很高，但在实际业务中难免会出现不同程度的误识别情况。如果能够在线收集这些误识别样本,并将它们添加到模型训练的数据集中,就可以利用这些“难样本”来持续优化模型,从而提升模型的识别能力。
2、目前,业务应用中的线上对象识别模型难以主动报错，需要在人工主导下发现错误并进行难样本收集，这种方式存在一定效率和准确性问题。例如,需要人工长时间观察识别情况以找出识别出错的图像,然后再进行保存，当这些识别出错的图像累计到一定数量后,将这些图像作为难样本进行模型微调,这种依赖主观判断的收集方式不仅降低了效率，还难以保证样本质量。
3、因此，在游戏直播场景中，如何自动收集线上的这些难样本，并保证样本质量，是需要解决的技术问题。
技术实现思路
1、有鉴于此，本发明的目的之一在于提供一种直播中的难样本收集及对象识别模型优化方法、相关装置，其能够自动收集对象识别模型在线服务时出现识别错误的图像作为难样本，同时能够保证难样本的质量。本发明可以这样实现：
2、第一方面，本发明提供一种直播中的难样本收集方法，所述方法包括：确定正在直播的游戏对应的至少一种识别任务；其中，每种所述识别任务用于识别所述游戏中的一种对象；在所述游戏的同一局过程中，利用连续多帧图像的识别结果之间的一致性特征，确定所述识别任务对应的正确识别结果；利用所述对象在同一局游戏过程中的前后连续性特征，判断当前检测帧中的识别结果是否与所述正确识别结果匹配；其中，所述前后连续性特征表征同一局游戏过程中所述对象在时间维度上呈现的变化规律；所述当前检测帧的时序位于所述多帧图像中最后一帧图像的时序之后；若不匹配，则基于所述当前检测帧、所述当前检测帧的识别结果以及所述正确识别结果构建所述识别任务对应的对象识别模型的难样本。
3、第二方面，本发明提供一种对象识别模型优化方法，所述方法包括：获取待优化的对象识别模型以及所述对象识别模型对应的难样本；其中，所述难样本是根据第一方面提供的直播中的难样本收集方法得到的；根据所述难样本对所述对象识别模型进行优化。
4、第三方面，本发明提供一种直播中的难样本收集装置，包括：确定模块，用于确定正在直播的游戏对应的至少一种识别任务；其中，每种所述识别任务用于识别所述游戏中的一种对象；识别模块，用于在所述游戏的同一局过程中，利用连续多帧图像的识别结果之间的一致性特征，确定所述识别任务对应的正确识别结果；检测模块，用于利用所述对象在同一局游戏过程中的前后连续性特征，判断当前检测帧中的识别结果是否与所述正确识别结果匹配；其中，所述前后连续性特征表征同一局游戏过程中所述对象在时间维度上呈现的变化规律；所述当前检测帧的时序位于所述多帧图像中最后一帧图像的时序之后；收集模块，用于若不匹配，则基于所述当前检测帧、所述当前检测帧的识别结果以及所述正确识别结果构建所述识别任务对应的对象识别模型的难样本。
5、第四方面，本发明提供一种对象识别模型优化装置，包括：获取模块，用于获取待优化的对象识别模型以及所述对象识别模型对应的难样本；其中，所述难样本是根据前述第一方面提供的直播中的难样本收集方法得到的；优化模块，用于根据所述难样本对所述对象识别模型进行优化。
6、第五方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现前述实施方式任一项所述的直播中的难样本收集方法或者实现前述实施方式所述的对象识别模型优化方法。
7、本发明提供的直播中的难样本收集及对象识别模型优化方法、相关装置，方法包括：在游戏直播过程中确定了识别任务之后，可以先利用多帧图像的识别结果一致性特征,确定该识别任务对应的正确识别结果。通过多帧图像进行识别,可以消除单幅图像识别错误,提高识别准确率。然后利用识别任务对应的对象在同一局游戏中在时间维度上呈现的变化规律来判断单帧检测时得到的识别结果是否出错，这种利用游戏内置规则的方式可以提高检测结果的准确性和可信度，当识别结果不匹配时,将样本加入难样本库以供后续模型优化。整个方案可以实时监测不同识别任务对应的对象识别模型的线上服务质量,及时反馈识别错误的情况，自动构建有助于快速优化模型的难样本，同时能保证样本质量足以提升对象识别模型的识别能力。整体来说,该方案可以实时监测识别效果,及时改进模型以提高识别准确率。
1.一种直播中的难样本收集方法，其特征在于，所述方法包括：
2.根据权利要求1所述的直播中的难样本收集方法，其特征在于，在所述游戏的同一局过程中，利用连续多帧图像的识别结果之间的一致性特征，确定所述识别任务对应的正确识别结果，包括：
3.根据权利要求2所述的直播中的难样本收集方法，其特征在于，所述前后连续性特征为对象的连续不变性特征；
4.根据权利要求1所述的直播中的难样本收集方法，其特征在于，在所述游戏的同一局过程中，利用连续多帧图像的识别结果之间的一致性特征，确定所述识别任务对应的正确识别结果，包括：
5.根据权利要求4所述的直播中的难样本收集方法，其特征在于，所述前后连续性特征为所述目标属性信息的渐变性特征；
6.根据权利要求1所述的直播中的难样本收集方法，其特征在于，所述方法还包括：
7.一种对象识别模型优化方法，其特征在于，所述方法包括：
8.一种直播中的难样本收集装置，其特征在于，包括：
9.一种对象识别模型优化装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现权利要求1至6任一项所述的直播中的难样本收集方法或者实现权利要求7所述的对象识别模型优化方法。
