一种商品和价签的匹配方法、设备及存储介质与流程

专利检索2025-06-06  5


本发明涉及商品价签匹配,尤其涉及一种商品和价签的匹配方法、设备及存储介质。


背景技术:

1、在零售业领域或在商品货架应用过程中,准确地将商品与其对应的价签进行匹配是一项重要的任务。由于商品的数量种类过多和快速变化的库存等因素,需人工手动将商品与对应的价签进行匹配。手动匹配商品和价签往往耗时,并且容易出错。为了解决这个问题,计算机视觉技术近年来广泛应用于自动化商品和价签匹配的过程。

2、然后,通过计算机视觉技术实现商品和价签的匹配过程通常采取的是单一维度的评判标准。例如,通过商品的位置信息的评判标准,将商品和价签进行匹配。或通过商品识别出的文本信息评判标准,将商品和价签进行匹配。在价签和商品的实际匹配过程中,存在价签放置位置偏移的问题,即一个价签对应摆放在两个商品的中间的位置。因此,通过现有的商品和价签的匹配方法,容易发生商品和价签匹配出错或匹配精度低的问题。

3、所以,实现商品和价签的匹配过程的现有技术存在精度鲁棒性不足的问题。


技术实现思路

1、本技术实施例通过提供一种商品和价签的匹配方法、设备及存储介质,解决了现有技术中实现商品和价签的匹配过程存在精度鲁棒性不足的技术问题,实现了快速且精准地将商品和价签进行匹配的过程,提高匹配过程的精度、鲁棒性和可靠性,提升匹配效率等技术效果。

2、第一方面,本发明实施例提供一种商品和价签的匹配方法,包括:

3、获取商品货架的货架图像;

4、对所述货架图像进行目标检测处理,得到多个价签中的每个价签的价签图像和价签位置信息,并对所述货架图像进行语义分割处理,得到多个商品中的每个商品的商品图像和商品位置信息,其中,每个商品为一个独立的商品或一个商品类;

5、对所述每个价签的价签图像和所述每个商品的商品图像进行文本识别处理,得到所述每个价签的文本信息和所述每个商品的文本信息;

6、根据所述每个价签的价签位置信息和文本信息与所述每个商品的商品位置信息和文本信息,得到所述每个价签与所述每个商品之间的匹配分,并根据所述每个价签与所述每个商品之间的匹配分,得到匹配表;

7、对所述匹配表进行动态规划处理,得到所述每个价签的目标商品的匹配结果。

8、优选的,所述对所述匹配表进行动态规划处理,得到所述每个价签的目标商品的匹配结果,包括:

9、按照预设顺序对所述多个价签进行排序;

10、在所述匹配表的当前状态下,对所述多个价签中的一个当前价签进行动态匹配处理,得到所述当前价签的目标商品和当前价签更新后的匹配表,再将所述当前价签更新后的匹配表作为所述匹配表的当前状态的下一个状态;

11、在所述匹配表的当前状态的下一个状态下,对所述当前价签的下一个价签进行动态匹配处理,得到所述下一个价签的目标商品和下一个价签更新后的匹配表,再将所述下一个价签更新后的匹配表作为所述匹配表的下一个状态;

12、在所述匹配表的下一个状态下,对下一个价签进行动态匹配处理,直到在所述匹配表的最后一个状态下,对所述多个价签中的最后一个价签进行动态匹配处理后,得到所述每个价签的目标商品的匹配结果。

13、优选的,所述动态匹配处理的过程,包括:

14、在所述匹配表的当前状态中,针对所述每个当前价签,根据当前价签和所述每个商品之间的匹配分,找到所述当前价签的目标商品,其中,所述目标商品为与所述当前价签之间的匹配分最高的商品;

15、将所述目标商品与除所述当前价签之外的每个价签之间的匹配分均设置为预设值,并对所述匹配表进行更新,得到当前价签更新后的匹配表,其中,所述预设值表示所述商品与所述价签之间不具备匹配关系。

16、优选的,所述对所述匹配表进行动态规划处理,得到所述每个价签的目标商品的匹配结果,包括:

17、按照预设顺序对所述多个商品进行排序;

18、在所述匹配表的当前状态下,对所述多个商品中的一个当前商品进行动态匹配处理,得到所述当前商品的目标价签和当前商品更新后的匹配表,再将所述当前商品更新后的匹配表作为所述匹配表的当前状态的下一个状态;

19、在所述匹配表的当前状态的下一个状态下,对所述当前商品的下一个商品进行动态匹配处理,得到所述下一个商品的目标价签和下一个商品更新后的匹配表,再将所述下一个商品更新后的匹配表作为所述匹配表的下一个状态;

20、在所述匹配表的下一个状态下,对下一个商品进行动态匹配处理,直到所述匹配表中的每个价签均进行动态匹配处理后,得到所述每个商品的目标价签的匹配结果。

21、优选的,所述根据所述每个价签价签位置信息和文本信息与所述每个商品的商品位置信息和文本信息,得到所述每个价签与所述每个商品之间的匹配分,包括:

22、针对所述每个价签和所述每个商品,根据价签的价签位置信息和商品的商品位置信息,得到所述价签和所述商品之间的交并比;

23、根据所述价签的文本信息中的商品名称和所述商品的文本信息中的商品名称,得到所述价签和所述商品之间的文本距离;

24、根据所述价签的价签位置信息和所述价签对应的商品的商品位置信息,得到所述价签和所述对应的商品之间的中心点距离,并将所述价签与除所述对应的商品之外的商品之间的中心点距离均设置为中心点距离指定值;

25、根据所述价签和所述商品之间的交并比、文本距离和中心点距离,得到所述价签和所述商品之间的匹配分;

26、所述每个价签和所述每个商品均执行上述的匹配分获取过程,得到所述每个价签与所述每个商品之间的匹配分。

27、优选的,所述对所述每个价签的价签图像和所述每个商品的商品图像进行文本识别处理,得到所述每个价签的文本信息和所述每个商品的文本信息,包括:

28、通过ocr模型,对所述每个价签的价签图像进行文本识别处理,得到所述每个价签的文本信息;

29、通过ocr模型或图像识别模型,对所述每个商品的商品图像进行文本识别处理,得到所述每个商品的文本信息。

30、优选的,所述对所述货架图像进行目标检测处理,得到多个价签中的每个价签的价签图像和价签位置信息,包括:

31、通过对所述货架图像进行目标检测处理,得到所述每个价签的检测框;

32、对所述每个价签的检测框进行透视矫正处理,得到所述每个价签的矫正后的检测框,并基于所述每个价签的矫正后的检测框,得到所述每个价签的价签图像和价签位置信息。

33、优选的,所述对所述货架图像进行语义分割处理,得到多个商品中的每个商品的商品图像和商品位置信息,包括:

34、在所述每个商品为一个商品类的情况下,通过对所述货架图像进行语义分割处理,得到多个独立商品中的每个独立商品的分割区域图像和所述每个独立商品的分割区域图像的位置坐标,并将所述每个独立商品的分割区域图像作为所述每个独立商品的商品图像,将所述每个独立商品的分割区域图像的位置坐标作为所述每个独立商品的商品位置信息;

35、根据所述每个独立商品的分割区域图像进行连包计算处理,得到多个商品类中的每个商品类的商品图像,再根据所述每个商品类的商品图像,得到所述每个商品类的商品位置信息。

36、基于同一发明构思,第二方面,本发明提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现商品和价签的匹配方法的步骤。

37、基于同一发明构思,第三方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现商品和价签的匹配方法的步骤。

38、本发明实施例中的一个或多个技术方案,至少具有如下技术效果或优点:

39、在本发明实施例中,在获取商品货架的货架图像后,先对货架图像进行目标检测处理,得到多个价签中的每个价签的价签图像和价签位置信息,并对货架图像进行语义分割处理,得到多个商品中的每个商品的商品图像和商品位置信息,其中,每个商品为一个独立的商品或一个商品类。再对每个价签的价签图像和每个商品的商品图像进行文本识别处理,得到每个价签的文本信息和每个商品的文本信息。根据每个价签的价签位置信息和文本信息与每个商品的商品位置信息和文本信息,得到每个价签与每个商品之间的匹配分。并根据每个价签与每个商品之间的匹配分,得到匹配表。这样,基于价签和商品各自的位置信息、商品的图像特征信息、价签和商品各自的商品名称,得到在这三种维度下的价签和商品直接的匹配程度。充分利用价签识别到的相关信息和商品识别到的相关信息,得到每个价签和每个商品之间的匹配分,提高价签和商品之间的匹配效率。并且,所得到的每个价签和每个商品之间的匹配分的精度高,提高匹配过程的精度、鲁棒性和可靠性。因此,在商品和价签匹配的背景下,多信息融合可以帮助综合利用图像、位置、文字等多种信息来源,从而提高匹配的鲁棒性和准确性。

40、然后,对匹配表进行动态规划处理,得到每个价签的目标商品的匹配结果。这样基于多信息融合得到每个商品和每个价签之间的匹配分。再基于每个商品和每个价签之间的匹配分和动态规划技术,得到每个价签的目标商品,大大减少匹配计算量,提高匹配效率,节省匹配所需要的空间和时间的复杂度。并且,还进一步提高商品和价签之间的匹配精度和准确度,从而提高匹配的鲁棒性和可靠性。


技术特征:

1.一种商品和价签的匹配方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述对所述匹配表进行动态规划处理,得到所述每个价签的目标商品的匹配结果,包括:

3.如权利要求2所述的方法,其特征在于,所述动态匹配处理的过程,包括:

4.如权利要求1所述的方法,其特征在于,所述对所述匹配表进行动态规划处理,得到所述每个价签的目标商品的匹配结果,包括:

5.如权利要求3所述的方法,其特征在于,所述根据所述每个价签价签位置信息和文本信息与所述每个商品的商品位置信息和文本信息,得到所述每个价签与所述每个商品之间的匹配分,包括:

6.如权利要求3所述的方法,其特征在于,所述对所述每个价签的价签图像和所述每个商品的商品图像进行文本识别处理,得到所述每个价签的文本信息和所述每个商品的文本信息,包括:

7.如权利要求1所述的方法,其特征在于,所述对所述货架图像进行目标检测处理,得到多个价签中的每个价签的价签图像和价签位置信息,包括:

8.如权利要求1所述的方法,其特征在于,所述对所述货架图像进行语义分割处理,得到多个商品中的每个商品的商品图像和商品位置信息,包括:

9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一权利要求所述的商品和价签的匹配方法步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一权利要求所述的商品和价签的匹配方法步骤。


技术总结
本发明涉及商品价签匹配技术领域,尤其涉及一种商品和价签的匹配方法,该方法包括:获取商品货架的货架图像;对货架图像进行处理,得到多个价签的每个价签的价签图像和价签位置信息,以及多个商品中的每个商品的商品图像和商品位置信息;对每个价签的价签图像和每个商品的商品图像进行文本识别处理,得到每个价签的文本信息和每个商品的文本信息;根据每个价签的价签位置信息和文本信息与每个商品的商品位置信息和文本信息,得到每个价签与每个商品之间的匹配分,根据每个价签与每个商品之间的匹配分,得到匹配表;对匹配表进行动态规划处理,得到每个价签的目标商品的匹配结果。本方法提高匹配过程的精度、鲁棒性和可靠性。

技术研发人员:杨恒,龙涛,余文炫,李轩,吴永杰,李娟,陈序
受保护的技术使用者:深圳爱莫科技有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1154757.html

最新回复(0)