本技术涉及智能购物车领域，具体的，涉及智能购物车场景感知、购物行为分析、智能购物车超市防盗等方面。
背景技术：
1、人工智能技术正快速改变着我们的生产与生活方式。在超市等零售领域普遍采用的传统购物车已有一百多年的历史，这种购物车只提供一种商品暂存功能，购物结束时顾客需要将购物车推行到指定地点进行排队结算，即耗时又可能造成一定的拥堵，降低了用户的购物体验。当前许多超市已采用具有顾客自助结算功能的智能购物车。智能购物车在提高用户购物体验的同时，对超市的商品防盗提出了更高的要求。为了有效捕捉漏扫、夹带、替换货等行为。智能购物车普遍采用在购物车底部安装高精度重力电子秤，通过比较商品实际重量和商品标准重量的方式进行防盗，例如专利文件cn106981150a公开了一种超市智能防盗系统及方法，专利cn106408369a公开了一种智能鉴别购物车内商品信息的算法。
2、为了分辨不同种类商品间的重量差，智能购物车中所采用的重量传感器通常具有高精度和高灵敏度。在超市购物过程中，用户的购物行为具有随意性、复杂性，而所购商品具有多样性。例如用户触碰、手扶购物框行为等会造成重量值的偏移，尺寸较大商品倚靠边框等也会造成实际重量小于商品的标准重量，商品包装变化也会造成商品实际重量和数据库中的标记的商品重量不一致，而且超市中也有许多价格不同而商品质量相同的商品。这些情况经常会导致消费者按正常操作流程购物而无法结算。
3、基于严格重力防损的智能购物车虽然在一定程度上降低了超市的盗损率，但经常会造成消费者正常购买而无法结算的情况，降低了消费者使用智能购物车的意愿。为了有效解决智能购物车有效防损和消费者操作的流畅性、便捷性和之间的矛盾，需要精确识别客户将商品放入或取出购物车以及在购物车内整理商品的行为，在满足超市有效防盗要求的前提下保证消费者购物过程的流畅性，提升用户体验。
技术实现思路
1、1. 要解决的技术问题
2、针对现有智能购物车中中存在的消费者操作的流畅性、便捷性要求和超市有效防损之间的矛盾，本发明提供了一种基于视频中商品运动轨迹分析的用户购物行为分析方法，它可以将顾客的一次购物行为分解为三种基本类型：放入、取出、整理。该发明可以在消费者完全无感的情况下快速准确地识别用户购物行为，提升了用户体验并有效降低货损风险。
3、2. 技术方案
4、本发明的目的通过以下技术方案实现。
5、本发明中所述的智能购物车，至少配备有一个设购物筐的购物车车体，车体上图像采集设备，用于监控购物车内的目标的运动，在购物车车筐底部装有重力称。部分实施例中，车体上设置有处理器。
6、本发明的第一方面，提供了一种基于商品轨迹分析的智能购物车购物行为分析方法，步骤如下：
7、（1）采集用户购物过程中的视频，得到图像序列。优选的，利用智能购物车上安装的rgb摄像头采集用户在购物过程中的实时视频。
8、（2）将图像序列输入目标检测识别模型，得到所有n帧图像中全部商品目标的坐标信息。首先，将图像序列输入目标检测识别模型，得到全部图像中所有目标的坐标信息和类别信息（x0，y0，w，h，cls），这里x0、y0是目标检测框的中心，w是目标检测框的宽度，h是目标检测框的高度，cls是目标类别。目标包括商品目标和非商品目标两类。
9、根据目标检测识别模型输出的目标类别信息cls，排除非商品类目标，只分析商品类目标。输出商品目标的坐标信息和类别信息。
10、（3）将商品目标坐标信息输入到目标跟踪模型，得到图像序列中所有商品目标的商品轨迹。具体的，将目标检测识别模型的输出（x0，y0，w，h，cls）输入目标跟踪模型，得到图像序列n帧图像中k个目标的轨迹数据：{track_k = [（x0_i_k，y0_i_k，w_i_k，h_i_k，cls_k）]}，其中track_k是跟踪模型得到的id（目标标识号）是k的轨迹数据，k = 1，…，k，i= 1，…，n，这里（x0_i_k，y0_i_k，w_i_k，h_i_k，cls_k）表示id=k的轨迹第i帧图像中的检测框坐标和类别信息。
11、（4）计算每一条商品轨迹的运动度量指标，判定每一条商品轨迹为运动轨迹或静止轨迹中的一种。方法为：计算商品在购物过程中的实际运动情况的运动度量指标，设定一个或多个阈值，通过运动度量指标与阈值对比将商品轨迹分为运动轨迹和静止轨迹。
12、设（xi，yi）是第i帧商品轨迹点坐标，所述商品轨迹点为商品目标检测框中心点或商品目标检测框四个角点中任一个，运动度量指标为以下三种中的一种或多种组合：
13、1）轨迹长度：表征购物过程中商品的实际运动轨迹长度；定义为，商品轨迹的所有相邻帧中同一商品轨迹点坐标之间欧氏距离的累加和，单位为像素数，计算方法为：
14、，
15、dist为计算两个坐标点之间欧氏距离的算法，i和i+1是相邻两帧的帧索引号。
16、2）轨迹最大距离：表征购物过程中商品在空间中运动的幅度；定义为任意两帧中同一商品轨迹点坐标距离的最大值，单位为像素数；计算方法为：
17、，
18、max为求最大值的算法；i和j为任意不同两帧的帧索引号。
19、3）轨迹相对最大距离，定义为轨迹最大距离相对于该商品尺寸的相对运动距离，单位为像素数，计算方法为：
20、，
21、wi为在i帧中该商品检测框的宽度，hi在i帧中该商品检测框的高度。
22、进一步的，计算每一条商品轨迹的运动度量指标，判定每一条商品轨迹为运动轨迹或静止轨迹中的一种。具体方法为：
23、1）对每一个商品轨迹，利用该轨迹在图像中的目标检测框位置信息（x0，y0，w，h，cls），计算目标检测框四个角点的坐标：
24、
25、x0、y0是目标检测框的中心，w、h是目标检测框的宽高，cls是目标类别；
26、2）计算得到每一个目标检测框四个角点的轨迹长度：
27、
28、3）获得每一个商品目标具有最小轨迹长度的角点。
29、4）计算具有最小轨迹长度角点的轨迹长度trajlen、轨迹最大距离distmax和轨迹相对最大距离distref，作为该条商品轨迹的轨迹运动度量指标。
30、5）设定如下条件：
31、条件1：trajlen<thresh1；
32、条件2：distmax<thresh2；
33、条件3：distref<thresh3；
34、条件4：trajlen<thresh4 且 distref<thresh5；
35、条件5：distmax<thresh1 且 distref<thresh5；
36、thresh1，thresh2，thresh3，thresh4和thresh5为一组阈值；
37、判断条件1、条件2、条件3、条件4和条件5中的一个或多个，只要其中一个判定结果为真，就将该条商品轨迹标记为静止；最后将全部未标记为静止的商品轨迹均标记为运动。
38、（5）分析所有商品运动轨迹，将其进一步识别为商品置入购物车、商品从购物车中被取出或整理商品中的一种。具体方法为：
39、1）精确定位商品目标的运动部分在图像序列中的帧索引号。
40、设在图像序列中共有m帧图像检测到该目标，对应的图像帧索引号为：
41、，
42、该目标检测框四个角点中具有最小轨迹长度的角点坐标为（x_i，y_i），其中i =1，…，m-1，该角点轨迹数据中相邻的i帧和i+1帧间的欧氏距离为：
43、，
44、neighbor_trajdist中元素表示第i+1帧和第i帧相比该角点运动的欧氏距离，单位为像素数，设定阈值thresh_nb，计算帧索引号frame_id中满足条件：
45、，
46、的视频帧索引号序列：
47、，
48、frame_id_move是frame_id的子集，im1， …， imk为帧索引序号值，相邻帧间最小轨迹长度角点的距离若大于阈值thresh_nb，则表示商品在这两帧间商品发生运动。
49、2）计算frame_id_move中的连续运动帧索引号序列。
50、对帧索引号序列frame_id_move中相邻元素im（i+1）和imi求差，im（i+1）-imi= 1表示im（i+1）、imi为视频中的商品运动的连续帧索引号序列。
51、该连续帧索引号序列的集合frame_id_move_frag所对应的视频片段就是该商品在整个视频序列中连续运动片段的精确帧索引。
52、根据商品连续运动片段发生在该商品轨迹的时间段，再结合重力称的称值变化，判定该商品的行为：
53、若该连续运动片段对应帧索引号frame_id中起始部分，表示检测跟踪到该商品时该商品处于运动状态，若此时重力称值增加并达到稳定状态，该商品轨迹表示商品被置入购物车内。
54、若该连续运动片段对应帧索引号frame_id中末端部分，表示检测跟踪到该商品目标时该商品目标处于静止状态，商品的状态由静止变为运动，若此时重力称值减小并达到稳定状态，该商品轨迹为商品取出。
55、若该连续片段对应帧索引号frame_id中中间部分，表示该商品在起始和终止阶段均处于静止状态，若重力称值在商品处于静止状态时保持一致，将该商品轨迹为整理商品。
56、本发明的第二方面，提供了一种基于商品轨迹分析的智能购物车购物行为分析系统，应用本发明第一方面提供的一种基于商品轨迹分析的智能购物车购物行为分析方法，包括：
57、图像采集模块：负责视频及图像采集。
58、图像检测跟踪模块：负责接收并存储图像采集模块所采集的视频流信息，得到图像序列，对图像序列中的图像做目标检测及目标跟踪处理，并对其中所有目标进行识别，输出商品目标的轨迹信息。
59、分析决策模块：负责接收图像检测跟踪模块的商品目标轨迹信息，排除静止目标；精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段，结合重力称称值变化数据，综合判断该商品是置入、取出、整理三种行为中的一种。
60、优选的，基于商品轨迹分析的智能购物车购物行为分析系统精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段的方法为：
61、1）精确定位商品目标的运动部分在图像序列中的帧索引号。
62、设在图像序列中共有m帧图像检测到该目标，对应的图像帧索引号为：
63、，
64、该目标检测框四个角点中具有最小轨迹长度的角点坐标为（x_i，y_i），其中i =1，…，m-1，该角点轨迹数据中相邻帧间欧氏距离为：
65、，
66、neighbor_trajdist中元素表示第i+1帧和第i帧相比该角点运动的欧氏距离，单位为像素数，设定阈值thresh_nb，计算frame_id中满足条件：
67、，
68、的视频帧索引号序列：
69、，
70、frame_id_move是frame_id的子集，im1， …， imk为帧索引序号值，相邻帧间最小轨迹长度角点的距离若大于阈值thresh_nb，则表示商品在这两帧间商品发生运动。
71、2）计算frame_id_move中的连续运动帧索引号序列。
72、对帧索引号序列frame_id_move中相邻元素im（i+1）和imi求差，im（i+1）-imi= 1表示im（i+1）、imi为视频中的商品运动的连续帧索引号序列；
73、该连续帧索引号序列的集合frame_id_move_frag所对应的视频片段就是该商品在整个视频序列中连续运动片段的精确帧索引。
74、根据商品连续运动片段发生在该商品轨迹的时间段，再结合重力称的称值变化，判定该商品的行为：
75、若该连续运动片段对应帧索引号frame_id中起始部分，表示检测跟踪到该商品时该商品处于运动状态，若此时重力称值增加并达到稳定状态，该商品轨迹表示商品被置入购物车内。
76、若该连续运动片段对应帧索引号frame_id中末端部分，表示检测跟踪到该商品目标时该商品目标处于静止状态，商品的状态由静止变为运动，若此时重力称值减小并达到稳定状态，该商品轨迹为商品取出。
77、若该连续片段对应帧索引号frame_id中中间部分，表示该商品在起始和终止阶段均处于静止状态，若重力称值在商品处于静止状态时保持一致，将该商品轨迹为整理商品。
78、优选的，将本发明的算法模型部署在智能购物车车体上设置的处理器上。
79、3. 有益效果
80、相比于现有技术，本发明的优点在于：
81、（1）本发明基于原有智能购物车设备，无需增加额外部件，节省了成本。
82、（2）本发明提供的方法中，利用人工智能技术，通过对视频中运动商品的检测、跟踪、轨迹分析、商品图像比对等处理，准确识别夹带、替换货等行为，有效降低超市的货损风险。
83、（3）本发明的整体处理流程无需用户参与，可以在用户完全无感的情况有效排除碰触、手扶框、商品压框等导致称值异常变化的行为，提升了用户使用智能购物车体验的流畅性。
84、（4）将本发明的算法模型部署在智能购物车车体上设置的处理器上，利用自带的运算芯片可以实现对运动商品的实时检测、跟踪、比对分析，可最大限度地提高算法的执行效率，缩短算法执行时间。
1.一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，得到所有图像中全部商品目标的坐标信息的具体方法为：
3.根据权利要求1所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，判定每一条商品轨迹为运动轨迹或静止轨迹的具体方法为：将目标检测识别模型输出的商品目标的坐标信息输入到目标跟踪模型，得到n帧图像组成的图像序列中k个商品目标的轨迹数据；计算商品在购物过程中的实际运动情况的运动度量指标，设定一个或多个阈值，通过运动度量指标与阈值对比将商品轨迹分为运动轨迹和静止轨迹。
4.根据权利要求1所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，结合重力称的称值数据分析所有商品运动轨迹，将其识别为商品置入购物车、商品从购物车中被取出或整理商品中的一种。
5.根据权利要求3所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，设（xi，yi）是第i帧商品轨迹点坐标，所述商品轨迹点为商品目标检测框中心点或商品目标检测框四个角点中任一个，运动度量指标为以下三种中的一种或多种组合：
6.根据权利要求5所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，计算每一条商品轨迹的运动度量指标，判定每一条商品轨迹为运动轨迹或静止轨迹中的一种，具体方法为：
7.根据权利要求6所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，还包括如下步骤：
8.根据权利要求7所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，摄像头所获取的图像的宽度为wi，高度为hi，thresh1=min（wi，hi）/10，thresh2=min（wi，hi）/15，thresh3=0.12，thresh4=min（wi，hi）/8，thresh5=0.2，min为求最小值运算。
9.一种基于商品轨迹分析的智能购物车购物行为分析系统，应用权利要求1-8任一项所述的一种基于商品轨迹分析的智能购物车购物行为分析方法，其特征在于，包括：
10.根据权利要求9所述的一种基于商品轨迹分析的智能购物车购物行为分析系统，其特征在于，精确定位商品轨迹中的连续运动片段处于商品轨迹的时间段的方法为：
