基于手势的车辆控制方法、装置和存储介质与流程

1.本发明涉及车辆控制技术领域，尤其涉及一种基于手势的车辆控制方法、装置和存储介质。


背景技术：

2.随着技术的不断发展，目前，市面上除了传统的手动控制车辆的方式外，自动化车辆控制技术的应用也越来越常见，例如自动驾驶、自动停车、自动解锁等等。
3.现有相关技术中，以对车辆进行解锁为例，可以通过摄像头采集图像，若采集到的图像中包括用户的身影，则可以对车辆进行解锁，但采用这种方法解锁的准确度不高，可能会采集到车辆周围一些非车主的人员，若此时对车辆进行解锁会存在巨大的安全隐患。并且，若用户除了对车辆进行解锁之外，还期望可以执行其他操作，比如点火、打开空调、打开音乐等等，这些个性化的操作也无法自动实现。
4.基于此，如何实现车辆的自动化控制，既可以提高自动化控制的准确度，又可以满足用户的个性化需求、提升用户体验，成为业内关注的重点。


技术实现要素：

5.本发明提供一种基于手势的车辆控制方法、装置和存储介质，以解决车辆控制不够准确、安全性低的问题。
6.根据本发明的第一方面，提供了一种基于手势的车辆控制方法，其包括：
7.获取目标车辆上装载的摄像模块采集到的第一图像，所述第一图像中记录了目标用户的第一实时手势动作；
8.基于所述第一图像，在所述目标用户对应的自定义手势动作中，查找到与所述第一实时手势动作相匹配的目标手势动作；
9.基于预存的映射关系，查找到所述目标手势动作对应的车辆控制结果，并基于所述对应的车辆控制结果，对所述目标车辆进行控制，所述映射关系表征了各自定义手势动作与车辆控制结果之间的映射关系。
10.可选的，所述基于所述第一图像，在所述目标用户对应的自定义手势动作中，查找到与所述第一实时手势动作相匹配的目标手势动作，包括：
11.自所述第一图像提取出所述目标用户的骨架节点，并以所述第一实时手势动作中骨架节点的位置和/或位置变化作为手势特征；
12.基于所述手势特征，查找到所述目标手势动作。
13.可选的，还包括：
14.获取所述目标车辆上装载的摄像模块采集到的第二图像，所述第二图像中记录了所述目标用户的第二实时手势动作；
15.获取映射指定信息，所述映射指定信息表征了：所述第二实时手势动作与指定的车辆控制结果间相映射；
16.确定所述第二实时手势动作为所述目标用户对应的自定义手势动作，并根据所述映射指定信息，更新所述映射关系。
17.可选的，所述确定所述第二实时手势动为所述目标用户对应的自定义手势动作，包括：
18.判断所述第二实时手势动作是否与所述目标用户对应的自定义手势动作匹配；
19.若否，则存储所述第二实时手势动作，作为所述目标用户的自定义手势动作。
20.可选的，所述方法，还包括：
21.检测到目标用户的身份特征后，基于所述身份特征确定所述目标用户的身份，以基于所述身份查找到所述目标用户的自定义手势动作。
22.可选的，所述身份特征包括以下一种或多种：
23.语音特征、人脸特征、身高特征。
24.可选的，所述车辆控制结果包括以下一种或多种：
25.解锁、上锁、点火、熄火、打开车载设备、关闭车载设备、控制车载设备发生指定变化、行进、倒车、执行停车过程。
26.根据本发明的第二方面，提供了一种基于手势的车辆控制装置，包括：
27.获取单元，用于获取目标车辆上装载的摄像模块采集到的第一图像，所述第一图像中记录了所述目标用户的第一实时手势动作；
28.查找单元，用于基于所述第一图像，在所述目标用户对应的自定义手势动作中，查找到与所述第一实时手势动作相匹配的目标手势动作；
29.控制单元，用于基于预存的映射关系，查找到所述目标手势动作对应的车辆控制结果，并基于所述对应的车辆控制结果，对所述目标车辆进行控制，所述映射关系表征了各自定义手势动作与车辆控制结果之间的映射关系。
30.本发明提供的基于手势的车辆控制方法，可以获取目标车辆上装载的摄像模块采集到的第一图像，该第一图像中可以记录有目标用户的第一实时手势动作，可以基于该第一图像，在目标用户对应的自定义手势动作中查找到与所述第一实时手势动作相匹配的目标手势动作，然后基于目标手势动作查找预存的映射关系，以找到该目标手势动作对应的车辆控制结果，并基于该结果对目标车辆进行控制。
31.采用上述方法，可以基于用户给出的手势动作识别出匹配的车辆控制结果，并基于该结果进行自动的车辆控制，进而可以提高车辆控制的安全性。并且，用户可以自定义自身的手势动作，满足了用户个性化的需求，提升用户体验。
32.其中，还可以通过对用户进行身份识别以找到该用户对应的手势动作，只有该用户可以使用这些手势动作进行车辆控制，其他用户无法操作，可以进一步提高车辆控制的准确度、安全性。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
34.图1是本发明一示例性实施例示出的一种基于手势的车辆控制方法的流程示意图；
35.图2是本发明一示例性实施例示出的另一种基于手势的车辆控制方法的流程示意图；
36.图3是本发明一示例性实施例示出的另一种基于手势的车辆控制方法的流程示意图；
37.图4是本发明一示例性实施例示出的一种基于手势的车辆控制装置所在电子设备的一种硬件结构图；
38.图5是本发明一示例性实施例示出的一种基于手势的车辆控制装置的框图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
42.请参见图1，图1是本发明一示例性实施例示出的一种基于手势的车辆控制方法的流程示意图。所述方法可以应用于具有存储器、处理器的电子设备，所述方法可以包括以下步骤：
43.步骤102，获取目标车辆上装载的摄像模块采集到的第一图像，所述第一图像中记录了目标用户的第一实时手势动作；
44.步骤104，基于所述第一图像，在所述目标用户对应的自定义手势动作中，查找到与所述第一实时手势动作相匹配的目标手势动作；
45.步骤106，基于预存的映射关系，查找到所述目标手势动作对应的车辆控制结果，并基于所述对应的车辆控制结果，对所述目标车辆进行控制，所述映射关系表征了各自定义手势动作与车辆控制结果之间的映射关系。
46.下面对上述步骤进行详细说明。
47.本实施例中，目标车辆上可以装载有摄像模块，该摄像模块可以是摄像头，比如可以是行车记录仪上的摄像头，也可以是专门配置的摄像头，对此不作特殊限制。该摄像模块可以实时采集目标车辆周围环境的图像。
48.当有目标用户向目标车辆靠近时，该摄像模块可以采集到包含目标用户的图像，
目标用户通常是驾驶员，也可以是其他人员。并且，目标用户可以通过手势动作来控制目标车辆，比如可以用手画圈、向上下左右各个方向滑动等，本实施例对手势动作的具体形式不作特殊限制。在这种情况下，摄像模块可以采集到记录有目标用户手势动作的图像，将该图像作为第一图像，图像中记录的手势动作作为第一实时手势动作。
49.本实施例中，一方面，可以获取第一图像；另一方面，可以获取目标用户对应的自定义手势动作，该自定义手势动作可以是预存的。然后可以将第一实时手势动作与预存的自定义手势动作进行匹配，以从中查找到匹配第一实时手势动作的目标手势动作。
50.在一个例子中，在匹配时，可以从第一图像中提取出目标用户的骨架节点，并以所述第一实时手势动作中各骨架节点的位置和/或位置变化作为手势特征，然后基于该手势而在，查找目标手势动作，例如可将该第一实时手势动作的手势特征与用户自定义手势动作的手势特征匹配，得到匹配的自定义手势动作作为目标手势动作。
51.在另一个例子中，在匹配时，也可以将第一图像输入手势识别模型，该手势识别模型可以预测得到匹配的目标手势动作。其中，该手势识别模型可以是仅基于该目标用户的自定义手势动作训练得到的，当然也可以是基于所有用户的自定义手势动作、默认手势动作训练得到的，对此不作特殊限制。
52.此外，提取骨架节点、从而形成手势特征的过程，和/或基于手势特征，查找到目标手势动作的过程，均可以是输入手势识别模型而实现的。
53.本实施例中，还可以存储有用户各个的自定义手势动作对应的车辆控制结果，比如车辆控制结果可以是上锁、解锁、点火、熄火、打开车载设备(例如打开空调)、关闭车载设备(例如关闭空调)、控制车载设备发生指定变化(例如打开音乐、关闭音乐)、行进、倒车、执行停车过程等等。然后可以根据查找到的车辆控制结果，对目标车辆进行控制，实现基于手势动作控制车辆的效果。
54.由以上描述可以看出，在本发明的一个实施例中，可以获取目标车辆上装载的摄像模块采集到的第一图像，该第一图像中可以记录有目标用户的第一实时手势动作，可以基于该第一图像，在目标用户对应的自定义手势动作中查找到与所述第一实时手势动作相匹配的目标手势动作，然后基于目标手势动作查找预存的映射关系，以找到该目标手势动作对应的车辆控制结果，并基于该结果对目标车辆进行控制。
55.采用上述方法，可以基于用户给出的手势动作识别出匹配的车辆控制结果，并基于该结果进行自动的车辆控制，可以提高车辆控制的安全性。并且，用户可以自定义自身的手势动作，满足了用户个性化的需求，提升用户体验。
56.其中，还可以通过对用户进行身份识别以找到该用户对应的手势动作，只有该用户可以使用这些手势动作进行车辆控制，其他用户无法操作，可以提高车辆控制的准确度、安全性。
57.下面对本发明提供的另一种基于手势的车辆控制方法的实施例进行说明。
58.请参见图2，图2是本发明一示例性实施例示出的另一种基于手势的车辆控制方法的流程示意图。
59.在一个例子中，目标车辆上可以装载有具备计算能力的电子设备，其能够执行本实施例所述方法的步骤，则本实施例所述方法可以应用于该电子设备。
60.在另一个例子中，目标车辆上可装载有用于采集图像的摄像模块而未形成执行车
辆控制方法的电子设备，该摄像模块可以将采集到的图像发送给服务器，由服务器执行本实施例所述方法的步骤，则本实施例所述方法可以应用于该服务器。
61.本实施例所述方法可以包括以下步骤：
62.步骤202，获取目标车辆上装载的摄像模块采集到的第一图像，所述第一图像中记录了目标用户的第一实时手势动作。
63.本实施例中，步骤202的具体方法可以参照前述实施例，在此不再赘述。
64.步骤204，检测到目标用户的身份特征后，基于所述身份特征确定所述目标用户的身份，以基于所述身份查找到所述目标用户的自定义手势动作。
65.本实施例中，可以检测是否存在目标用户的身份特征，然后基于身份特征对目标用户的身份进行识别。
66.在一个例子中，身份特征可以是目标用户的人脸特征，则可以基于目标车辆上装载的摄像模块采集到目标用户的人脸图像，然后提取出人脸特征，基于人脸特征识别出目标用户的身份。
67.在另一个例子中，身份特征可以是目标用户的语音特征，如声纹，则可以基于目标车辆上装载的声音采集模块，如麦克风，采集到目标用户的声音，然后提取出语音特征，基于语音特征识别出目标用户的身份。
68.在再一个例子中，身份特征还可以是身高特征，例如可基于图像中目标用户的尺寸推算出目标用户的实测身高作为身高特征，在将其与所存储的目标身高进行皮牌，从而确定目标用户的身份。
69.当然，除了上述例子外，也可以通过其他方法对目标用户的身份进行识别，比如也可以根据目标用户手机的蓝牙、wifi信号等识别目标用户的身份，在此不一一举例。
70.本实施例中，识别出目标用户的身份后，可以基于该身份查找到该目标用户对应的自定义手势动作。其中，目标用户对应的自定义手势动作的确定，可以有以下方法：
71.在一个例子中，目标用户可以事先上传自定义手势动作，则可以存储这些自定义手势动作，并将其与目标用户的身份绑定。并且，针对每个自定义手势动作，目标用户还可以指定有对应的车辆控制结果，比如画圈的动作对应的是解锁、向上滑动的动作对应的是打开空调、向下滑动的动作对应的关闭空调等。在此基础上，也可以存储这些自定义手势动作与车辆控制结果之间的映射关系，实现映射关系的更新，以在后续的步骤中基于已存的映射关系进行自动的车辆控制。
72.在另一个例子中，目标用户的自定义手势动作也可以是学习得到的。可参见图3，图3是本发明一示例性实施例示出的另一种基于手势的车辆控制方法的流程示意图，包括以下步骤：
73.步骤302，获取目标车辆上装载的摄像模块采集到的第二图像，所述第二图像中记录了目标用户的第二实时手势动作。
74.步骤304，获取映射指定信息，所述映射指定信息表征了：所述第二实时手势动作与指定的车辆控制结果间相映射。
75.步骤306，确定所述第二实时手势动作为所述目标用户对应的自定义手势动作，并根据所述映射指定信息，更新所述映射关系。
76.本实施例中，目标车辆上装载的摄像模块还可以采集到第二图像，该第二图像中
可以记录有目标用户的第二实时手势动作。类似的，可以基于第二图像，判断该第二图像中记录的第二实时手势动作是否与目标用户的自定义手势动作匹配，然而，实际情况下可能无法从自定义手势动作中确定出匹配的目标手势动作，那么也就无法基于目标手势动作对应的车辆控制结果对目标车辆进行自动的车辆控制。或者，确定出的匹配的目标手势动作对应的车辆控制结果并非是目标用户期望的车辆控制。在这些情况下，目标用户可能会选择手动对目标车辆进行控制。
77.举例来说，目标用户做了一个画圈的动作，其期望目标车辆可以解锁，但电子设备可能无法识别该动作，则目标用户可能会手动解锁。或者，电子设备识别后自动进行了打开空调的操作，但这不是目标用户期望的，其还是可能会手动解锁。
78.本实施例中，对于上述目标用户进行手动操作的情况，可以获取到目标用户进行手动操作后得到的车辆控制结果，并基于此获取到映射指定信息。该映射指定信息表征了，第二实时手势动作与指定的车辆控制结果间相映射。比如，对于上述例子而言，映射指定信息可以是“画圈对应解锁”。
79.其中的映射指定信息可以是用户输入而形成的，也可以是自外界接收到的。
80.部分举例中，用户也可先在车机的主动学习手势动作的交互界面中选中一个车辆控制结果(以此作为指定的车辆控制结果)，然后在用户做出第二实时手势动作时，采集到第二图像，从中识别出第二实时手势动作，从而形成映射指定信息。
81.本实施例中，可以将第二手势动作作为目标用户对应的自定义手势动作，并利用所述映射指定信息更新所述映射关系。
82.可选的，在确定第二手势动作为目标用户对应的自定义手势动作之前，还可以判断该第二实时手势动作是否与目标用户已有的自定义手势动作匹配，以在不匹配的情况下存储所述第二实时手势动作，并将其作为目标用户的自定义手势动作。
83.值得说明的是，本实施例中虽然步骤204在步骤202之后执行，但实际情况下步骤204也可以在步骤202之前执行，或者也可以并行执行，对此不作特殊限制。
84.步骤206，基于所述第一图像，在所述目标用户对应的自定义手势动作中，查找到与所述第一实时手势动作相匹配的目标手势动作。
85.本实施例中，可以基于第一图像，查找到与所述第一实时手势动作相匹配的目标手势动作，具体方法可以参照前述实施例，在此不再赘述。
86.在一个例子中，还可以预先设置有一些默认的手势动作(也可理解为标准化的手势动作)，若第一实时手势动作与目标用户的自定义手势动作不匹配，则也可以将其与默认的手势动作匹配，并且默认的手势动作也对应有车辆控制结果，也可以基于该车辆控制结果对目标车辆进行自动控制。
87.具体的，可以为用户的自定义手势动作以及默认的手势动作设置优先级，按照优先级从高到低的顺序进行匹配。其中，该优先级可以是预设的，也可以是用户自主设置的，对此不作特殊限制。
88.步骤208，基于预存的映射关系，查找到所述目标手势动作对应的车辆控制结果，并基于所述对应的车辆控制结果，对所述目标车辆进行控制，所述映射关系表征了各自定义手势动作与车辆控制结果之间的映射关系。
89.本实施例中，步骤208的具体方法可以参照前述实施例，在此不作特殊限制。
90.采用上述方法，可以基于目标用户的自定义手势动作对目标车辆进行控制，提高安全性、提升用户体验。并且，还可以学习到目标用户的手势动，自动地将其作为该目标用户的自定义手势动作，实现用户无感知、智能化。
91.与前述基于手势的车辆控制方法实施例对应，本发明还提供了一种基于手势的车辆控制装置的实施例。
92.本发明基于手势的车辆控制装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于手势的车辆控制装置所在电子设备的一种硬件结构图。
93.请参考图4，提供了一种电子设备40，包括：
94.处理器41；以及，
95.存储器42，用于存储所述处理器的可执行指令；
96.其中，所述处理器41配置为经由执行所述可执行指令来执行以上所涉及的方法。
97.处理器41能够通过总线43与存储器42通讯。
98.除了图4所示的处理器、存储器、总线之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
99.请参见图5，图5是本发明一示例性实施例示出的一种基于手势的车辆控制装置的框图，该装置可以应用于图4所示的电子设备中，包括：获取单元510、查找单元520、控制单元536。其中，
100.获取单元510，用于获取目标车辆上装载的摄像模块采集到的第一图像，所述第一图像中记录了所述目标用户的第一实时手势动作；
101.查找单元520，用于基于所述第一图像，在所述目标用户对应的自定义手势动作中，查找到与所述第一实时手势动作相匹配的目标手势动作；
102.控制单元530，用于基于预存的映射关系，查找到所述目标手势动作对应的车辆控制结果，并基于所述对应的车辆控制结果，对所述目标车辆进行控制，所述映射关系表征了各自定义手势动作与车辆控制结果之间的映射关系。
103.可选的，所述查找单元520具体用于：
104.自所述第一图像提取出所述目标用户的骨架节点，并以所述第一实时手势动作中各骨架节点的位置和/或位置变化，作为手势特征；
105.基于所述手势特征，查找到所述目标手势动作。
106.可选的，还包括：
107.学习模块，用于：
108.获取所述目标车辆上装载的摄像模块采集到的第二图像，所述第二图像中记录了所述目标用户的第二实时手势动作；
109.获取映射指定信息，所述映射指定信息表征了：所述第二实时手势动作与指定的车辆控制结果间相映射；
110.确定所述第二实时手势动作为所述目标用户对应的自定义手势动作，并根据所述映射指定信息，更新所述映射关系。
111.可选的，所述确定所述第二实时手势动为所述目标用户对应的自定义手势动作，包括：
112.判断所述第二实时手势动作是否与所述目标用户对应的自定义手势动作匹配；
113.若否，则存储所述第二实时手势动作，作为所述目标用户的自定义手势动作。
114.可选的，所述查找单元520还用于：
115.检测到目标用户的身份特征后，基于所述身份特征确定所述目标用户的身份，以基于所述身份查找到所述目标用户对应的自定义手势动作。
116.可选的，所述身份特征包括以下一种或多种：
117.语音特征、人脸特征、身高特征。
118.可选的，所述车辆控制结果包括以下一种或多种：
119.解锁、上锁、点火、熄火、打开车载设备、关闭车载设备、控制车载设备发生指定变化。
120.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本技术方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
121.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
122.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
123.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。