一种基于OpenMV及姿态检测的智能导盲设备的制作方法

一种基于openmv及姿态检测的智能导盲设备
技术领域
1.本实用新型属于盲人用具技术领域，具体涉及一种基于openmv及姿态检测的智能导盲设备。


背景技术：

2.我国是世界上盲人最多的国家，约有500万盲人，占全世界盲人总数的18％，就决对数字而言，中国盲人总数早已经超过诸如丹麦、芬兰等国家的人口。在我国每年约有45万人失明，但我国盲人目前的导盲辅助工具普遍是普通的导盲手杖，随着科技的快速发展，这种落后的导盲辅具已经无法满足现代化生活的需要，盲人发生交通事故的事件也屡屡发生。无论是电子导盲仪庞大的市场需求，还是落后的导盲辅助工具与现代化生活的矛盾，都将推动电子导盲仪的快速发展。
3.为了协助盲人安全行进，提高他们的生活质量，世界各国一直在进行着电子导盲系统的研制。已经成功研制的电子导盲系统大体可以分为四类超声波导盲仪、移动式机器人、穿戴式导盲仪和导引式手仗。其中穿戴式导盲仪是将导盲装置直接穿在身上，盲人通过简单的导盲语音提示来进行安全行进。美国大学机器人实验室开发了腰带式行动辅具，该辅具在实际应用中可以通过引导的方式使盲人避开障碍物，将盲人作为半被动式接受躲避障碍物命令的移动工具。或者通过超声波描绘出盲人所在区域的地形后以发音等方式使其了解和判断周围环境。而引导式手杖导引式手仗是在手杖的把手部分安装具有控制作用的微型计算机，在手杖的不同位置安装专用的探测传感器，手杖的下端装有导轮的可移动装置，目前已存在的此类型机器主要是borenstein的guidecanel。这种电子导盲仪的实质是将移动式机器人的动力系统卸载，保留其智能感测的传感和控制部分。虽然导引式手杖可以弥补超声波导盲仪、移动式机器人及穿戴式导盲仪的缺点，是目前相对比较理想的一种电子导盲装置，但是导引式手仗还是存在体积较庞大、不便于携带的缺点，而且它的成本较高，不便于推广应用。
4.在现代化城市交通系统中存在红绿灯、盲道、斑马线等信息，这些都是盲人安全行进的基础保障，而目前的电子导盲仪还不能完全识别判断这些交通信息。随着城市的不断扩大和快速发展，盲人迷路的情况也常常发生，未来的电子导盲仪将不仅具有识别红绿灯、盲道、斑马线的功能，还将具有通过gps定位和gprs向盲人提示其当前所在位置的功能。
5.近年来，图像处理技术广泛应用于各种实时场合，如机器人导航、目标跟踪、自动驾驶、交通监控等，将图像处理技术应用于导盲应用将是电子导盲仪的又一个新发展方向。通过传感器获取盲人所处环境的图像，利用计算机对图像进行单目、双目或多目视觉方法的分析和处理，最终实现对盲人周边障碍物的识别功能，引导盲人的安全行进。图像的获得是通过一种视觉传感器，而这种传感器与声纳、激光和雷达传感器相比，可获得更高、更准确的信息，更能方便地与其他传感器进行数据融合。


技术实现要素：

6.针对现有技术中存在的问题，本实用新型提出了一种基于openmv及姿态检测的智能导盲设备，以解决现有技术中导引式手仗体积较庞大、不便于携带的问题。本实用新型为分布式导盲手杖，将穿戴设备与导盲手杖相结合，手杖的体积小，便于携带。
7.为了达到上述目的，本实用新型采用的技术方案为：
8.一种基于openmv及姿态检测的智能导盲设备，包括穿戴设备与导盲手杖；将导盲设备分为穿戴、手杖两部分，更加方便使用；
9.所述穿戴设备上集成有：openmv视觉识别模块、姿态传感器模块和第一下位机；
10.所述导盲手杖内集成有：雷达测距模块和第二下位机；
11.所述openmv视觉识别模块和姿态传感器模块均电性连接所述第一下位机，所述雷达测距模块电性连接所述第二下位机，所述第一下位机与第二下位机电性连接；
12.所述第一下位机通过第一无线传输模块通信连接有上位机，所述第二下位机通过第二无线传输模块通信连接所述上位机。
13.进一步的，所述导盲手杖内安装有微型震动马达模块，所述微型震动马达模块电性连接所述第二下位机。
14.进一步的，所述穿戴设备上还集成有gprs模块，所述gprs模块电性连接所述第一下位机；所述导盲手杖内还集成有gps定位模块，所述gps定位模块电性连接所述第二下位机，所述上位机通信连接有用户终端。
15.进一步的，所述穿戴设备上还集成有第一语音播报模块和第一蓝牙模块，所述第一蓝牙模块通信连接有蓝牙耳机，所述第一语音播报模块分别电性连接第一下位机和第一蓝牙模块，第一下位机和第一蓝牙模块电性连接。
16.进一步的，所述导盲手杖内还集成有第二语音播报模块和第二蓝牙模块，所述第二下位机分别电性连接所述第二语音播报模块、第二蓝牙模块，所述第二蓝牙模块通信连接所述第一蓝牙模块。
17.进一步的，所述导盲手杖与手接触的部分设置有血压脉搏测量模块，所述血压脉搏测量模块分别电性连接所述第二下位机和第二无线传输模块。
18.进一步的，所述穿戴设备上还集成有温湿度传感器模块，所述温湿度传感器模块电性连接所述第一下位机。
19.进一步的，所述穿戴设备上还集成有音频传输模块，所述音频传输模块电性连接麦克风模块和扬声器模块；所述麦克风模块通过语音识别模块与所述第一下位机电性连接，音频传输模块电性连接所述第一下位机。
20.进一步的，所述导盲手杖上安装有蜂鸣器，所述蜂鸣器电性连接所述第二下位机。
21.进一步的，所述导盲手杖的外侧安装有led警示灯，所述led警示灯电性连接所述第二下位机。
22.本实用新型的有益效果如下：
23.本实用新型实施例提供的导盲设备，将导盲穿戴设备同导盲手杖的功能相结合起来，穿戴设备与导引式手仗相比更加方便，而且手杖的体积小，便于携带。利用openmv视觉识别模块识别障碍物、红绿灯颜色等，雷达测距模块探测障碍物距离，保障使用者的生命安全，姿态传感器采集使用者的水平角度使用者摔倒后及时发现。
附图说明
24.构成本技术的一部分的说明书附图用来提供对本实用新型的进一步理解，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：
25.图1为本实用新型实施例中穿戴设备上各功能模块的结构框图。
26.图2为本实用新型实施例中导盲手杖上各功能模块的结构框图。
27.图3为下位机与上位机之间的通讯示意图。
28.其中：1第一下位机；2第二下位机；3 openmv视觉识别模块；4姿态传感器模块；5 gprs 模块；6音频传输模块；7扬声器模块；8麦克风模块；9语音识别模块；10第一蓝牙模块； 11第一无线传输模块；12第一语音播报模块；13温湿度传感器模块；14上位机；15第二无线传输模块；16蜂鸣器；17微型震动马达模块；18 gps定位模块；19第二蓝牙模块；20 雷达测距模块；21 led警示灯；22第二语音播报模块；23血压脉搏测量模块；24用户终端； 25蓝牙耳机。
具体实施方式
29.下面将参考附图并结合实施例来详细说明本实用新型。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
30.以下详细说明均是示例性的说明，旨在对本实用新型提供进一步的详细说明。除非另有指明，本实用新型所采用的所有技术术语与本技术所属领域的一般技术人员的通常理解的含义相同。本实用新型所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本实用新型的示例性实施方式。
31.如图1所示，一种基于openmv及姿态检测的智能导盲设备，包括穿戴设备与导盲手杖；创新的使用了可穿戴设备与导盲手杖功能相结合的实现方法，更大限度的实现导盲手杖的功能扩展。本实用新型的优选实施例中穿戴设备为腰带、背心等装置，导盲手杖包括手柄和直杆。
32.穿戴设备上集成有：第一下位机1、openmv视觉识别模块3、姿态传感器模块4、gprs 模块5、音频传输模块6、扬声器模块7、麦克风模块8、语音识别模块9、第一蓝牙模块10、第一无线传输模块11、第一语音播报模块12和温湿度传感器模块13。第一下位机1分别电性连接openmv视觉识别模块3、姿态传感器模块4、gprs模块5、音频传输模块6、语音识别模块9、第一蓝牙模块10、第一无线传输模块11、第一语音播报模块12和温湿度传感器模块13，第一蓝牙模块10通信连接有蓝牙耳机24。第一语音播报模块12和第一蓝牙模块10之间电性连接，第一语音播报模块12和温湿度传感器模块13之间互相电性连接；音频传输模块6电性连接麦克风模块8和扬声器模块7；麦克风模块8通过语音识别模块9与第一下位机1电性连接；音频传输模块6电性连接第一下位机1。各个模块之间通过与下位机1的电连相互配合工作。
33.openmv视觉识别模块3进行视觉识别来实现人的眼睛功能，openmv视觉识别模块3 优选采用星瞳科技的openmvh4型号，可实现盲道自动寻迹及导航，小车、行人等障碍物的识别判定，红绿灯颜色识别等。
34.姿态传感器模块4优选型号为mma7361模块，可以实时监测使用者所处水平位置状态和速度等物理参数，姿态传感器模块4与下位机1之间电连，并将实时数据传送到上位机
14 中。当水平参数超出设定的安全阈值时下位机1即判定使用者处于摔倒状态。
35.gprs模块5优选型号为sim900，可实现串口转usb，当使用者遇到紧急危险或姿态传感器检测到使用者的水平状态为异常状态时，可通过gprs模块5将使用者此时的gps 经纬度的数字坐标通过短信的形式发送给使用者家属。
36.音频传输模块6连接麦克风模块8和扬声器模块7。音频传输模块6优选为e702t模块， e702t可直接与外部音频功率放大器连接，组成网络音频广播终端，接入扬声器，实现广播模式，在必要时刻可帮助使用者实现声音的放大。e702t模块也可直接接入麦克风，利用本机的2w音频功放，组成对讲终端，可实现同家属之间的远距离无线对话功能。e702t可以播放高达48khz采样的音频流，可作为网络音频广播中的核心模块只需外接一个功放和扬声器，可实现使用者闲暇时刻听从广播等休闲娱乐。扬声器模块7优选型号为sku 020.01150，结合et02t音频传输模块6和i2s麦克风模块8，可实现多功能的扩展。麦克风模块8优选 i2s麦克风模块8，i2s是通用的数字音频接口，广泛使用于dsp和数字音频处理领域。
37.语音识别模块9用于进行语音指令控制，型号为九芯电子的nrk2202
‑
a01语音识别模块9，该智能模块基于目前最先进的深度神经网络(dnn
‑
hmm)语音识别技术，实现了高识别率、高实时性、本地和云端结合、高度一体化的语音识别及处理功能，具有低功耗，有效识别率大于95％，识别距离大于5米，词条大于80条的诸多优点。
38.第一蓝牙模块10优选skylab公司旗下型号为skb501的蓝牙模块，可实现通过使用者佩戴无线蓝牙耳机25与第一蓝牙模块10匹配连接从而实现在嘈杂环境下语音指令的精确实现和语音处理结果的准确反馈，进一步保障盲人朋友的人身安全。
39.温湿度传感器13，可以实时监测周边环境的温湿度数据，并通过第一语音播报模块12 进行播报，让使用者实时获取温度数据。温湿度传感器优选型号为：sht11型温湿度传感器， sht11温湿度传感器具有极高的可靠性与卓越的长期稳定性；温度测量范围为
‑
40～123.8℃，精度为
±
0.01℃；湿度测量范围为0～100％rh，精度为
±
0.03％；具有品质卓越、响应迅速、抗干扰能力强、性价比高等优点。
40.如图2所示，导盲手杖内集成有：第二下位机2、第二无线传输模块15、蜂鸣器16、微型震动马达模块17、gps定位模块18、第二蓝牙模块19、雷达测距模块20、led警示灯 21、第二语音播报模块22、血压脉搏测量模块23；第二下位机2分别电性连接第二无线传输模块15、蜂鸣器16、微型震动马达模块17、gps定位模块18、第二蓝牙模块19、雷达测距模块20、led警示灯21、第二语音播报模块22、血压脉搏测量模块23；gps定位模块18电性连接第二蓝牙模块19，第二蓝牙模块19通信连接第一蓝牙模块10；血压脉搏测量模块23电性连接第二无线传输模块15。各个模块之间通过与下位机2的电连相互工作。
41.第一无线传输模块11和第二无线传输模块15优选型号为：nrf905型无线传输模块，建立无线局域网络进行数据传输，传输速度快、传输的有效距离长，能够和各种802.11的 dsss设备兼容，在信号较弱或有干扰的情况下，带宽可自动调整，有效地保障了网络的稳定性和可靠性。第一无线传输模块11和第二无线传输模块15之间采用rs232型通讯模块进行通讯，rs232型通讯模块的串口协议来实现第一下位机1、第二下位机2和上位机14之间的无线通信，不需要施工，也不要布线，能大大节省材料和人工成本，安装十分方便，无缝连接。
42.蜂鸣器16优选压电式无源12095蜂鸣器，通过将接收到的方波信号，并转换为声音信号输出，当导盲手杖跟穿戴设备之间的距离超出设定的安全距离时，及可视为使用者忘记携带导盲手杖，此时蜂鸣器16发出警报，并通过语音播报模块和扬声器模块7提醒使用者。
43.微型震动马达模块17优选采用扁平有刷电机振动马达，结合雷达测距模块20，可实现通过感官告知使用者距离障碍物距离的远进的程度。其位置放置在导盲手杖的手柄位置处。
44.gps模块18优选型号为sku：tel0094，此gps模块拥有1
‑
10hz可调节的定位更新速率，信号间隔的大大降低使得它可以应付更严苛的使用条件，gps模块18可接收卫星定位信号，定位手杖和穿戴设备所在的地理位置。
45.第一蓝牙模块10和第二蓝牙模块19，优选skylab公司旗下型号为skb501的蓝牙模块，可实现通过使用者佩戴无线蓝牙耳机25与第一蓝牙模块10匹配连接从而实现在嘈杂环境下语音指令的精确实现和语音处理结果的准确反馈，进一步保障盲人朋友的人身安全。
46.导盲手杖内的雷达测距模块20优选为fmk24的微波雷达模块，采用脉冲微波技术，通过接受发射波返回的反射波，对回波图像处理，探测较广范围内的环境，精确计算障碍物的位置，防止误撞事件发生；导盲手杖的手柄处有一个，手杖的底部也包含有一个共计两个可以实现其探测区域的面积为最大且夹角最小。根据通讯协议可计算出障碍物距离导盲手杖的距离及方位，优选的通过第二语音播报模块22和第二蓝牙模块19将方位结果语音输出给蓝牙耳机25，优选的结合微型震动马达模块17，根据距离的远进来改变震动的强弱，从而在感官上告诉使用者障碍物的距离。其工作频率为24g.00hz～24.25ghz，测距范围为： 0.5m～150m，测量精度为
±
0.1m，距离分辨率为0.6m，模块功耗为1.8w。
47.led警示灯21贴在导盲手杖外侧，可通过语音控制指令或者在手杖处设置一个按钮开关，通过按钮开关打开led警示灯21，通过醒目的颜色与亮度，提示周围人避让，可以确保在在光线比较差的环境下，使用者的人身安全。
48.第一语音播报模块12和第二语音播报模块22可将障碍物探测结果或手杖与穿戴设备所在地理位置信息转换为语音信号，通过功率放大器将播放，也可选择使用第一蓝牙模块10 将结果输入到蓝牙耳机25里，使得使用者能了解周围是否有障碍物，距离各障碍物的距离等信息，方便使用者做出合理的判断。第一语音播报模块12和第二语音播报模块22优选型号为：hstesc02。hstesc02具有成本低、接口丰富、使用方便、功能全面、音质清晰、二次开发简单方便等优点，内含嵌入式多任务操作系统，支持fat16，fat32文件系统，串口和485及can总线及按键可同时使用。hstesc02集成u盘接口最大支持32g，也内置了32到64m的falsh内存，方便用客户节约一个u盘或者内存卡，支持模拟u盘插usb 线直接下载到内置falsh内存，支持u盘当存储音频文件的装置。
49.血压脉搏测量模块23优选型号为ykb1712脉搏血压传感器芯片，安装位置可放置在导盲主张手把柄出的位置，可以实时监测使用者的心率血压等生理指标，通过第二下位机2和第二无线传输模块15相互联系，第二无线传输模块15的型号与第一无线传输模块11相同，将数据传递给上位机14，从而绘制出心率图等相关数据，进一步保障使用者的生命安全。
50.导盲手杖的侧面设置有太阳能电池片和可充电电池，可充电电池上接有usb充电
接口。通过太阳能为导盲手杖中的各个模块供电，不仅能够避免充电给盲人带来的不便，而且还可增大新能源的使用，节能减排。
51.如图3所示，第一下位机1与第二下位机2电性连接进行通信，第一下位机1通过第一无线传输模块11通信连接有上位机14，第二下位机2通过第二无线传输模块15通信连接上位机14，上位机14通信连接有用户终端25。由上位机14进行先关参数的设定，再反馈到下位机中执行。第一下位机1与第二下位机2均以stm32f系列下位机芯片为核心的微控制器mcu，是控制导盲手杖各电路单元的核心单元。stm32f103是一款32bit的arm嵌入式芯片，其内核采用cortex
‑
m3，该芯片实时性高、外设丰富、功耗低，被广泛应用在工业控制、通讯、物联网、互联网等领域。
52.在本实施例中，上述图1、2中的各个模块均采用模块化封装，各模块之间通过占用i/o 口进行并口通讯，诸多模块均能即插即用，使得连接的构建简单、快捷，不受地形限制，一旦模块间出现问题，方便及时检查、更换，系统稳定性好、环境适应性强。
53.本实用新型openmv视觉识别模块3和雷达测距模块20相结合的工作原理是：
54.首先，导盲手杖通过openmv视觉识别模块3和雷达测距模块20相结合，进行实时监测。当出现红绿灯、台阶、坡道、转角等障碍物时，openmv技术可以及时识别，并给与盲人提示。优选的，可以同时利用第一、第二语音播报模块给盲人提示，帮助盲人避免危险。当遇到障碍物时，微型震动马达模块17做出响应，来提醒使用者；优选的，可以根据障碍物距离的远近，微型震动马达模块17做出不同的响应，来提醒使用者。
55.此外，通过语音识别模块9可进行语音指令的控制，并通过第一蓝牙模块10将结果反馈给使用者。如若遇到紧急情况，可使用音频传输模块6实现对讲机功能，从而实现与使用者家属进行联系。
56.此外，导盲手杖上具有血压脉搏测量功能，能实时测量使用者的血压脉搏，并将数据反馈给上位机14。
57.第一下位机1、第二下位机2与上位机14采用无线传输的方式，相比于有线传输方式，无线传输的优势更加明显。第一下位机1与第二下位机2接受上位机14传输的指令，上位机14通过第一下位机1与第二下位机2来进行各个模块之间的控制。
58.本实用新型使用物联网应用技术，具有监测、改善功能，全方位、多角度服务使用者。本实用新型所述的导盲手杖与穿戴设别具备高智能化、自动化、人性化的特点，可靠性高、信息传递迅速、使用方便等优点。
59.由技术常识可知，本实用新型可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本实用新型范围内或在等同于本实用新型的范围内的改变均被本实用新型包含。