一种可穿戴的盲人智能定位与导盲系统的制作方法

本发明涉及导盲技术领域，具体涉及一种可穿戴的盲人智能定位与导盲系统。

背景技术：

据世界盲人联盟不完全统计，2018年全球有4000万到4500万盲人，并且研究人员表示，到2050年，全世界盲人的数量将会达到现在的两到三倍。中国是世界上盲人最多的国家，约有550万盲人，无论从世界还是从中国来看，盲人的数量都极其庞大。

盲人的眼睛看不见事物，因此造成他们出行相当困难，极大制约了他们的出行自由，这就需要借助外界工具辅助导盲。目前可借助的辅助工具主要有导盲犬、非智能导盲杖、电子导盲杖和导盲仪。

导盲犬要经过相当长时间训练，才能够完成短距离的导盲，难以及时满足客户导盲需求。导盲犬是动物难免会乱跑，而且导盲犬只是作为一种动物的感性牵引，往往会把人导错，此外一条好的导盲犬价格往往可以卖到几十万元，相当昂贵。作为动物总是要养的，饲养费、打理费支出就是一大笔，还得建狗窝、处理狗粪等，要额外做很多工作。

非智能导盲杖通过敲击地面的方式判断周围障碍物，这种方式不能知晓前进方向，容易迷路，也不能知道障碍物的种类、方位、速度等，极其落后和不安全。

近年来还出现导盲鞋、导盲车等，导盲鞋具有很多缺点，例如配上多种仪器之后会变得十分笨重、不能对障碍物进行精确识别和定位、不适用于雨天以及容易损坏等。至于导盲车，虽然导盲能力挺强，但是价格相当昂贵，并且不能用于室内和通道狭窄的地方，也就不能够把盲人导引到具体地点。

市面上普通的电子导盲杖和导盲仪一般使用超声波传感器和红外线传感器对障碍物定位，超声波传播距离相当有限，且受温度影响大失真度高，而其所用红外线传感器是靠温度对物体判断的，只是判断出物体的大致形状，难以获得具体方位、距离和速度，其作用效果不大理想。况且，现在常规导盲仪器所用的这些方法难以识别出障碍物是什么物体，也不能构建三维地图，这在室内就很难知道盲人所处的位置了，也容易把人导错。这些导盲仪器往往采用单一定位，定位和导航精度不高，也不能够记录走过路径的事物信息，每一次都作为陌生环境来用。

总之，传统的导盲装备或方法的定位、识别和导盲准确性不强，缺少智能方面的应用，在当下人工智能、互联网和大数据发展迅猛的时代，传统的导盲方法必将被时代淘汰。

从时代发展大势来看，更加智能、高效、安全、耐用、可靠、便携、经济的导盲产品才能被人们所接收。从盲人本身来看，盲人虽然眼睛看不见，但是其它感官往往比常人发达许多，比如听觉，我们可以利用盲人的听觉和感觉传递导航信息，为盲人导盲达到正常出行的目的。

技术实现要素：

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种可穿戴的盲人智能定位与导盲系统，能够有效克服现有技术所存在的定位和导盲准确度低、可靠性差的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种可穿戴的盲人智能定位与导盲系统，包括背架、头盔、按键控制器、震动手环、定位与导航系统、语音识别播报系统、控制系统和运行系统，所述背架包括前后相对设置的基板，所述基板通过背带固定连接，所述基板上固定有外壳、led灯，位于前方所述基板上固定有红外双目摄像头，位于后方所述基板上固定有可见光双目摄像头ⅰ，所述头盔上固定有可见光双目摄像头ⅱ，所述头盔上还固定有光敏传感器、led灯；

所述外壳内部安装有中心控制器、信号接收发射器、定位模块、电池，位于前方所述外壳内部收纳有按键控制器，所述背带上对称固定有定位模块，前方所述基板中心固定有一组定位模块，所述背带上固定有语音识别器、语音播报器。

优选地，所述外壳上铰接有转门，所述转门与外壳卡固。

优选地，所述可见光双目摄像头ⅱ通过可转动支架与头盔相连；所述头盔顶部的光敏传感器感知光照强度，当光照强度低于阈值时，中心控制器控制开启led灯和红外双目摄像头，所述led灯和红外双目摄像头也可由盲人使用按键控制器通过中心控制器强制开启或关闭。

优选地，所述控制系统包括中心控制器、按键控制器、信号接收发射器、远程服务器和大数据云；所述中心控制器与可见光双目摄像头ⅰ、可见光双目摄像头ⅱ、红外双目摄像头、led灯、光敏传感器、定位模块、语音识别器、语音播报器、信号接收发射器、震动手环、按键控制器、电池相连，所述定位模块分别和信号接收发射器、中心控制器相连，所述信号接收发射器分别与远程服务器、定位与导航系统相连，所述远程服务器连接互联网及大数据云；

所述远程服务器由一台功能强大的计算机构成，作为盲人与大数据云的连接通道，负责计算处理和存储一个或多个盲人的导盲信息，还用于导盲的最优路线规划、深度学习。

优选地，所述运行系统运行流程包括：一、盲人通过按键控制器开启语音识别器说出具体的目的地或使用按键遥控器发出目标指令；二、远程服务器检索目的地；三、远程服务器作最优路线规划；四、开始导航，同时语音播报器工作；五、双目摄像头和各设备开始工作，把获取的信息实时传输到远程服务器；六、远程服务器处理数据，把处理后的数据回传、上传到大数据云；七、继续实时导航直到到达目的地。

优选地，所述红外双目摄像头、可见光双目摄像头ⅰ、可见光双目摄像头ⅱ组成视觉系统，所述红外双目摄像头弥补可见光双目摄像头ⅰ、可见光双目摄像头ⅱ在光线不足时工作效果差的缺点，所述红外双目摄像头获取的周围环境事物信息结合可见光双目摄像头ⅰ、可见光双目摄像头ⅱ获取的信息做深度匹配，得到更加完善、准确的事物信息，经过计算构建出特征点云三维地图，远程服务器把实时生成的直接的视觉图像和特征点云三维地图不断传输到大数据云中。

优选地，所述语音识别播报系统包括语音识别器、语音播报器，所述语音识别器用于识别盲人发出的语音信息，所述语音播报器用于播报导航信息。

优选地，所述定位与导航系统包括背带上对称固定的定位模块、前方所述基板中心固定的一组定位模块、卫星定位与导航系统；所述定位模块用于确定盲人中心位置，各所述定位模块由定位与导航系统直接定位，得到各定位模块的直接定位坐标，借助已知精确坐标的地面基站对直接定位坐标进行修正，定位与导航系统对各修正坐标进行融合运算，取运算后的均值作为人体中心绝对坐标。

优选地，所述震动手环在信号的驱使下震动，所述震动手环通过不同的震动频率、震动幅度、震动次数以告知盲人是何种提醒警告，所述震动手环通过左右手的震动提醒盲人向哪个方向偏离预定路线和危险状况发生的方向。

优选地，所述按键控制器上的按键设置有盲文，所述按键控制器通过中心控制器控制其它设备的开启和关闭，所述按键控制器上的按键分别代表各控制开关、各设定的特征位置，所述按键控制器上还设有一个紧急求救按钮，紧急求救按钮上设有保护盖板，打开保护盖板并按下按键后，中心控制器通过信号接收发射器把盲人所在的精确位置发给负责该盲人的固定联系人，并向固定联系人拨打求救电话。

(三)有益效果

与现有技术相比，本发明所提供的一种可穿戴的盲人智能定位与导盲系统能够精准高效地为盲人定位和导盲，解决了传统导盲方式定位精度不高、不适用于室内环境、不适用于夜晚、导盲效果不理想等问题，也弥补了卫星定位导航系统室内难以定位的缺点，有效提高导盲的效率和准确率，为人工智能和大数据在残疾人事业的应用拓宽了渠道。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统信号传递和控制关系示意图；

图2为本发明系统所包含部分的总分示意图；

图3为本发明系统运行示意图；

图4为本发明系统结构示意图；

图5为本发明图4背向结构示意图；

图中：

1、头盔；2、led灯；3、可见光双目摄像头ⅱ；4、背带；5、基板；6、红外双目摄像头；7、可见光双目摄像头ⅰ；8、外壳。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种可穿戴的盲人智能定位与导盲系统，如图1至图5所示，包括背架、头盔1、按键控制器、震动手环、定位与导航系统、语音识别播报系统、控制系统和运行系统，背架包括前后相对设置的基板5，基板5通过背带4固定连接，基板5上固定有外壳8、led灯2，位于前方基板5上固定有红外双目摄像头6，位于后方基板5上固定有可见光双目摄像头ⅰ7，头盔1上固定有可见光双目摄像头ⅱ3，头盔1上还固定有光敏传感器、led灯2；

外壳8内部安装有中心控制器、信号接收发射器、定位模块、电池，位于前方外壳8内部收纳有按键控制器，背带4上对称固定有定位模块，前方基板5中心固定有一组定位模块，背带4上固定有语音识别器、语音播报器。

外壳8上铰接有转门，转门与外壳8卡固。

可见光双目摄像头ⅱ3通过可转动支架与头盔1相连；头盔1顶部的光敏传感器感知光照强度，当光照强度低于阈值时，中心控制器控制开启led灯2和红外双目摄像头6，led灯2和红外双目摄像头6也可由盲人使用按键控制器通过中心控制器强制开启或关闭。

控制系统包括中心控制器、按键控制器、信号接收发射器、远程服务器和大数据云；中心控制器与可见光双目摄像头ⅰ7、可见光双目摄像头ⅱ3、红外双目摄像头6、led灯2、光敏传感器、定位模块、语音识别器、语音播报器、信号接收发射器、震动手环、按键控制器、电池相连，定位模块分别和信号接收发射器、中心控制器相连，信号接收发射器分别与远程服务器、定位与导航系统相连，远程服务器连接互联网及大数据云；

远程服务器由一台功能强大的计算机构成，作为盲人与大数据云的连接通道，负责计算处理和存储一个或多个盲人的导盲信息，还用于导盲的最优路线规划、深度学习。

运行系统运行流程包括：一、盲人通过按键控制器开启语音识别器说出具体的目的地或使用按键遥控器发出目标指令；二、远程服务器检索目的地；三、远程服务器作最优路线规划；四、开始导航，同时语音播报器工作；五、双目摄像头和各设备开始工作，把获取的信息实时传输到远程服务器；六、远程服务器处理数据，把处理后的数据回传、上传到大数据云；七、继续实时导航直到到达目的地。

红外双目摄像头6、可见光双目摄像头ⅰ7、可见光双目摄像头ⅱ3组成视觉系统，红外双目摄像头6弥补可见光双目摄像头ⅰ7、可见光双目摄像头ⅱ3在光线不足时工作效果差的缺点，红外双目摄像头6获取的周围环境事物信息结合可见光双目摄像头ⅰ7、可见光双目摄像头ⅱ3获取的信息做深度匹配，得到更加完善、准确的事物信息，经过计算构建出特征点云三维地图，远程服务器把实时生成的直接的视觉图像和特征点云三维地图不断传输到大数据云中。

语音识别播报系统包括语音识别器、语音播报器，语音识别器用于识别盲人发出的语音信息，语音播报器用于播报导航信息。

定位与导航系统包括背带4上对称固定的定位模块、前方基板5中心固定的一组定位模块、卫星定位与导航系统；定位模块用于确定盲人中心位置，各定位模块由定位与导航系统直接定位，得到各定位模块的直接定位坐标，借助已知精确坐标的地面基站对直接定位坐标进行修正，定位与导航系统对各修正坐标进行融合运算，取运算后的均值作为人体中心绝对坐标。

震动手环在信号的驱使下震动，震动手环通过不同的震动频率、震动幅度、震动次数以告知盲人是何种提醒警告，震动手环通过左右手的震动提醒盲人向哪个方向偏离预定路线和危险状况发生的方向。

按键控制器上的按键设置有盲文，按键控制器通过中心控制器控制其它设备的开启和关闭，按键控制器上的按键分别代表各控制开关、各设定的特征位置，按键控制器上还设有一个紧急求救按钮，紧急求救按钮上设有保护盖板，打开保护盖板并按下按键后，中心控制器通过信号接收发射器把盲人所在的精确位置发给负责该盲人的固定联系人，并向固定联系人拨打求救电话。

在后端基板5上的一组可见光双目摄像头ⅰ7用于看清盲人身后的环境状况，并且告知盲人有用的环境状况信息，特别是当盲人身后有危险状况时也能够告诫盲人避让，克服了常规导盲方式中盲人身后存在盲区的缺陷。在头盔1上的一组可见光双目摄像头ⅱ3是整个导盲系统最主要的信息获取来源，盲人通过头部的灵活扭动能获取更加广阔的周围环境事物信息，可轻松获取门牌号、在一定高度的红绿灯信息、左右车辆和行人的信息等。

前端基板5上的一组红外双目摄像头6同样由光敏传感器通过中心控制器间接控制，也可由盲人通过按键控制器强制开启或关闭，主要是为了弥补可见光双目摄像头在光线不足时工作效果差的缺点，主要在光线昏暗时使用。红外双目摄像头6使用时其获取的周围环境事物信息结合可见光双目摄像头获取的信息做深度匹配，得到更加完善、准确的事物信息，增强导盲的准确性。

基板5上的外壳8把中心控制器等电子器件保护起来，防水防尘，又可打开方便维修或更换内部器件。

头盔1顺应了导盲仪器可穿戴的潮流，其上面仅有一组可见光双目摄像头ⅱ3、光敏传感器和一个led灯，相比于具有复杂多样仪器显得笨重的传统导盲头盔而言，对于盲人来说无疑是更加轻松的，而且该组可见光双目摄像头ⅱ3可绕头盔1上的支架转动，其倾角是可调的，适合于低头程度不一样的盲人使用。脱下头盔1的时候把该组可见光双目摄像头ⅱ3向上翻起，可保护摄像头。

led灯2用于夜晚、昏暗楼道、浓雾天气等光线不足时，由头盔1顶部的光敏传感器感知光照强度，当感知到光照强度低于阈值时，则由中心控制器控制开启led灯2，也可由盲人通过按键控制器强制开启或关闭。led灯2主要是为了增强在弱光照时可见光双目摄像头的作用效果，又能警示其他行人或司机注意避让该盲人，但是为了不影响他人，led灯2也不能太亮。

定位模块用于确定盲人所在位置，利用定位与导航系统对各定位模块直接定位，得到各定位模块的直接定位坐标，借助已知精确坐标的地面基站用差分定位的方法对直接定位坐标进行修正，定位与导航系统把得到的各定位模块位置坐标做融合运算，取运算后的均值作为人体中心绝对坐标，定位模块把绝对坐标信息通过信号接收发射器传输给远程服务器，远程服务器对实时的绝对坐标进行记录。利用多定位模块和差分定位能减少由单一定位模块带来的误差，提高定位系统的鲁棒性，有效提升坐标的准确性和可靠性，从而使得导盲指令更加准确。

信号接收发射器负责信号的接收和发射，是数据传输的桥梁，使用4g、5g移动网络传输信息数据，以及信号的转换，完成数据的实时传送。当使用5g移动网络技术时，能够满足庞大的双目摄像头信息传输需求。

远程服务器由一台功能较为强大的计算机构成，作为盲人与大数据云的连接通道，负责计算处理一个或多个盲人的导盲信息，还用于导盲的最优路线规划。远程服务器负责的具体工作是：双目摄像头的视觉算法运算、对图像信息的深度学习算法的运算、最优路线规划的算法运算、三个或以上定位模块坐标的融合运算、从大数据云中搜索有用信息的云计算、上传所走路线上物体图像信息和坐标信息以及特征点信息的运算、三维地图构建和上传的运算和为盲人精确导航的运算。

震动手环有两个，一只在左手一只在右手，在信号的驱使下震动手环可以震动，从而让手感觉到震动。震动手环充当提醒警告的角色，当盲人偏离路线或遇到紧急情况时，根据偏离路线或危险程度的不同设置不同的震动频率、震动幅度、震动次数，以告知盲人是何种提醒警告，通过左右手的震动提醒盲人向哪个方向偏离预定路线和危险状况发生的方向，该震动手环有效分担了语音播报器的负担，减少了语音播报的次数。

按键控制器上的按键设置有盲文，不同按键代表着不同的控制含义，或代表红外双目摄像头6的开、关，或代表语音识别器的开、关，或代表整个系统的开、关，或代表不同的特定地点，通过中心控制器，按键控制器可间接控制设备的开启和关闭。

开始导盲前，事先由某个正常人使用导盲系统到达各固定的特定地点，导盲系统获取精确定位坐标、环境信息和特征点云三维地图，然后由远程服务器把特定地点处的这些信息上传到大数据云中作为特征位置模块，把特征位置模块集合到遥控器的按键上，由按键代表特征位置。当盲人想到特征位置去，或语音识别器突然出现问题而失灵，或系统不能对特征位置精确检索定位时，按下遥控器相应按钮后，系统将检索调用原先存入大数据云，规划路线后为盲人导航到特征位置。

比如获取家门口处的环境和位置信息，将特定地点家门口作为第一特征位置模块，以遥控器的第一个按键代替表示，当按下第一个按键后无论盲人在哪，都能导航回家。此外，按键控制器上还设置紧急求救按钮，该按钮上有一盖板保护，打开盖板并按下按键后，中心控制器就会通过信号接收发射器把盲人所在的精确定位位置发给负责该盲人的固定联系人，并向该固定联系人拨打求救电话等。通过按键控制器，解决了盲人因所要移动的距离很短而在地图上检索不出来具体位置无法导航的问题，解决了常规导盲方法因为意外情况无法及时求救的问题。

在行程开始前，盲人通过按键控制器开启语音识别器，接着说出具体目的地或使用按键控制器发出目标指令，之后语音识别器识别出目的地名称信息，然后再通过信号接收发射器传输给远程服务器。其中，当使用按键控制器按下某个键发出目标指令，指示要前往该键所代表的特征位置时，中心控制器读取该按键指令，并且将信号传输给信号接收发射器发射。

远程服务器接收到目的地信号后，从大数据云中获取高清地图，在地图上检索出目的地点，并且预设前往目的地点的可能路线，远程服务器再通过云计算从大数据云系统中提取出各预设路线上的实时道路信息，该道路信息包括：车流信息、人流信息、红路灯信息、车道线信息、交通标志信息、斑马线分布信息、人行道分布信息和交通管制信息等。接着远程服务器通过最优路线规划算法统计各预设路线的权重，计算出各预设路线的加权得分，取得分最高的作为导航的最优路线，并发出信号指示中心控制器控制双目摄像头运行。

双目摄像头开始工作，每组双目摄像头连续不断从周围环境摄取视觉图像，并将图像通过信号接收发射器源源不断地传输给远程服务器，远程服务器通过视觉算法从图像提取特征点，同时匹配每组双目摄像头的两个摄像头获取的图像中的特征点，利用视差定位的方法获取物体上特征点相对于人的距离和角度方位，计算出相对于人中心绝对坐标的相对坐标，再把相对坐标加上人中心绝对坐标就可得出物体上各特征点的绝对坐标，匹配后的深度视觉图像就作为一个关键帧，根据各关键帧上的特征点变换，可以计算出人所处环境中物体位置变化的角度和速度。

同时，远程服务器根据各组摄像头获得的特征点绝对坐标和深度视觉图像就可以结合高清地图构建出各组的特征点云三维地图，远程服务器把非静态目标从该三维地图剔除，再把各组的特征点云三维地图进行匹配和拟合后就可以重建出最终的特征点云三维地图，远程服务器把实时生成的视觉图像和特征点云三维地图不断传输到大数据云中，图像和各特征点信息将作为大数据云中的一部分。而且每次行走在相同路线上都能摄取到之前未摄取到的、新的视觉图像和特征点，经过处理生成新的三维地图，远程服务器把新的三维地图与原三维地图比较分析，提取新三维地图中原三维地图没有的、不细致的、空缺的地方拼合在原三维地图，从而获得更新后的、更加细致的三维地图。因此，利用双目摄像头的双目视觉，就能够在室内室外获取周围环境特征的具体坐标，使导盲无论在室内还是室外、无论是白天还是黑夜都具有较高的精度。

此外，利用深度学习算法通过物体图像和物体特征点信息对双目摄像头进行深度训练，当双目摄像头再次遇见相似事物或者再次走相同的路线时，基于深度学习算法，双目摄像头能够对物体进行快速识别，双目摄像头不仅能知道物体的方位、坐标、速度、大小，还能知道物体是什么，并且让它“看得越多”就会识别得越快、越准确，实现越用越聪明、越用越安全可靠。

之后，由远程服务器综合人的定位坐标和双目摄像头获得的周围环境状况信息，利用定位与导航系统向中心控制器实时发送导航信息。

最后，中心控制器根据远程服务器中获取的导航信息控制语音播报器和震动手环为盲人导航，而且同一路线走的次数越多，导航就越准确，也就是“越走越准，越走越安全，越走越可靠”。

本发明所提供的一种可穿戴的盲人智能定位与导盲系统能够精准高效地为盲人定位和导盲，解决了传统导盲方式定位精度不高、不适用于室内环境、不适用于夜晚、导盲效果不理想等问题，也弥补了卫星定位导航系统室内难以定位的缺点，有效提高导盲的效率和准确率，为人工智能和大数据在残疾人事业的应用拓宽了渠道。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。