网站地图 原创论文网,覆盖经济,法律,医学,建筑,艺术等800余专业,提供60万篇论文资料免费参考
主要服务:论文发表、论文修改服务,覆盖专业有:经济、法律、体育、建筑、土木、管理、英语、艺术、计算机、生物、通讯、社会、文学、农业、企业

人体康复行业中机器视觉的运用分析

来源:原创论文网 添加时间:2021-08-27

  摘    要: 机器视觉技术通过视觉采集和分析系统对外界环境进行实时图像采集和处理,得到目标的特征信息,最终实现外部设备的控制。机器视觉技术具有精度高、实时性强、自动化与智能化程度高的优点,已广泛应用于机器人控制、工业生产、辅助医疗诊断等领域。随着医疗技术的发展,机器视觉作为人工智能的重要分支,在康复领域也得到越来越多的应用。本文综述了机器视觉的基本结构和工作原理,并对其在辅助辅具、肢体康复、心理康复等5种康复领域的常见应用进展状况进行简要归纳与介绍,最后总结了机器视觉应用于康复领域的主要问题和发展趋势。

  关键词 :     机器视觉;人工智能;康复工程;辅具控制;图像处理;

  Abstract: Machine vision technology can collect and process the external environment image in real-time through the vision acquisition and analysis system to get the characteristic information of the target. According to the characteristic information, the control of the external equipment is realized. Machine vision technology has been widely used in robot control, industrial production, auxiliary medical diagnosis and other fields with its advantages of high precision, strong real-time, high degree of automation and intelligence. With the development of medical technology, machine vision, as an important branch of artificial intelligence, has been applied more and more in the field of rehabilitation. This paper summarizes the basic structure and working principle of machine vision, and briefly summarizes and introduces its common application progress in five rehabilitation fields, such as auxiliary equipment, limb rehabilitation and psychological rehabilitation. Finally, the main problems and development trend of machine vision in the field of rehabilitation is summarized.

  Keyword: machine vision; artificial intelligence; rehabilitation project; auxiliary control; image processing;

  0 、引言

  近年来,由于人口老龄化、工业、交通事故、自然灾害、工作压力、疾病等的原因,有康复需求的人群数量以惊人的速度逐年增加,据统计,截至2019年底,我国已有9 775家残疾人康复机构,但专业技术人员仅有19万,8 500万残疾人中仅有1 043万人得到康复服务[1]。康复需求端的扩大导致康复领域出现护理人员紧缺、康复效率低下的问题。机器视觉技术的发展为康复领域提供了新的发展思路。将机器视觉技术与康复技术相结合可以辅助康复人员自主完成训练任务,提高康复人员的主动训练参与度与自信度,同时可以利用网络对居家患者进行实时康复效果评估与训练方案调整,提高康复效率的同时有效地减轻医护人员和家属的负担。
 

人体康复行业中机器视觉的运用分析
 

  1、 机器视觉

  机器视觉是一门结合了光学、机电控制、图像处理、人工智能等技术的综合性学科[2],在康复领域应用时的基本技术构成一般包括图像采集部分、图像处理部分和外部控制部分。

  1.1、 图像采集

  图像采集部分由照明系统和视觉传感器两部分组成[3],完成外部图像的采集和处理。

  照明系统即采用发光光源照亮目标物体,保障图像处理成像效果的同时避免外部环境光线的干扰。光源的效果对机器视觉的成像质量至关重要,不同形状、颜色、照射角度的光源会产生不同的图像效果。机器视觉中的光源类型包括发光二极管、热辐射光源、气体放电光源等[4],实际应用中需要根据不同的应用场景,选择能最大程度分离图像中目标信息与背景信息的光源,以降低图像处理过程的难度,提高算法分割与特征识别的准确度与可靠度。

  视觉传感器包括单目视觉传感器、双目视觉传感器及深度相机3种。单目视觉传感器使用单一摄像头进行目标定位,每次处理单帧图像数据,具有信息容量小和运算速度快的优点[5],但是由于单目视觉传感器在目标成像过程中会将场景的三维信息降维为二维信息进行处理,造成目标深度信息的丢失,不适用于需要精准定位和跟踪目标的场合。双目视觉传感器通过左右2个摄像头获取场景同一时刻不同角度的两幅图像,可以真实还原场景的三维信息,具有能够表达目标远近差异程度的优势[6],在康复领域应用较为广泛。深度相机的核心部件是COMS摄像机和红外发射器[7],利用光编码技术获取目标的深度信息,具有数据读取快、应用简单的优势。由于深度相机能同时采集目标的颜色信息和深度信息[8],被广泛用于移动机器人、手术机器人等需要完成自主跟随任务的应用中。

  1.2 、图像处理

  图像处理部分的功能为对采集到的图像进行处理分析,提取特定目标的特征进行识别,转换为外部控制命令,过程包括图像增强、图像去噪、图像定位与分割、特征提取与模式分类等步骤[9]。图像处理部分涉及到的各类算法非常多,如目标标定中使用的张正友标定法[10]、自标定法[11]等,图像增强中使用的图像锐化、运动模糊去除等方法,图像分割中使用的阈值分割方法[12]、基于神经网络的语义分割法[13]等方法以及特征提取与模式分类中使用的小波变化[14]、支持向量机[15]、卷积神经网络[16]等方法。图像处理部分是多算法集成模块,实际应用中需综合考虑图像的类型、算法的处理速度、算法复杂度、模型泛化能力等多种因素。随着人工智能技术的发展,如卷积神经网络、循环神经网络、自编码器等深度学习算法[17]由于可以将特征提取与模式分类过程集成在一起,在机器视觉领域得到越来越多的应用。

  1.3 、外部控制

  外部控制部分根据图像处理部分得到的目标位置信息数据输出相应的控制波至电机驱动电路,从而控制电机的运动状态,完成目标跟随、避障、辅助等任务。实际应用中需要根据实际情况选择相应的控制模式(如点位控制、连续轨迹控制等)、驱动方式(如液压、气压、电气驱动等)、通信类型(如串口、以太网、各种工业控制总线等)等参数[18]。

  2、 机器视觉在康复领域的应用

  2.1、 机器视觉在辅助类康复辅具中的应用

  辅助类康复辅具的范围非常广泛,目前使用到机器视觉技术的包括智能轮椅车、辅助起立装置、机器臂等。辅助类康复辅具能够辅助患者完成起立、饮食、移动等动作,减轻了护理人员的负担的同时可以为患者提供更加科学、安全的服务。Hartman等[19]研发了搭载摄像机、激光传感器、陀螺仪等的智能轮椅,将图像信息与距离信息融合,进行轮椅车路径规划与避障,实现轮椅车自动驾驶功能。周莹亮[7]运用视觉目标跟踪技术设计的轮椅跟随系统,实现了轮椅对使用者的实时跟随与障碍躲避,系统具有良好的通用性和可移植性。李杰[20]利用机器视觉技术,研究患者不同身高和坐姿情况下对辅助起立运动的要求,建立人体运动数学模型,控制辅助起立机器人按照预测的轨迹精准辅助患者完成起立动作。

  2.2 、机器视觉在肢体类康复中的应用

  肢体康复类系统主要用于手臂、腿部、各类关节等的运动功能康复训练,集成机器视觉技术后可以通过摄像头实时采集的图像提取患者肢体的轮廓,生成骨架系统后进行轨迹分析,判断肢体运动轨迹是否正确并进行实时调整与反馈。基于机器视觉的肢体康复系统不受时间、空间的约束,能够最大程度地提高患者训练参与度与康复自信心。Ustinova等[21]开发了虚拟栽花系统用于患者手部功能的康复。祝敏航[22]设计了基于Kinect的下肢外骨骼康复训练系统,实时解析下肢运动角度参数,实现对人体下肢的行走驱动,满足家庭化康复训练的需求。闫航[23]针对脑卒中居家康复患者的需求,综合机器视觉、姿态估计、深度学习等技术,设计了康复训练场景下的在线康复动作识别系统,帮助患者实现居家康复锻炼。

  2.3 、机器视觉在心理类康复中的应用

  随着许多新疾病的重新定义与研究,有康复需求的人群大量增加,机器视觉技术被用于辅助患者进行记忆、抽象思维、计算、理解力等有关认知功能的康复训练中。Adriella等[24]开发了用于阿尔茨海默病与轻度认知障碍患者康复训练的互动式康复系统,通过机器视觉系统辅助患者完成各项日常活动,并实现了患者与医护人员之间的实时互动交流。陈浩东[25]设计了基于机器视觉的认知康复机器人系统,利用六自由度机器臂和摄像头系统进行认知康复任务中的积木任务示教与辅助。

  2.4、 机器视觉在临床医疗辅助中的应用

  自2000年第一代达芬奇手术机器人批准应用于临床后,基于机器视觉技术的手术机器人在临床上应用越来越广泛,并取得了良好的效果,其中包括可以进行细胞层面康复的胶囊机器人。手术机器人一般包括机械臂、传感器、控制器和动力源4部分[26],通过三维重建技术选择最优手术方案,精准定位操作点并进行实时导航,帮助医生完成传统手术难以完成的复杂手术,提高手术效率和成功率。目前,尚没有国内研制的应用于临床的手术机器人。郑红杰[27]设计了一种方便利用视觉进行检测的标记物,并改进跟踪算法,提高了手术检测的精准性和快速性。机器视觉在临床医疗系统中的应用还包括通过图像增强、标记、渲染处理、测量比较等手段辅助医生进行医学影像解析,通过大数据训练模型网络来估算患病的概率,包括X 射线、B超、CT、MRI等,规避由于人眼疲劳、误差等引发的医疗事故。目前基于深度学习算法的医学图像分割是该领域研究的重点和难点[28]。

  2.5 、机器视觉在个体化康复医疗中的应用

  近年来,机器视觉技术结合生物医学工程、3D打印技术成为了个体化康复医疗的研究热点,即通过三维模型重构技术实现肢体、器官、骨骼、皮肤等的三维建模,再结合3D打印技术进行康复辅具产品的个性化定制。由于机器视觉技术可以检测到人体表面的微小变化,不依赖于人工经验,相比于人工取型技术更适用于人体复杂度高、曲面不规则的取型情况,具有取型准确、佩戴舒适性高、康复效果好的优点。目前,机器视觉技术结合3D打印技术在康复领域的主要研究热点包括矫形鞋垫[29]、假肢[30]、脊柱侧弯矫形器[31]等多种智能矫形器[32,33],膝关节[34]、髋关节[35]、骨修复[36]、肿瘤治疗[37]等人工器官植入与置换等方面。

  3 、小结

  本文归纳了机器视觉的主要技术构成与工作原理,总结了机器视觉技术在辅助类康复、肢体类康复、心理类康复、临床医疗辅助及个体化康复医疗等5种康复领域的主要应用进展。从现有的研究来看,机器视觉研究,尤其是国内的机器视觉研究还处于起步阶段,距离成熟的大规模实际应用差距还很大。目前应用于康复领域的机器视觉技术测试对象主要是健康人群,数据分析和效果分析时使用的数据缺乏来自患者人群的数据,模型泛化能力低,导致研发成果基本处于实验室阶段,成果实用性和通用性不高。同时由于机器视觉的多学科融合性,在整体系统设计时需要充分考虑到各部分技术构成的协同性。因此,如何加大在患者人群的实际应用测试,并有针对性地进行系统集成设计与优化,提高安全性和实用性,同时降低其制造和应用的成本,是机器视觉技术真正服务于康复领域的研究重点与难点。

  参考文献

  [1]中国残疾人联合会2019年残疾人事业发展统计公报[R/OL].(2020-04-02)2020-7-
  [2]余文勇,石绘机器视觉自动检测技术[M].北京:化学工业出版社,2013.
  [3]工控帮教研组.机器视觉原理与案例详解[M]北京:电子工业出版社, 2020.
  [4]黄志鹏,郁汉琪,张聪,等机器视觉的发展及应用[J]信息与电脑, 2020(17): 127-129.Huang ZP,Yu HQ,Zhang C,et al.The development and application of machine vision[J]. Chinacomputer& Communication,2020(17):127-129.
  [5]赵霞,袁家政,刘宏哲基于视觉的目标定位技术的研究进展[J]计算机科学, 2016,43(6):10-16,43. Zhao X, Yuan JZ,Liu HZ .Advances in vision-based target location technology[J].Computer Science 2016 ,43(6):10-16,43.
  [6]杨晨曦,华云松基于双目立体视觉的目标物测距研究[J]软件, 2020,41(1):128-132. pH Yang CX.Hua YS. Research on target ranging based on binocular stereo vision[J]. ComputerEngineering & Software,2020,41(1):128-132.
  [7]周莹亮基于计算机视觉的轮椅跟随控制系统研究[D].西安:陕西科技大学, 2020 .Zhou YL Research on wheelchair fllowing control system based on computer visin[D].Xian:Shaanxi University of science and technology,2020.
  [8]任恒乐,徐方,邸霈,等基于深度相机的移动机器人自主跟随技术[J]计算机工程与设计, 2020 ,41(2):562-566 Ren HL Xu F,Di P,et al.Autonomous fllowing technology of mobile robot based on depth camera [J] Computer Engineering and Design,2020 41(2):562-566.
  [9]邹超,汪文,孙志刚.基于机器视觉的织物疵点检测方法综述[J].天津I业大学学报,2009,28(2):78-82 ,85.Zou C,Wang BW,Sun ZG .Survey on fabric defect detection based on machine vision[J] Journal of Tianji Polytechnic University,2009,28(2)-.78-82,85.
  [10] Wang YN,Lu X,Ling ZG,et al.A method to calibrate vehicle-mounted cameras under urban traffic scenesI[J]IEE Transactions on Itelligent Transportation Systems ,2015,16(6)-:3270-3279.
  [11] Zhang ZY.A flexible new technique for camera alibration[J]IEEE Transactions on Pattern Analysis and Machine Itelligence 200.2211) 1330-1334.
  [12] Yuan XC,Wu LS,Peng QJ .An improved Otsu method using the weighted object variance for defect detection[J].Applied Surface Science, 2015,349:472-484.
  [13] Girshick R,Donahue J,Darell T,et al.Region-based convolutional networks for accurate object detection and segmentation[J.IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(1):142-158.
  [14] Gorai AK,Raval S,Patel AK,et al.Design and development of a machine vision system using artificial neural network-based algorithm for automated coal characterization[J].International Journal of Coal Science & Technology,2020:1-19.
  [15]赵月鹏基于机器视觉的人体坐姿检测系统的设计与实现[D]哈尔滨:哈尔滨理I大学, 2020.Zhao YP.Design and implementation of human stting posture detection system basedon machine vision[D]. Harbin:Harbin University of science and technology,2020.
  [16]李旻择,李小霞,王学渊,等基于多尺度核特征卷积神经网络的实时人脸表情识别[J].计算机应用, 2019,39():2568-2574.Li MZ,Li XX,Wang XY,et al.Real-time facial expression recognition based on convolutional neural network with multi-scale kernel feature[J] Journal of Computer Applications ,2019,39(9):2568-2574.
  [17]刘勇,李杰,张建林,等基于深度学习的二维人体姿态估计研究进展[J].计算机工程, 2021,47(3):1-16.Liu Y,Li J,Zhang JL,et al.Research progress of two-dimensional human pose estimation based on deep learning[J].Computer Engineering,2021. 47(3):1-16.
  [18]郑季炜基于机器视觉的智能人机交互技术研究[J]海峡科学,2018(1):24-26.
  [19] Hartman A,Nandikolla VK. Human-machine interface for a smart wheelchair[J]J Journal of Robotics,2019,2019:4837058.
  [20]李杰康复机器人辅助患者起立轨迹预测方法研究[D]沈阳:沈阳工业大学, 2017.Li J.Research on prediction method of rehabilitation robot assisted patient standing-up trajectory[D]. Shenyang: Shenyang University of technology.2017.
  [21] Ustinova KI,Perkins J,Szostakowski L Effect of viewing angle on arm reaching while standing in a virtual environment:potential for virtual rehabilitation [J].Acta Psychologica,2010, 133(2):180-190.
  [2]祝敏航.基于机器视觉的下肢外骨骼康复运动检测系统[D].杭州:浙江大学, 2016.Zhu MH.Machine vision-based motion detecting system for rehabilitation of lower extremity exoskeleton[D] Hangzhou:Zhejiang University,.2016.
  [23]闫航康复训练场景下的动作与行为识别方法研究[D].郑州:郑州大学, 2020.Yan H.Research on the method of action and behavior recognition in rehabilitation training[D].Zhengzhou:Zhengzhou University,2020.
  [24] Adriella A.Alenya G,Hernandez-farigola J,et al.Deciding the different robot roles for patient cognitive training[J] International Journal of Human-Computer Studies,2018,117:20-29.
  [25]陈浩东基于机器视觉的认知康复机器人系统设计[D].合肥:合肥工业大学, 2019.Chen HD .Design of cognitive rehabiltation robotic system based on machine vision[D].Hefei:Hefei University of Technology,2019.
  [26]谢俊祥,张琳智能手术机器人及其应用[J] .中国医疗器械信息, 2015(3):11-17.Xie JX Zhang L. The review and application of smart and surgical robots[J]. China Medical Device Information,2015(3):11-17.
  [27]郑红杰基于视觉的手术机器人腹腔镜位姿自动调节方法研究[D].哈尔滨: 哈尔滨工程大学, 2018.Zheng HJ.Research on the laparoscopic pose vision-based automatic adjustmentfor robot assisted surgery[D].Harbin:Harbin Engineering University,2018.
  [28]彭璟,罗浩宇,赵淦森,等深度学习下的医学影像分割算法综述[J]计算机工程与应用, 2021,57(3).44-57.Peng J,Luo HY,Zhao GS et al. Survey of medical image segmentation algorithm in deep learning[J]. Computer Engineering and Applications ,2021,57(3):44-57.
  [29]李鹏基于3D打印扁平足个性化矫正鞋垫的设计及其对平衡能力的影响[D].苏州:苏州大学, 2017.Li P.The design of personalized orthopedic insoles for flatfoot based on 3D printand its impact on balance ability[D] Suzhou:Soochow University,2017.
  [30] Germany EI,Pino EJ .Aqueveque PE .Myoelectric intuitive control and transcutaneous electrical stimulation of the forearm for vibrotactile sensation feedback applied to a 3Dprinted prosthetic hand[J] Annual International Conference of the IEEE Engineering in Medicine and Biology Society,2016,2016:5046-5050
  [31]鲁德志,梅钊,李向磊,等.3D打印脊柱侧凸矫形器的数字化设计及效果评估[J].中国组织工程研究, 2021,25(9): 1329-1334.Lu DZ,Mei Z,Li XL,et al. Digital design and effect evaluation of three-dimensional printing scoliosis orthosis[J] Chinese Journal of Tssue Engineering Research,2021,25(9)-:1329-1334.
  [32] Choo YJ,Boudier-Reveret M,Chang MC. 3D printing technology applied to orthosis manufacturing.narrative review[J]. Annals of Palliative Medicine,2020,9(6):4262-4270.
  [33] Portnoy S, Barmin N, Elimelech M,et al Automated 3D-printed finger orthosis versus manual orthosis preparation by occupational therapy students: Preparation time. product weight,and user satisfaction[J]. Journal of Hand Therapy.2020.33(2):174-179.
  [34]顾飞,姚庆强,刘帅,等3D打印截骨导板在膝关节单髁置换术中的应用[J]中国数字医学, 2020,15(6);97-100 Gu F,Yao QQ,Liu S,et alApplication of 3D-printed osteotomy guideplate in unicompartmental knee arthroplasty[J.China Digital Medicine,2020, 15(6):97-100.
  [35]杨勇,邱志杰,徐红革,等3D打印结合数字化设计在髋臼骨折手术治疗中的应用[J].临床骨科杂志, 2021,24(1);88-92.Yang Y,Qiu ZJ,Xu HG,et al.The application of 3D printing combined with digital design in the surgical treatment of acetabular fracture[J] Journal of Clinical Orthopaedics ,2021,24(1):88-92.
  [36] Raisian S,Fallahi HR,Khiabani KS,et al.Customized titanium mesh based on the 3D printed model Vvs .manual intraoperative bending of titanium mesh for reconstructing of orbital bone fracture:a randomized clinical trial[J.Reviews on Recent Clinical Trials ,2017,12(3): 154-158.
  [37]高源三维模型和机器视觉结合的3D打印医疗导板质量检测[D].北京: 北京工业大学, 2016. Gao Y.The quality evaluation of 3D printing medical guide combining 3D model and computer vision[D]. Beiing:Beijing University of Technology,.2016.

重要提示:转载本站信息须注明来源:原创论文网,具体权责及声明请参阅网站声明。
阅读提示:请自行判断信息的真实性及观点的正误,本站概不负责。