• 机器视觉方向

    1.方向简介

    本方向拥有教师 20人,其中高级职称 12 人,博士 12人,在读研究生 50余人。本研究方向依托四川省计算机应用技术重点学科和检测技术与自动化装置国防特色学科,经过 10 余年的发展,建立了视觉检测、智能计算与模式识别、神经网络与医学影像、移动互联与软件测试4个稳定的研究课题组。主要开展精密视觉测量,多源图像融合,医学影像,三维重建、智能系统软件测试与质量保证等技术中关键问题研究。


    2. 人员构成

    image.png 范勇:四川大学工学博士 / 教授,现任计算机科学与技术学院院长。主要研究方向:计算机视觉、视觉测量。四川省学术和技术带头人后备人选,四川省计算机科学与技术专业教学指导委员会委员。主持含国家自然科学基金各类项目 20 余项,发表核心期刊论文 40 余篇,研发了大口径光学元件疵病检测等产品,获发明专利 15 项,省教学成果奖 2 项。主讲课程:《软件过程和项目管理》等。

    image.png 俞文心,博士,副研究员,九三学社社员,西南科技大学计算机科学与技术学院副院长,四川省大数据与智能系统工程研究中心办公室主任,高校系统四川省劳模(职工技能人才)创新工作室负责人,四川省特种计算机嵌入式控制技术工程实验室专家委员会委员。 IEEE (电气和电子工程师协会)会员, ACM (美国计算机协会)会员, IEICE (日本电子学、信息与通信工程师协会)会员, CCF (中国计算机学会)会员。

    2002 年保送进入上海交通大学电子信息工程系, 2008 年至 2015 年于日本早稻田大学信息生产系统研究院 LSI 系统专业攻读硕士学位,博士学位以及作为博士后研究员期间,师从 IEEE life fellow 后藤敏( Goto Satoshi )教授,一直对视频和图像处理前沿方向进行探索性研究。主要涉及的研究领域包括:神经网络,图像修复,三维多视点虚拟图像合成填补技术,图像立体匹配技术,自然语言处理,多视角的兼容快速编码算法等方面。近年在国外学术期刊和国际高水平学术会议上公开发表学术论文近 50 篇,其中 SCI/ EI 检索 40 余篇,有 40 余篇是中国计算机协会( CCF )推荐的杂志 / 会议论文。并先后承担和参与各类科研项目 30 余项,其中参与和完成日本国家级项目 5 项(日本文部科学省,日本科学技术振兴机构),项目总资金超过 7 亿日元,在研国内国家级项目 3 项,国内省部级项目近 20 项,国家重点实验室开放基金 1 项,厅局级重点项目 1 项。

    image.png

    潘娅:博士 / 副教授,硕士生导师。承担多项部省科研课题,获四川省教学成果三等奖 2 项,多次获学校、学院优秀教师称号。主讲课程:《需求工程》《软件测试技术》等。

    image.png

    贾渊:博士 / 教授。研究方向:图像处理,机器视觉。主持或参与国家 863 、科技部攻关项目多项。主讲课程 : 《离散数学》、《图像分析与理解》等。

    image.png

    刘涌:博士 / 副教授,研究方向:光栅投影三维测量、计算机视觉技术、高分遥感影像解译。四川省高分辨率对地观测数据中心绵阳分中心学术骨干。主讲课程:《医学影像 3D 重建技术》、《面向对象程序设计( Java )》

    image.png

    李郁峰:博士 / 副教授,研究方向 : 图像处理、模式识别硕士生导师,主持或参与包括国家自然科学基金等科研项目十余项,发表学术论文近 40 篇,主讲课程:《软件工程》、《面向对象程序设计 C++ 》等。

    image.png

    陈念年:副教授,研究方向:机器视觉检测。学校优秀教师,学校硕士论文优秀指导教师,主讲课程:《面向对象系统分析与设计》《视觉检测系统与实践》等。

    image.png

    蒋勇:博士 / 副教授。研究方向:多源信息融合、图像分析与理解、机器学习。发表论文 10 余篇,其中 SCI 检索 4 篇。主持、参与科研项目 10 余项。主讲课程 : 《编译原理》

    image.png

    高琳:博士,研究方向:数字图像处理、模式识别和计算机视觉。发表论文近 20 余篇 ( 其中 SCI/EI10 余篇 ) ,获发明 5 项。主讲课程:《离散数学》、《图像处理技术与实践》。

    image.png

    何刚:博士,副教授,学科建设与研究生教育办公室副主任,四川大学生物医学工程博士、计算材料学博士后。研究方向:医用信息处理及仪器研发,包括多传感器数据采集及处理系统设计,医学图像处理算法及软件设计。发表论文 40 余篇 ( 其中 SCI/EI 论文 20 余篇 ) 。主讲课程 : 《医学图像处理》、《 Computer Graphics 》。

    image.png

    江宁:博士研究生,特聘副教授 2008 年至 2015 年于日本早稻田大学信息生产系统研究院 LSI 系统专业攻读硕士学位,博士学位。研究基于 Haar 特征的 BOOST CASCADE 分类器和基于 GLBP 特征的 SVM 分类器的人脸检测,近年发表 SCI/EI 检索学术论文近 10 篇。

    image.png

    陆经纬:博士研究生,特聘教授,相继在浙江大学,香港理工大学,加州大学圣迭戈( UCSD )学习。研究方向 : 电子设计自动化中的芯片布局,时钟树综合以及布线设计和优化。近年在顶级学术会议或杂志上共发表学术论文近 10 篇,曾获得 DAC 国际会议最佳论文提名, ASPDAC 国际会议最佳论文提名。受邀长期担任国际顶级期刊的技术审稿人,包括但不限于, (TCAD) (TODAES) (TVLSI) 以及 Integration the VLSI Journal 等等。

    image.png

    杨程:硕士 / 助理研究员。 CCF (中国计算机学会)会员。 1996-2004 在中国空气动力研究与发展中心参与多个尖端型号的武器系统研制工作。曾获军队级科技进步三等奖 2 项。

    image.png

    唐峻:硕士 / 讲师,毕业于电子科技大学。主要研究方向:图像处理、计算机视觉。主持校级青年预研基金项目 1 项,参研项目 10 余项;发表论文 10 余篇。主要承担《软件项目管理》等课程的教学工作。

    image.png

    许康,硕士 / 讲师, 2007 年毕业于中国科技大学计算机系,现就职于西南科技大学计算机学院。

    image.png

    刘畅:硕士 / 讲师, 2006 年毕业于西安电子科技大学,学习工作以来主要从事图像数字水印、图像处理,图像隐藏与融合技术、以及机器视觉,三维重建,视觉测量方面的研究。

    谢先博:讲师 / 硕士,研究方向:计算机应用技术(机器视觉)

    李从磊:讲师 / 硕士,研究方向:计算机应用技术(机器视觉)

    李绘卓:讲师 / 硕士,研究方向:计算机应用技术(机器视觉)

    巫玲:讲师 / 硕士,研究方向:计算机应用技术(机器视觉)


    3. 科研项目介绍

    3.1 、视觉检测技术实验室

    光学元件表面疵病检测系统(国家自然科学基金项目)

    根据散射光成像原理,采用大小两个视场来获取不同精度的暗背景下的亮疵病图像,研制了数字化表面疵病检测系统,适用于光学元件表面划痕、凹坑、灼伤等疵病的自动检测分类。系统主要由疵病图像采集、图像预处理、疵病自动识别与分类、显微镜的二维自动控制和自动聚焦、检测报告自动生成等功能组成。

    在疵病图像处理中,提出了基于结构元分解与最大最小滤波器的快速光照非均匀性校正算法、能滤除疵病图像噪声时还能较好保持图像原有细节的滤波算法、基于顶点链码与离散格林的几何特征提取统一框架。

    image.png

    光学元件表面疵病检测系统主要技术指标

    image.png

    探测设备高精度瞄准靶丸系统(国家自然科学基金)

    采用双目机器视觉技术,研制了附着于惯性约束核聚变系统公共诊断搭载平台中的探测设备自动瞄准靶丸(直径 0.1mm 0.5mm )原型系统。主要技术指标:

    Ø X Y 方向的指向定位精度为 ±25µm ,复位精度好于 ± 10 µm

    Ø 径向定位精度为 ±250µm ,复位精度好于 ±100µm


    image.png

    公共诊断搭载平台                              标定系统


    大口径组件面形检测系统 ( 中物院激光聚变中心合作项目 )

    大口径组件面形检测系统是集机械、自动控制、光学精密测量和计算机视觉等技术于一体,利用角差法原理研制的精密检测设备。系统主要特色有:

    Ø 在线检测。对在线装校状态下 -45° 45° 范围内任意姿态放置的大口径光学元件进行面形检测,突破了采用 以大测大 高成本检测方法。

    Ø 独特的检测方法。利用移动五棱镜和参考光路等组成的光学测量系统,从原理上克服了因导轨震动、直线度偏差等对高精度测试的影响。

    Ø 光学组件背面反射光斑自动剔除技术。采用机器视觉与模式识别技术,实现了测量过程中光学组件背面反射光斑的自动检测与剔除功能。

    image.png image.png

    运动控制仪器                  面形数据分析与管理系统

    image.png

    多姿态大口径平面光学组件面形检测技术研究

    光栅拼接架自动控制系统 ( 中物院激光聚变中心合作项目 )

    通过 CCD 对光栅近场干涉条纹及远场焦斑图像进行识别,提取光栅拼接误差,对光栅拼接架步进电机进行反馈自动控制,实现光栅的自动拼接及监控。

    image.png

    固体核径迹显微测量系统 ( 四川省教育厅科技基金项目 )

    系统主要由显微图像采集、图像预处理、图像分割、径迹自动识别与计数、显微镜的二维自动控制和自动聚焦、测量报告自动生成等功能模块组成,可准确提取中心坐标、长短轴等 8 种径迹参数,提供参数 - 个数等多种曲线图。

    image.png

    光栅拼接远场光斑分析 光栅拼接远场光斑能量曲线

    image.png

    固体核径迹显微测量系统


    3.2 、多源信息融合实验室

    图像融合算法研究应用平台 ( 中国科集团基础技术研究项目 )

    多源图像融合算法研究平台包含了数十种像素级融合算法和 10 余种融合质量评价指标,使用 C++ 语言在 MFC 框架下开发,对算法参数设置、算法模块集成提供了良好的接口,使用了开放视觉库函数( OpenCV ),不同的融合算法以模块化封装,具有良好的可移植性,在此基础上可快速开发工程应用系统。

    image.png

    融合算法实验平台界面

    TDICCD 多光谱图像融合 ( 中电集团 44 )

    针对 6***TDICCD 全色图像与多光谱图像数据融合需求:

    1 )实现了包括经典融合算法的 10 余种融合算法模块;

    2 )提出了基于多尺度 top-hat 变换的细节增强融合和互调制快速融合两种算法。

    image.png image.png

    互调制快速融合算法的融合结果      多尺度top-hat融合算法的融合结果

    多源视觉信息融合检测 ( 网络融合实验室开放基金项目 )

    在视觉监控系统中使用可见光 - 热红外多模传感器的目的是为了提高运动目标检测与分析的精度和鲁棒性,将数据融合思想引入视频分析和目标检测算法是一种新颖的解决思路。

    image.png image.png

    多模视觉信息融合检测系统框架       热红外与可见光多模视频融合检测框架

    image.png

    热红外与可见光视频融合检测


    微光夜视多源图像染色融合 ( 中国科集团基础技术研究项目 )

    针对红外与可见光图像在夜视微光条件下融合技术及应用展开研究,从增强空间信息和颜色信息两个方面重点研究,开发了染色融合算法研究平台,集成了该研究领域颜色传递、多波段图像染色等主要算法,实现了对多源视频序列的实时染色,在此基础上可快速开发工程应用系统。

    image.png

    夜视图像染色融合研究平台

    image.png

    多尺度与直方图匹配的颜色传递算法流程


    3.3 、视频图像分析与理解实验室

    运动目标检测跟踪算法研究应用平台 ( 四川省教育厅科技基金项目 )

    运动目标检测与跟踪算法研究平台集成了该领域的经典算法和近年最新研究成果。平台基于 OpenCV 开发,算法模块化开发并封装为动态链接库,方便算法对比研究和工程应用集成。

    Ø 提出了一种融合背景减除法的改进混合高斯模型,实现对目标的精确、快速检测。

    Ø 研究复杂场景下的运动目标跟踪方法,提出了一种基于稀疏表达的运动目标跟踪算法,解决遮挡情况下的目标跟踪问题。

    Ø 提出了一种基于关键帧的运动分割方法,解决了在进行后续行为识别前必须假设输入的各个动作是相互独立或者已经分割好的问题,减少了人工参与,增加了算法的实用性和用户与系统之间交互的自然性。

    image.png

    运动目标检测跟踪算法实验平台界面


    运动人体行为分析(网络融合实验室开放基金项目)

    研究单人行为识别,对监控场景中的运动目标进行检测并提取其行为特征,再对待识别的所有类型的行为进行训练,然后结合训练得到的模式分类器,判断当前目标的行为类别。

    Ø 提出了一种基于 MHI 的人体跌倒检测算法。算法简单高效,避免了传统穿戴设备对人活动的影响,成功应用于针对独居老人的日常智能监护系统。

    image.png image.png

    基于 MHI 的人体跌倒检测

    Ø 提出了一种基于归一化 R 变换的分层人体行为识别方法。方法中共分为两层,第一层依据特征将行为划分为多类,第二层对各类行为使用不同的行为描述和识别方法进行识别,实现分而治之。

    image.png

    分层人体行为识别方法

    群体异常行为检测识别(四川省教育厅科技基金项目)

    研究人群异常行为检测,对整个监控场景进行分析理解,提取群体的行为特征,并对群体行为进行建模,通过训练的模式分类器,判断当前群体行为是否异常,并区分出异常类型。

    Ø 提出了基于 KOD 能量特征的群体异常行为识别算法,克服群体行为中遮挡严重、行为多样导致的弱描述性等难题,实现了对群体异常行为的准确检测识别。

    image.png

    基于 KOD 能量模型的群体异常行为识别算法框架

    Ø 提出了基于改进社会力模型和潜在狄利克雷( LDA )模型结合的群体异常检测算法。在群体行为光流特征基础上,计算群体中个体间的交互力,以交互力的时空特征训练 LDA 模型并实现群体中异常行为检测。

    image.png image.png

    改进的社会力行为特征


    4.4 、神经网络与医学影像实验室

    基于神经网络的肌少症自动诊断
    image.png


    基于高压液相的糖化血红蛋白分析仪

    image.png


    细胞全自动培养检测系统

    image.png

    基于生成对抗网络的文字生成图像算法

    image.png

    基于几何原理的多视点虚拟图像生成填补算法

    image.png

    可用于 VR ,自由视点电视,多通道图像的压缩算法

    image.png


    基于双目视觉的景深预测和点云生成技术

    image.png


    基于神经网络的图像分割识别算法

    image.png


    非线性解析性芯片布局算法

    image.png


    基于步态分析的机械外骨骼 (EXO)

    本项目为与香港中文大学联合研发,用于实现多关节下肢外骨骼。可用于下肢康复、辅助行走、负重支撑等功能

    image.png

    基于 DIC 的生物材料应力 / 应变检测

    image.png

    5.5 、软件工程与软件测试实验室


    Ø 坚持教学科研一体化思路,教学与实践结合,出版了《软件测试技术》教材(西安电子科技大学出版社),团队承担的软件测试课程是四川省精品课程。

    Ø 将团队科研项目纳入测试管理流程,在项目研发初期介入,不断改进优化团队项目研发流程。

    Ø 强调实战训练,培养了一批优秀的软件测试本科人才,多名学生获得专业认证资格。

    Ø 与国内外多家企业建立合作关系,侧重于 web 系统和视觉应用系统的测试技术研究,参与国际测试外包项目。

    image.png

    近年软件测试方向获奖情况

    image.png image.png

    参与国际外包测试项目平台 外包项目测试报告样例

    image.png image.png image.png image.png

  •