三维视觉、SLAM方向全球顶尖实验室汇总

本文做者 任旭倩,公众号:计算机视觉life,编辑成员php

欧洲

英国伦敦大学帝国理工学院 Dyson 机器人实验室

http://www.imperial.ac.uk/dyson-robotics-labhtml

简介:git

伦敦帝国理工学院戴森机器人实验室成立于2014年,由Andrew Davison.教授领导。是戴森公司和帝国理工学院领导机器人视觉小组Andrew Davison教授的合做实验室,Andrew Davison是视觉SLAM领域的先驱,戴森提供大量的资金和支持,以创建一个机器人专家团队,他们合做产品包括Dyson 360 eye™vaccum清洁机器人。该实验室的重点是开发计算机视觉程序,使机器人可以超越受控环境,成功地导航并与现实世界互动。github

实验室主要成就(http://www.imperial.ac.uk/dyson-robotics-lab/projects/):web

ElasticFusion算法

一个实时的稠密的视觉SLAM系统,能够利用RGB-D相机来对房间进行全局一致的三维稠密重建。编程

代码地址:https://bitbucket.org/dysonroboticslab/elasticfusionpublic/src/master/网络

1560072844162.png

CodeSLAMapp

一种生成室内场景轨迹的大规模照片级真实渲染的系统。框架

1560072443727.png

SceneNet RGB-D

一种生成室内场景轨迹的大规模照片级真实渲染的系统。

代码地址:https://bitbucket.org/dysonroboticslab/scenenetrgb-d/src/master/

数据集地址:https://robotvault.bitbucket.io/scenenet-rgbd.html

1560073201935

SemanticFusion

一种实时可视SLAM系统,可以使用卷积神经网络在语义上注释密集的3D场景。

代码地址:https://bitbucket.org/dysonroboticslab/semanticfusion/src/master/

1560073424912


英国牛津大学Active Vision Laboratory

http://www.robots.ox.ac.uk/ActiveVision/index.html

简介:Active Vision实验室主攻计算视觉,特别是传统和深度图像的3D场景重建。实验室致力于定位和建图,可穿戴和辅助计算,语义视觉,加强现实,人体运动分析和导航的应用程序。

实验室主要成果(http://www.robots.ox.ac.uk/ActiveVision/Research/index.html)

使用3D物体形状Priors进行密集重建

PTAM

(并行跟踪和建图)用于加强现实的相机跟踪系统

源码地址:https://github.com/Oxford-PTAM/PTAM-GPL

1560089307113


英国牛津大学 Torr Vision Group

http://www.robots.ox.ac.uk/~tvg/

简介:牛津大学工程科学系Torr Vision Group(前身为布鲁克斯视觉集团,牛津布鲁克斯大学)成立于2005年,后来于2013年移居牛津大学,由Philip Torr教授领导。它包括大约20-25人。该小组的目的是参与最早进的计算机视觉和人工智能数学理论研究,但要保持数学研究与社会需求相关。该小组的一个特别重点是用移动相机进行实时重建环境,例如无人机,智能眼镜或其余机器人。

实验室主要成果(http://www.robots.ox.ac.uk/~tvg/projects.php)

交互式实时3D场景分割的框架

建立了一个只需使用廉价的硬件,就能够在半小时内捕获并重建整个房屋或实验室的建图系统。

源码地址:https://github.com/torrvision/spaint/tree/collaborative

1560162825641


基于立体视觉的城市三维语义建模

能够生成具备相关语义标记的高效且准确的密集三维重建地图。

1560163026017


苏黎世联邦理工学院的Autonomous System Lab

http://www.asl.ethz.ch/

简介:

由Roland Siegwart教授领导,Autonomous System Lab于1996年在洛桑联邦理工学院成立,它是机器人和智能系统研究所(IRIS)的一部分

实验室旨在创造可以在复杂多样的环境中自主运行的机器人和智能系统。设计机电和控制系统,使机器人能够自主适应不一样的状况,并应对不肯定和动态的平常环境。机器人能够在地面,空中和水中运动,同时具有在复杂环境下自主导航的功能,研究出了包括用于感知,抽象,建图和路径规划的方法和工具。他们还在tango项目上与谷歌合做,负责视觉惯导的里程计,基于视觉的定位和深度重建算法。

实验室主要成就:(https://asl.ethz.ch/publications-and-sources/open-source-software.html)

libpointmatcher

libpointmatcher是一个模块化库,它实现了迭代最近点(ICP)算法,用于配准点云。

代码地址:https://github.com/ethz-asl/libpointmatcher

1560074706854

libnabo

用于低维空间的快速K最近邻库

代码地址:https://github.com/ethz-asl/libnabo

ethzasl_sensor_fusion

基于EKF的时延补偿单传感器和多传感器融合框架

代码地址:https://github.com/ethz-asl/ethzasl_sensor_fusion

1560074518534

ethzasl_ptam

用于单目SLAM的框架PTAM

代码地址:https://github.com/ethz-asl/ethzasl_ptam

1560074913412


苏黎世Robotics and Perception Group

http://rpg.ifi.uzh.ch/

简介:该实验室由Davide Scaramuzza教授领导,成立于2012年2月,是苏黎世大学信息学系和神经信息学研究所的一部分,该研究所是苏黎世大学和苏黎世联邦理工学院的联合研究所。实验室开发智能机器人,只使用车载摄像头便可自行导航,而无需依赖外部基础设施,如GPS或动做捕捉系统。 研究包括地面和微型飞行机器人,以及由这二者组合而成的多机器人异构系统。

实验室主要成果(http://rpg.ifi.uzh.ch/software_datasets.html)

视觉(惯性)里程计轨迹定量评估方法

经过视觉( 惯性)里程计(VO / VIO)定量评估估计轨迹的质量

源码地址:https://github.com/uzh-rpg/rpg_trajectory_evaluation

1560157882807

基于高效数据的分布式视觉SLAM

该算法可实现使用便宜,轻便和多功能的相机进行分布式通讯多机器人建图

源码地址:https://github.com/uzh-rpg/dslam_open

1560158542705


慕尼黑工业大学的The Computer Vision Group

https://vision.in.tum.de/research

简介:主要研究算机视觉,图像处理和模式识别等一系列方向,即基于图像的3D重建,光流估计,机器人视觉,视觉SLAM等。

实验室主要成果(https://vision.in.tum.de/research)

dvo_slam

提供了来自连续图像的RGB-D相机的刚体运动估计的实现方案。

代码地址:https://github.com/tum-vision/dvo_slam

1560077373792

LSD-SLAM: Large-Scale Direct Monocular SLAM

一种直接单目SLAM建图技术

代码地址:https://github.com/tum-vision/lsd_slam

1560077301813

DSO: Direct Sparse Odometry

DSO是一种用于视觉里程计的新的直接稀疏建图方法。

代码地址:https://github.com/JakobEngel/dso

1560077617256

Basalt: Visual-Inertial Mapping with Non-Linear Factor Recovery:

使用非线性因子恢复法从视觉 - 惯性里程计提取信息来进行视觉 - 惯性建图。

代码地址:https://gitlab.com/VladyslavUsenko/basalt

1560078172895


德国弗莱堡大学Autonomous Intelligent Systems

http://ais.informatik.uni-freiburg.de/index_en.php

简介:研究主要集中在自主移动机器人,即可以在其环境中自主移动并完成不一样任务,如多机器人导航和协做,环境建模和状态估计。

实验室主要成果(http://ais.informatik.uni-freiburg.de/projects/index_en.php)

GMapping:

Gmapping是基于Bpf粒子滤波算法的滤波SLAM框架。

源码地址:https://github.com/OpenSLAM-org/openslam_gmapping

1560095295244

RGBD SLAM2

是一个很是全面优秀的系统,将SLAM领域的图像特征、优化、闭环检测、点云、octomap等技术融为一体,很是适合RGBD SLAM初学者,也能够在其基础上继续开发

源码地址:https://github.com/felixendres/rgbdslam_v2

1560160825684


西班牙萨拉戈萨大学RoPeRT机器人,感知和实时组SLAM实验室

http://robots.unizar.es/slamlab/

简介:由JuanD.Tardós教授带领,研究同时定位和建图(SLAM)、Visual SLAM:单目,双目,RGB-D
语义SLAM,SLAM与对象、非刚性SLAM等方向,主要应用在机器人,加强现实,医学等。

实验室主要成果(http://robots.unizar.es/slamlab/?extra=1)

大规模环境中协同传感器的主动SLAM(nSPLAM)

该项目的目标是扩展SLAM算法在关键开放问题中的数学理解,加强实用性和适用性,包括大规模(高达数公里)/长期(数天,数周的操做)建图,主动SLAM(不肯定性下的规划和探索),全局一致的传感器协做/多车辆SLAM和高级地图表示。

[外链图片转存失败(img-tNzL7Ta0-1562161442212)(http://robots.unizar.es/wp/wp-content/uploads/projects/nsplam_project.jpg)]

刚性和非刚性场景的语义可视化建图(SVMap)

提出了一个基于对象的实时SLAM系统,设计单目SLAM算法利用对象刚度约束来改进地图并找到其真实尺度。

1560155058186


美洲

明尼苏达大学的Multiple Autonomous Robotic Systems Laboratory(MARS)

http://mars.cs.umn.edu/

简介:多自主机器人系统(MARS)实验室的目标是促进机器人和计算机视觉的基础研究和教育,特别强调自主地面,航空和太空探索车辆的估算和控制。研究内容是资源意识估计和控制,包括:

  • 视觉/激光辅助惯性导航系统(VINS,RGBD-INS,LINS)
  • 手机和可穿戴计算机上的大规模3D定位和建图
  • 多机器人/传感器定位,建图和导航
  • 可重构传感器网络的主动传感
  • 最佳信息选择和融合
  • 移动操做
  • 人机协做

实验室主要成果(http://mars.cs.umn.edu/research.php#research platforms)

使用滚动快门相机的视觉惯性导航系统(VINS):

提出了一种高精度VINS,它明确考虑并解释了IMU相机系统的滚动快门和时间同步问题

1560075816973

协做建图

当用户的起始姿式之间的转换未知时,使用多个用户在不一样时间收集的数据集来解决协做建图(CM)的问题

1560076007717

使用移动设备进行高精度,增量3D室内定位和建图

使用来自商业级低成本传感器的视觉和惯性数据,为资源受限的移动设备(例如手机和平板电脑)提供增量批量最小二乘(IBLS)定位和建图算法

1560076127759

半稠密地图

该项目的目标是生成区域的半稠密3D地图,正如先前的稀疏视觉 - 惯性批量最小二乘(BLS)协同建图(CM)算法的相机姿态估计所给出的效果。

1560076317535.png


卡内基梅隆大学Robot Perception Lab

http://rpl.ri.cmu.edu/

简介:机器人感知实验室进行与自主移动机器人的定位,建图和状态估计相关的研究。该实验室由Michael Kaess教授于2014年创立。该实验室是卡内基梅隆大学机器人研究所一部分在,并同时属于Field Robotics Center和Computer Vision Group。

实验室主要研究成果(http://rpl.ri.cmu.edu/research/)

isam

增量平滑和建图(iSAM),这是一种基于快速增量矩阵分解的同时定位和建图问题方法,经过更新天然稀疏平滑信息矩阵的QR分解来实现。

源码地址:https://github.com/ori-drs/isam

1560099431509

Articulated Robot Motion for Simultaneous Localization and Mapping (ARM-SLAM)

当机器人的关节角度不肯定时,能够同时估计机器人的关节角度,并重建场景的稠密地图。

1560100370548


斯坦福大学人工智能实验室自动驾驶团队

http://driving.stanford.edu/

简介:实验室致力于开发在不可预测的城市环境中自动驾驶的新算法和技术。在DARPA大挑战和DARPA城市挑战中取得成功以来,实验室一直在为自动驾驶中的重要问题建立和测试各类AI解决方案。利用机器学习,计算机视觉,几率传感器融合和优化等技术,研究人员正在积极寻求语义场景理解,对象分割和跟踪,传感器校准,定位,车辆控制和路径规划方面的改进。

实验室主要成果(http://driving.stanford.edu/papers.html)

使用几率图的城市环境中的鲁棒车辆定位

将环境建模为几率网格来扩展之前使用GPS,IMU和LIDAR数据进行定位的工做,实现更高精度,能够随着时间变化学习和改进地图,以及对环境变化和动态障碍的稳健性。

1560159814313


麻省理工大学计算机科学与人工智能实验室(CSAIL)海洋机器人组

https://marinerobotics.mit.edu/

简介:团队由John Leonard教授带领,研究海洋机器人解决水下环境中定位和建图问题,还在基于仅使用摄像头(有时是IMU)在室内环境中以及户外无人驾驶汽车等应用中执行Visual SLAM的工做。

实验室主要成果(https://marinerobotics.mit.edu/research)

Kintinuous

Kintinuous解决了KinectFusion仅能对有限尺度的区域进行稠密建图的限制,容许在数百米的范围内绘制地图。

源码地址:https://github.com/mp3guy/Kintinuous

1560141789194


宾夕法尼亚大学机械工程与应用力学系Vijay Kumar实验室

https://www.kumarrobotics.org/

Kumar组致力于建立自动地面和空中机器人,为集体行为和机器人群体设计生物启发算法等。

实验室主要成果(https://www.kumarrobotics.org/past-projects/)

用于远程自主探测和测绘的空中机器人

经过现场实验探索在地震破坏的环境中利用自主四旋翼飞行器进行地面和空中机器人的协同建图。

1560154880594


华盛顿大学UW Robotics and State Estimation Lab

http://rse-lab.cs.washington.edu/

简介:RSE-Lab成立于2001年,关注机器人和识别中的问题,开发了丰富而高效的移动机器人导航,地图构建,协做和操做中的感知和控制技术,还研究状态估计和机器学习方法,用于对象识别和跟踪,人体机器人交互和人类活动识别等领域。

实验室主要成果(http://rse-lab.cs.washington.edu/projects/)

Semantic Mapping

该项目的目标是生成根据对象和位置描述环境的模型。 这些表示包含比传统地图更有用的信息,并使机器人可以以更天然的方式与人类进行交互。

1560159613164

Active Mapping

经过添加机器人来改进任何几何和语义场景重建技术:机器人能够选择如何使用其传感器来获取新信息。 在主动视觉的状况下,机器人能够移动相机以观察物体的全部侧面。 使用主动视觉来完成地图建立和对象分割问题。

1560159753992


哥伦比亚大学计算机视觉与机器人组

https://vision.cs.ubc.ca/

简介:这是世界上最具影响力的视觉和机器人团体之一。这个小组创造了RoboCup和著名的的SIFT。这一组的学生赢得了大部分AAAI语义机器人挑战赛。该小组有四名在职教师:Jim Little,Alan Mackworth,Ian Mitchell和Leonid Sigal。

实验室主要成果(https://vision.cs.ubc.ca/publications/)

FLANN:

FLANN是用于在高维空间中执行快速近似最近邻搜索的库。它包含一系列咱们发现最适合最近邻搜索的算法,以及一个根据数据集自动选择最佳算法和最佳参数的系统。

源码地址:https://www.cs.ubc.ca/research/flann/uploads/FLANN/flann-1.8.4-src.zip

1560164269060

SIFT:

SIFT(尺度不变特征变换)将图像的每一个局部片断转换为独立于图像比例和方向的坐标。局部不变特征容许咱们在任意旋转,缩放,亮度和对比度的变化以及其余变换下有效地匹配杂乱图像的小部分。将图像分红许多不一样大小的小重叠片断,而后单独匹配每一个部分,并检查匹配的一致性。

源码地址:https://github.com/robwhess/opensift

1560164440725


加拿大谢布鲁克大学IntRoLab(智能/互动/综合/跨学科机器人实验室)

https://introlab.3it.usherbrooke.ca/mediawiki-introlab/index.php/Main_Page

简介:IntRoLab是一个研究实验室,致力于研究,开发,集成和使用机电一体化和人工智能方法,设计自动和智能系统。研究活动涉及移动机器人,嵌入式系统和自主代理的软件和硬件设计以及现场评估,旨在克服与在现实生活中使用机器人和智能系统以改善生活质量相关的挑战,而且还研究如何使机器变得智能。应用领域包括服务机器人,全地形机器人,交互式机器人,辅助机器人,远程医疗机器人,汽车和手术机器人。

实验室主要成果(https://introlab.3it.usherbrooke.ca/mediawiki-introlab/index.php/Projects)

RTAB-Map

RTAB Map是RGBD SLAM的改进,减小了图优化和闭环检测中须要用到的结点数,保证明时性以及闭环检测的准确性,可以在超大场景中运行。

源码地址:https://github.com/introlab/rtabmap

1560139866565


亚洲

香港科技大学的Aerial Robotics Group

http://uav.ust.hk/

简介:开发基础技术,使航空机器人(或无人机,无人机等)可以在复杂环境中自主运行。研究涵盖了整个航空机器人系统,重点关注状态估计,绘图,轨迹规划,多机器人协调以及使用低成本传感和计算组件的测试平台开发。实验室主要成果(http://uav.ust.hk/publications/)

VINS-Mono

一种鲁棒且通用的实时单目视觉惯性状态估计框架。

1560079640254

VINS-Fusion

VINS-Fusion是一种基于优化的多传感器状态框架,可实现自主应用(无人机,汽车和AR / VR)的精确自定位。VINS-Fusion是VINS-Mono的扩展,支持多种视觉惯性传感器类型(单声道摄像机+ IMU,立体摄像机+ IMU,甚至仅限立体声摄像机)。

代码地址:https://github.com/HKUST-Aerial-Robotics/VINS-Fusion

1560078702786.png


浙江大学CAD&CG国家重点实验室的CVG(Computer Vision Group)

http://www.zjucvg.net/

简介:CVG的主要研究兴趣集中在运动结构,SLAM,3D重建,加强现实,视频分割和编辑。

实验室主要成果(http://www.zjucvg.net/publication.html#)

RKSLAM

用于AR的基于关键帧的鲁棒单目SLAM系统

1560079817696

LS-ACTS:

大型自动相机跟踪系统,能够处理大型视频/序列数据集

源码地址:https://github.com/zju3dv/ENFT https://github.com/zju3dv/SegmentBA https://github.com/zju3dv/ENFT-SfM

1560080119497

ACTS:自动相机跟踪系统

能够从视频和电影序列中恢复摄像机运动和3D场景结构,提供自动跟踪的便利性。它能够高效稳定地跟踪各类摄像机运动,能够旋转或自由移动。它是许多其余计算机视觉任务的基础。

1560080413875

RDSLAM

是一个实时同步定位和建图系统,它容许场景的一部分是动态的或整个场景逐渐变化。与PTAM相比,RDSLAM不只能够在动态环境中稳健地工做,并且还能够处理更大规模的场景(重建的3D点的数量能够是数万个)。

1560080685371


清华大学自动化系宽带网络与数字媒体实验室BBNC

http://media.au.tsinghua.edu.cn/index/index/index

简介:实验室始建于2001年4月,瞄准计算摄像、脑科学与人工智能国际前沿,围绕国家重大需求,开展基础理论 与关键技术的研究。实验室现有教授3人,副教授4人,助理副教授2人,工程师3人,博士后5人,在读研究生3 0余人。实验室在国家重大仪器专项与重点项目等天然科学基金、“973”计划、“863”计划、以及省部级产学研等项 目支持下,在流媒体、立体视频、飞行器可视导航、计算摄像学、脑科学观测等方面的基础理论与关键技术上取 得突破,发表期刊与会议论文200余篇(SCI收录115篇),本领域著名国际会议ICCP、SIGGRAPH、CVPR、ICCV 等27篇以及本领域IEEE TSP、TPAMI、TCSVT、TIP、IEEE TNNLS、IEEE TVCG、IJCV、Scientific Repo rts、OSA OL等国际权威期刊上发表论文86篇(3篇IEEE亮点文章);获受权国内外发明专利145项。2006年 创建广东省教育部产学研结合立体视频研发基地、2013获建北京市多维多尺度计算摄像重点实验室;2008年获 得国家科学技术发明二等奖,2012年得到国家科学技术发明一等奖,2016年得到国家科技进步奖二等奖。研究方向有人工智能、生物智能、计算成像。

实验室主要成果(http://media.au.tsinghua.edu.cn/index/resear/projects

人脸三维动态重建:

当今大规模的面部动做仍远未生动地表达人类的面部表情,为了克服这些缺点,该项目专一于重建面部细节运动,实现了采用RGBD相机的实时3D眼神图表现重建等功能。

1560418882883

人体动做捕捉

数十年来,人体运动捕捉一直是计算机视觉和计算机图形学中具备挑战性的研究课题。系统长期追求快速,低成本,易于设置和有前途的推广系统。该项目支持手持设备的动态捕捉,无标记动态捕捉,经过双重融合实时捕捉等。

1560419503923


中科院自动化研究所国家模式识别实验室Robot Vision Group

http://vision.ia.ac.cn/

简介:Robot Vision Group是中国科学院自动化研究所(CASIA)国家模式识别实验室(NLPR)的一部分。该小组拥有8名教职员工和20多名博士生。学生们。该小组的主要研究活动集中在3D计算机视觉,包括摄像机校准和3D重建,姿式估计,基于视觉的机器人导航和视觉服务等。该小组主要由国家天然科学基金,国家863计划,国家973计划和中国科学院资助。除基础研究外,该小组还与国家文物局,国家远程遥感中心,国家天文台,诺基亚研究中心等合做开展视觉应用。

实验室主要成果(http://vision.ia.ac.cn/zh/applications/index.html

中国古代建筑三维重建

选取中国古代建筑为载体,对海量无序图像数据的大场景三维重建进行系统研究,经过基于图像的高精度三维重建技术获取古建筑物数字化三维模型,达到对这些珍贵的天然文化遗产进行数字化保护的目的。

1560418552760

基于航拍图像的三维地形生成

经过航拍图像自动获取地形三维结构是计算机视觉在对地观测领域的重要应用,其成果对于抗震救灾、城市规划、3D地图导航等领域有着重要意义。在地形生成过程当中,该系统自动计算稠密的高精度三维空间点云,能够替代传统的数字高程模型(DEM)。与传统方法相比,本系统不须要地面控制点,也不须要飞行姿态信息。

1560419657097

手机上的加强现实

加强现实(Augmented Reality)技术经过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。加强现实借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象,并经过传感技术将虚拟对象准确“放置”在真实环境中,借助显示设备将虚拟对象与真实环境融为一体,并呈现给使用者一个感官效果然实的新环境。

1560419738922


澳洲

澳大利亚悉尼科技大学CAS实验室

https://www.uts.edu.au/research-and-teaching/our-research/centre-autonomous-systems

简介:悉尼科技大学自动系统中心(CAS)是一个享誉国际的机器人研究小组。专一于机器人研究,为政府,行业和更普遍的社区创造积极的变化。从2003年到2010年,CAS成为ARC自主系统卓越中心的一部分,该中心是世界上最大的机器人研究小组之一。自2010年以来,CAS一直在悉尼科技大学做为独立研究中心。研究方向主要在现场机器人技术,研究非结构化环境中智能机器的传感,感知和控制,以人为中心的机器人技术,或可以支持人类承担各类任务的机器人。

实验室主要成果(https://web-tools.uts.edu.au/projects/search.cfm?UnitId=672)

一种生物启发的攀爬机器人,用于清洁和绘制悉尼海港大桥拱门内表面

自2010年以来,悉尼科技大学和新南威尔士州的道路与海事服务(RMS)一直致力于研究和开发用于钢桥检测和状态评估的生物学攀登机器人。 该项目目的是开发一种可实际部署的自主攀爬机器人,用于悉尼海港大桥拱形结构内的清洁和喷漆。

一种智能水下结构维修机器人系统

由ARC Linkage项目资助,悉尼科技大学和新南威尔士州的道路和海事服务(RMS)正在开发一种用于水下桥桩检查和维护的机器人解决方案。该项目旨在促进咱们对自主机器人如何清洁和检查水下结构构件的理解,并开发可以开发此类机器人系统的突破性方法。在近地表和潮汐环境中使用机器人系统进行检查和维护具备挑战性。桥桩等结构的形状和大小各不相同,一般包含在海洋生长中,这会使桩的几何形状变得模糊,并干扰条件评估。所以,机器人在低能见度和复杂水流条件下运行的能力相当重要。


澳大利亚机器学习研究所机器人视觉中心

https://ecms.adelaide.edu.au/research-impact/computer-vision-and-robotics

计算机视觉和机器人小组由Peter Corke教授(QUT),副主任Ian Reid教授(阿德莱德)和首席调查员Tom Drummond教授(蒙纳士)和Robert Mahony教授(ANU)领导,致力于开发和应用基本的计算机视觉和机器人算法。这包括深度学习,生成模型,对抗性学习,记忆网络和元学习。主要研究深度学习在语义图像理解同步定位和建图(SLAM)和3D场景重建、视频理解问答、医学影像等领域的应用。

实验室主要成果(https://resources.rvhub.org/)

适用于微创整形外科手术的基于视觉SLAM的机器人数据集

该项目旨在开发一种基于视觉的机器人手术助手,用于微创整形外科手术。该系统将由机器人手臂组成,其中附有用于关节内导航的相机 - 关节镜束。该系统将可以a)在人体关节内稳健可靠地定位器械; b)从关节内图像生成密集且准确的膝关节三维重建模型; c)半自动导航相机(经过视觉伺服)跟随外科医生的工具。

数据集地址:https://data.researchdatafinder.qut.edu.au/dataset/robotic-arthroscopy

1560161605795

推荐阅读

如何从零开始系统化学习视觉SLAM?
从零开始一块儿学习SLAM | 为何要学SLAM?
从零开始一块儿学习SLAM | 学习SLAM到底须要学什么?
从零开始一块儿学习SLAM | SLAM有什么用?
从零开始一块儿学习SLAM | C++新特性要不要学?
从零开始一块儿学习SLAM | 为何要用齐次坐标?
从零开始一块儿学习SLAM | 三维空间刚体的旋转
从零开始一块儿学习SLAM | 为啥须要李群与李代数?
从零开始一块儿学习SLAM | 相机成像模型
从零开始一块儿学习SLAM | 不推公式,如何真正理解对极约束?
从零开始一块儿学习SLAM | 神奇的单应矩阵
从零开始一块儿学习SLAM | 你好,点云
从零开始一块儿学习SLAM | 给点云加个滤网
从零开始一块儿学习SLAM | 点云平滑法线估计
从零开始一块儿学习SLAM | 点云到网格的进化
从零开始一块儿学习SLAM | 理解图优化,一步步带你看懂g2o代码
从零开始一块儿学习SLAM | 掌握g2o顶点编程套路
从零开始一块儿学习SLAM | 掌握g2o边的代码套路
零基础小白,如何入门计算机视觉?
SLAM领域牛人、牛实验室、牛研究成果梳理
我用MATLAB撸了一个2D LiDAR SLAM
可视化理解四元数,愿你再也不掉头发
最近一年语义SLAM有哪些表明性工做?
视觉SLAM技术综述
汇总 | VIO、激光SLAM相关论文分类集锦
研究SLAM,对编程的要求有多高?
2018年SLAM、三维视觉方向求职经验分享
深度学习遇到SLAM | 如何评价基于深度学习的DeepVO,VINet,VidLoc?
视觉SLAM关键方法总结
SLAM方向公众号、知乎、博客上有哪些大V能够关注?