机器人的pose是指(机器人pounce位)

这篇文章的列表:

1、HB机器人是什么原理？为什么那么多人在做呢2、请问，机器人视觉抓取关键技术有哪些，各有哪些实现方法，有何优缺点3、刚刚接触机器人导航，请问SLAM中的，pose graph优化具体指的是什么4、ABB工业机器人5、虚拟数字人和机器人的区别是什么？6、Abb机器人的POSE和POS变量的区别？

HB机器人的原理是什么？为什么这么多人在做？

HBEAT模拟了一个智能系统，它扩展了人类的智能，并执行人工行为操作。

该系统通过大数据的互联网办理，优化了计算机程序仿真参数的自动化流程。通过对不同数据的分析挖掘，实现数据的精准匹配、完美隐藏对接，实现一套完全干扰大厅模拟控制的系统。

请问机器人视觉抓取的关键技术有哪些，实现方法有哪些，优缺点是什么？

首先要明白，机器人领域的机器视觉和计算机视觉领域的机器视觉是不同的:机器视觉的目的是为机器人提供操作物体的信息。因此，机器视觉的研究大概有这几块:

物体识别:在图像中检测物体的类型，与CV的学习有很大的重叠。

姿态估计:计算物体在摄像机坐标系中的位置和姿态。对于机器人来说，要抓什么东西，不仅要抓什么东西，还要抓它在哪里。

摄像机标定:因为上面我们所做的只是计算物体在摄像机坐标系中的坐标，所以我们还需要确定摄像机和机器人的相对位置和姿态，从而将物体的姿态转换为机器人的姿态。

当然，我主要专注于物体抓取领域的机器视觉；SLAM等领域暂且不谈。

因为视觉是机器人感知的一个非常重要的部分，所以有很多研究。我按照从简单到复杂的顺序介绍一下我所知道的:

0.摄像机标定

这其实是一个比较成熟的领域。因为我们所有的物体识别只是计算物体在摄像机坐标系中的姿态，所以机器人在操作物体时需要知道物体在机器人坐标系中的姿态。因此，我们需要首先校准相机的姿态。内参校准就更不用说了，参考张的论文或者各种校准工具箱；对于外部参数校准，根据摄像机安装位置有两种方式:

眼对手:相机与机器人的极坐标系统固定连接，不随机械臂的运动而运动。

手握眼球:相机固定连接在机械臂上，随着机械臂的移动而移动。解决这个问题的两种方法是相似的。首先是眼对手。

只需在机械臂末端固定一个棋盘，在相机视野内移动几个姿势。因为摄像机可以计算出棋盘相对于摄像机坐标系的位置和姿态，而机器人的运动学正解可以计算出从机器人基座到末端手爪的位置和姿态变化，而末端手爪和棋盘的位置和姿态是相对固定的。这样，我们就可以得到一个坐标系环。

对于手眼的情况，也是类似的。只需要在地上放一个棋盘(与机器人底座固定连接)，然后让机械臂拿着相机拍几个位置，就可以形成一个新的坐标环。

平面目标检测

这是目前工业流水线上最常见的场景。目前该领域对视觉的要求是:快速、准确、稳定。所以一般采用最简单的边缘提取+边缘匹配/形状匹配的方法；而且为了提高稳定性，一般以点亮光源为主，采用对比度大的背景来减少系统变量。

目前很多智能相机(比如康耐视)直接嵌入了这些功能；而且所有物体都放在一个平面上，摄像机只需要计算物体的三自由度姿态。另外，这种办理场景一般是用来处理一个特定的工件，相当于只有姿态估计，没有物体识别。当然，在工业上追求稳定也无可厚非，但是随着生产自动化需求的增加，服务机器人的兴起。更复杂物体的完整位姿估计已经成为机器视觉的研究热点。

2.有纹理的物体

机器人视觉领域首先研究有纹理的物体，比如表面有丰富纹理的饮料瓶、快餐盒等。当然，这些对象仍然可以使用类似于边缘提取+模板匹配的方法。但在实际的机器人操作过程中，环境会更加复杂:光照条件不确定(光照)，物体与摄像机的距离不确定(尺度)，摄像机看物体的角度不确定(突然旋转和仿射)，甚至被其他物体遮挡(遮挡)。

幸运的是，一位名叫Lowe的大神提出了一种叫做SIFT(尺度不变特征变换)的超局部特征点:Lowe，David G .“来自尺度不变关键点的区别性图像特征。”国际计算机视觉杂志60.2 (2004) : 91-110。具体原理可以参考上面的论文或者各种被40000+引用的博客。简单来说，这种方法提取的特征点只与物体表面纹理的某一部分有关，与光照变化、尺度变化、仿射变换和整个物体无关。因此，利用SIFT特征点，我们可以直接在相机图像中找到与数据库中相同的特征点，从而确定相机中的物体是什么(物体识别)。

对于不会变形的物体，特征点在物体坐标系中的位置是固定的。因此，在获得一些点对后，我们可以直接求解摄像机中的物体与数据库中的物体之间的单应矩阵。如果我们使用深度相机(如Kinect)或双目视觉方法，我们可以确定每个特征点的三维位置。然后直接求解这个PnP问题，就可以计算出物体在当前摄像机坐标系下的姿态。

↑下面是之前实验室毕业的一个师兄的成果。当然，在实际操作过程中还有很多细节要使其真正可用，比如:首先利用点云分割和欧氏距离去除背景的影响，选择特征稳定的物体(有时SIFT会发生变化)，用贝叶斯方法加速匹配。而且，除了SIFT，还有很多类似的特征点，比如SURF，ORB等。，后来出来了。

3.没有纹理的物体

嗯，有问题的物体很容易解决，所以生活或行业中还是有很多物体是没有质感的:

我们最容易想到的是:有没有一个特征点可以描述物体的形状，并且具有类似SIFT的不变性？可惜，据我所知，目前还没有这样的特征点。所以过去有一大类方法还是采用基于模板匹配的方法，只是对匹配的特征进行了特殊的选择(不仅仅是边缘等简单的特征)。

这里介绍一个算法线MOD: Hinterstoisser，Stefan，之前在我们实验室使用和复制过。在严重混乱的场景中实时检测无纹理物体的多模态模板计算机视觉(ICCV)，2011年IEEE国际会议。IEEE，2011年。

简而言之，本文利用彩色图像的图像梯度和深度图像的表面法线作为特征来匹配数据库中的模板。因为数据库中的模板是从一个物体的多个视角拍摄后生成的，所以这种匹配得到的物体姿态只能算是一个初步的估计，并不准确。但是，只要有了这个初步估计的物体姿态，就可以通过ICP算法直接将物体模型与三维点云进行匹配，从而得到精确的物体在摄像机坐标系中的姿态。

当然，这个算法的具体实现还有很多细节:如何建立模板，颜色渐变的表示等等。另外，这种方法不能处理物体被遮挡的情况。(当然，通过降低匹配阈值，可以处理部分遮挡，但会造成误识别)。针对部分遮挡，我们实验室的张博士去年对LineMod进行了改进，但由于论文还没有发表，我就先不做过多的覆盖了。

4.深度学习

因为深度学习在计算机视觉领域已经取得了非常好的成果，我们作为机器人自然会尝试在机器人物体识别中使用DL。

首先对于物体识别，这个可以复制DL的研究成果，各种CNN都可以随便拿来用。是否有将深度学习融入机器人领域的尝试？有什么困难？-在知乎的回答中，我提到在2016年的亚马逊抓取大赛中，有很多队伍采用DL作为物体识别算法。但是在这个比赛中，虽然很多人使用DL进行物体识别，但是仍然使用简单或者传统的算法进行物体姿态估计。看来DL并没有被广泛采用。正如@周所说，语义分割网络一般用于分割彩色图像上的物体，然后将一些分割出来的点云与物体的3D模型进行ICP匹配。

当然，也可以用神经网络直接估计姿态，比如这个:Doumanoglou，Andreas，等人“恢复6d物体姿态并预测人群中的次佳视角。”IEEE计算机视觉和模式识别会议录。2016.

它的方法大概是这样的:对于一个物体，取很多小块的RGB-D数据(只关心一个面片，用局部特征处理遮挡)；每个块都有一个坐标(相对于物体坐标系)；然后，首先使用自编码器降低数据的维数；然后，利用降维后的特征训练霍夫森林。

5.与任务/行动规划相结合

这部分也是一个有趣的研究内容。因为机器视觉的目的是为机器人操作物体提供信息，并不局限于摄像机中的物体识别和定位，往往需要与机器人的其他模块相结合。

我们让机器人从冰箱里拿一瓶雪碧，但这瓶雪碧被米琳达挡住了。我们人类的做法是这样的:先把美琳达搬走，再去拿雪碧。所以对于机器人来说，它需要从视觉上确认Sprite在mirinda的后面，同时也需要确定mirinda是可以移开的，而不是冰箱门之类的固定物体。当然，把视觉和机器人结合起来，会产生很多其他有趣的新事物。既然不是自己的研究方向，我就不班门弄斧了。

关于这个在机器人家族里有详细的图文解释。你可以看看，希望对你有用。

[img]

我是机器人导航的新手。SLAM中的姿态图优化到底是什么意思？

视觉导航定位:图像处理量巨大，一般计算机无法完成运算，实时性差；受光线条件限额，在黑暗环境下工作太清晰。

GPS导航定位:在室内环境下，存在定位精度低、可靠性低的问题。

超声波导航定位:由于超声波传感器存在镜面反射、波束角度有限等缺陷，无法全面获取周围环境信息。

线圈导航定位:感应线圈布置在机器人规划的路径上，通过在机器人上安装感应装置进行电磁感应，但这样的机器人只能按照预定的路径行走，更谈不上真正的智能。

SLAM(Simulated Localization and Mapping)技术:在室内环境下，机器人无法利用全球定位系统进行定位，很难甚至不可能事先获得机器人工作环境的地图。SLAM技术能够使机器人在位置不确定的情况下，通过一系列位置，获得每个位置的传感器对环境的感知信息，在完全未知的环境下创建地图，并利用地图进行自主定位和导航。一般SLAM可以分为三个步骤:基于姿态感知的环境特征提取、递归预测更新算法和相应的数据关联技术。

ABB工业机器人

本文的主要研究对象是工件坐标系wobj。Pose表示一个坐标点的姿态，广义上可以看作一个坐标系。Posemulti就是为参与计算的两个位姿找到一个共同的参考坐标系，使不在同一个坐标系的两个坐标点以相同的偏移量向同一个方向运动。

虚拟数字人和机器人有什么区别？

机器人是简单的操作程序；做一个简单的情况判断，然后根据情况做固定操作。

在中国，第一军医大学(现南方医科大学)和第三军医大学自2002年构建第一批中国男女数据集以来，已经完成了8组代表中华民族特征的数据集。

第208届香杉德科学大会决定，我国数字人研究的主要重点将从“数字可视人”转向“数字物理人”和“数字生理人不持码”。

数字人的研究历史:

数字人的研究由美国国家医学图书馆可视人项目于1989年发起，科罗拉多大学于1994-1995年建立了两个数字可视人数据集。

2001年，FAS将人类基因组计划(HGP)、可视人计划(VHP)、虚拟人计划(VHP)和人脑计划(HBP)合并为数字人计划(DHP)。

Abb机器人的POSE和POS变量有什么区别？

ABB机器人比普通的国产和日系机器人方便多了。比如你声明了任何类型的带有PERS前缀的变量，甚至自定义了数据类型变量，就可以永久保存后代数据，保存的数量基本上是无限的。

1.位置类型表示空之间的位置(矢量)。

2.orient表示空之间的方向。

3.姿势类型表示坐标系(位置/方向组合)。

主要研究对象是wobj工件坐标系。Pose表示坐标点的姿态，pos表示空之间的坐标位置。