逆运动学和强化学习技术是解决同一问题的竞争技术。机器人操纵器或手臂的运动?

浏览维基百科的文章,似乎逆运动学似乎试图实现一种解决方案,而不是试图优化问题的强化学习。我有误会什么吗?

#1 楼

根据我对您问题的了解,您想知道逆运动学和强化学习是否正在尝试解决机器人操纵的特殊情况下的相同问题。当然,这两种技术都可以在此特定领域之外应用,但现在让我们集中讨论机器人操纵。

您是对的,反向运动学正在尝试寻找解决方案,尽管可以一整套解决方案。您想将操纵器的末端执行器摆在特定位置,并且必须找出手臂其余部分的状态才能执行将实现目标的动作。

强化学习也在尝试找到问题的解决方案,并且正在尝试针对成本函数优化其解决方案。例如,想象一下,只有极少的运动会使末端执行器处于所需的位置(例如,通过花费一定的成本来致动每个机械手的关节,您可以学习实现动力目标的最佳方法)

您可以使用逆运动学来找到问题的解决方案族,并通过强化学习来搜索该空间并找到最佳解决方案,而不是考虑彼此之间的技术冲突。关于您选择的某些成本/奖励标准。

如果您打算选择一种技术而不是另一种技术,则可以通过将强化学习问题作为一种优化来解决,该优化可以奖励您多快的速度达到末端执行器的目标状态,您仍然可以找到解决方案。但是,您有可能希望使用操纵器的运动学概念来告知您如何搜索其运动空间。

#2 楼

如果您考虑逆向运动学告诉您如何选择机械臂的关节角度,以将机械臂移动到所需的某个位置和方向。

与确定某种机制的正向运动学相反,确定它的逆运动学通常很困难,有时甚至没有解析解。然而,工业机器人通常以这样的方式设计:它们具有逆运动学的解析解决方案。这可以通过例如关节轴的巧妙对准。

另一方面,强化学习是一种机器学习技术。像任何其他机器学习技术或算法一样,它可以用于确定您不知道的功能-假设您选择了与要解决的问题相关的良好奖励功能。

因此,简而言之:您可以使用强化学习来确定机器人的逆运动学(如果没有分析解决方案,或者确定一个解决方案会非常困难)。

评论


$ \ begingroup $
阅读答案会给人留下深刻的印象,那就是RL比标准IK更可取:那肯定不是事实。 RL产生非常缓慢的收敛并产生不准确的结果,而IK依赖于非线性优化技术则快速而强大,并在工业领域(例如研究领域)中使用。然后,为了补偿IK使用的机械手CAD模型中的不确定性(我们在研究中不是在工业环境中这样做),我们倾向于依赖于不同的ML方法而不是RL(例如SVM,GP ...)。
$ \ endgroup $
– Ugo Pattacini
15年1月24日在8:20