请选择 进入手机版 | 继续访问电脑版
搜索
房产
装修
汽车
婚嫁
健康
理财
旅游
美食
跳蚤
二手房
租房
招聘
二手车
教育
茶座
我要买房
买东西
装修家居
交友
职场
生活
网购
亲子
情感
龙城车友
找美食
谈婚论嫁
美女
兴趣
八卦
宠物
手机

正月无初一打一字 SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接) 少女派别动漫

[复制链接]
查看: 623|回复: 0

301

主题

1370

帖子

2094

积分

等待验证会员

积分
2094
发表于 2019-6-11 14:21 | 显示全部楼层 |阅读模式
这是写在帖子头部的内容
计较机范畴范围最大、介入人数最多的顶级会议 SIGGRAPH 2019 将在今夏炽热举行。北京大学陈宝权课题组与北京电影学院和山东大学合作共有 3 篇论文获得接收,还有一篇 ACM Transaction on Graphics 录用论文,共 4 篇论文将在 SIGGRAPH 上宣读。本篇为其中的一篇:《Learning Character-Agnostic Motion for Motion Retargeting in 2D》的解读。其他论文解读,敬请关注后续报道。


SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142146hwp4ooo2jmgcum2e


该论文由北京大学 2016 级图灵班大三门生吴润迪与北京电影学院 Kfir Aberman 合作,由北京大学前沿计较中心履行主任陈宝权教授和以色列希伯来大学 Dani Lischinski 教授、特拉维夫大学 Daniel Cohen-Or 教授配合指导。双盲评审中,5 位评审人有 3 位给出最高分 strong accept!


简介


人体行动迁移(motion retargeting),行将一小我的行动迁移到另一小我身上,对于计较灵活画范畴有侧重要意义。分歧的人有着分歧的骨架比例,若何在连结其本身骨架的同时嫁接上他人的行动是这一题目标难点地点。虽然人是在三维空间中活动,但大量的人体行动都是经过 2D 的视频收集的。那末传统的 3D 行动迁移的方式利用到 2D 视频中时,就首先需要 2D 到 3D 的人体姿势和相机参数的估量。是以,我们提出了一种新的、针对视频播捉的 2D 人体行动的迁移方式,避免了 3D 人体姿势估量和相机参数规复的进程。


SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142146wa3zxxnn2bbdd5iy
Overview

方式概述
为了实现我们的方针,我们希望从视频中进修到一个与人体骨架(skeleton)和相机位姿(camera view)无关的高层的行动特征暗示。方式的焦点思惟在于经过练习一个神经收集,将 2D 人体姿势序列分化成三个高层特征,别离暗示人体行动、人体骨架和相机视角。特征分化以后,再重新组合,经过一个 decoder 解码成方针的 2D 人体姿势序列。

SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142146ymfqia1q33rqr7a4
Representation

SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142147vxvek707z8k127ua
Decompose and Recompose

为简化描写,将人体骨架和相机位姿视为静态特征。练习时,每次取两个数据样本 p_(i,j), p_(k,l),别离输入给两个 encoder,获得各自的行动特征 (m_i, m_k) 和静态特征 (s_j, s_l)。然后双方交换行动特征和静态特征,重新组合后再输入给 decoder,获得猜测的迁移成果 (p_(i,l), p_(k,j)),再与 ground truth 做 l2 loss。别的,练习进程中也在特征空间上加 triplet loss 用于行动特征和静态特征更好的分手,公式详见论文。Ground truth 是经过 Adobe Mixamo 3D 动画集投影到 2D 构建的。

SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142147zy355d81y2kyko15
Training Procedure

成果分析
经过聚类分析的方式,我们考证了所描写的框架起到了特征分手的结果,在三个特征空间上有着较好的聚类结构。利用我们的方式,可以从人体骨架和相机位姿两个角度停止行动迁移。

SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142148g6fuct6hphps5rvw
Skeleton Retargeting

SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142149pluiavqduxvyjgaj
View Angle Retargeting

我们将成果与简单的 2D 方式和先前的 3D 方式停止了比力,包括间接在 Mixamo 数据集与 ground truth 的对照和在实在视频上的全部迁移流程的对照。在实在视频的对照上,我们采用 OpenPose 来提取 2D 的人体姿势,用于比力的算法采用 HMR/VNect 3D 人体姿势估量。


SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142149pxkyzyx4s729z4fy
Comparison on Mixamo Dataset



SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142150ftsqsie99lcziyic
Comparison on Real Videos

利用
有了骨架上的行动迁移以后,我们可以基于此做图像天生,这就是 performance cloning。之前的 performance cloning 方式大多利用简单的 global scaling 做骨架转换大概需要 3D 的先验常识,是以限制了其利用范围,而我们的方式不受此约束且可以发生加倍公道的成果。


SIGGRAPH | 2D人体行动迁移与特征分化(附论文及代码链接)

SIGGRAPH | 2D人体动作迁移与特征分解(附论文及代码链接)  游戏资讯 142150rz9g9gan9g09ovaq
Performance Cloning

会商
我们提出了一种分析视频捕捉行动的技术,可以间接在 2D 下做行动迁移,显式地绕开了 2D 到 3D 的姿势/相机估量进程。作为模子练习的副产物,特征隐空间显现出一定的聚类结构。虽然如此,行动特征和静态特征的分手尚未完全,行动特征空间仍然包括部分静态特征的信息,若何更好地分手特征仍然是值得研讨的偏向。此外,虽然我们显现的绕开 3D 重建的进程,与骨架和视角无关的行动特征空间隐式地暗含着 3D 信息,若何操纵这样的行动空间帮助 3D 重建也是一个未来研讨偏向。
感激您的阅读
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2006-2014 中国法宝网-三国志英杰传,曹操传,吞食天地2nd,孔明传等三国经典历史人物游戏攻略 版权所有 法律顾问:高律师 客服电话:0791-88289918
技术支持:迪恩网络科技公司  Powered by Discuz! X3.2
快速回复 返回顶部 返回列表