新浪博客

【SIGGRAPH ASIA 2014 特别沙龙 】三维动画捕捉的光影魔力

2014-11-19 14:15阅读：

http://blog.sina.cn/dpool/blog/u/1496874104

【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
亚洲计算机图形界的盛会SIGGRAPH ASIA 2014即将开幕，在会议主席陈宝权教授的促成下，我们在SIGGRAPH ASIA 2014微信群中组织了一场特别的跨越太平洋的在线沙龙。主讲嘉宾是来自美国南加州大学计算机系的黎颢教授和他的助手马重阳博士。
主讲嘉宾：黎颢、马重阳
主持人：中国经济网经营顾问 杨静
嘉宾介绍：
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
【黎颢】自2013年起在美国南加大计算机系担任助理教授，从事计算机图形学和计算机视觉相关领域的研究。黎教授于2010年在苏黎世联邦理工学
院获取博士学位，于2011年在哥伦比亚大学和普林斯顿大学从事博士后研究，随后在工业光魔（Industrial Light & Magic）担任研发主管，并于2014年在维塔数码（Weta Digital）任访问教授。黎教授目前在计算机图形学领域的顶级学术会议SIGGRAPH/SIGGRAPHAsia发表论文共计10篇，并于2009年在计算机动画方向的国际学术会议SCA获最佳论文奖。他在动态形状重建，非刚体匹配以及人物数字化等方向取得的多项研究成果已经被转化到了包括一些视觉特效工作室和医学成像公司在内的业界。2013年，黎教授入选MIT技术评论TR35全球杰出青年创新者。
【马重阳】自2013年起在美国南加大计算机系任博士后，从事计算机图形学和计算机视觉领域的研究。马重阳于2012年在清华大学获取博士学位，随后在加拿大英属哥伦比亚大学从事博士后研究，并于2014年访问维塔数码。马重阳博士的研究工作主要集中在数据驱动的建模，三维捕捉和重建等方向，目前已在计算机图形学领域的学术会议SIGGRAPH/SIGGRAPH Asia发表论文共计5篇，在Eurographics/CGF发表论文3篇。马重阳博士于2010年获“微软学者”奖学金。
注：上图为在线交流时黎颢教授和马重阳博士穿戴Oculus Rift在南加大实验室的合影，由于黎颢教授不熟悉中文输入，因此在线交流由马重阳博士进行沟通后，代替他输入回答。SIGGRAPH ASIA 2014 大会的介绍请参考文末的原文链接。
【USC南加大马重阳】大家好！我现在和黎教授在南加大计算机图形学实验室，很高兴有机会跟各位交流讨论，请多多指教！！
【杨静lillian】欢迎两位与我们进行跨越太平洋的在线交流！在访谈正式开始前，马博士和黎教授可以做更多的自我介绍。将你们的酷炫作品发布在群里，让大家对你们有更多了解。
【USC南加大马重阳】 黎教授在加入南加大（USC）之前在工业光魔（IndustrialLight & Magic，ILM）担任研发主管，从事电影特效技术相关的研发。
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
【杨静lillian】“光魔”这个名字就很有味道！
【徐明亮@郑州大学】产业背景和从业经验，非常有助在科学研究中捕捉“有用”科学问题的痛点。
【杨静lillian】介绍一下黎教授的更多背景资料。美国麻省理工学院科技评论杂志(MIT Tech Review)公布2013年度第13届TR35创新者奖名单。获选者是从全球多个企业、研究学院和学校的500至600多个候选人中，经由评审委员依多项评比遴选出35人。其中有2名南加州华人学者获奖，现年33岁的南加大(USC)电脑科学系教授黎颢(Hao Li)为南加州地区的华人获奖者之一。
黎颢（华裔，父母是台湾人）对儿时看《侏罗纪公园》的经历依然记忆犹新，他说当自己看到现实中不存在的事物被如此栩栩如生地表现出来时，仿佛找到了自己的天职。黎颢目前是南加大（USC）电脑科学系的教授，曾在乔治卢卡斯工作室工作，为电影《星球大战》提供特效技术。
视效艺术家通常通过粘在人脸或身体上的3D感应球进行表情捕捉，黎颢的技术突破在于使用了深度传感器（微软的Xbox体感游戏使用了同样的技术）简化了这一过程，当装有深度传感器的摄像机对准演员的脸时，黎颢的软件会自动分析其面部表情的变化，并立刻将这些表情套用到动画人物上。
在医疗领域，已有放射扫描仪通过这项技术跟踪病人肿瘤的精确位置，在另一个项目中还被用来构建心脏的数字模型。
三维捕捉：打造电影特效的“光魔”
【岳路平_艺术/策展】酷，想了解皮克斯的动画技术是否也使用传感器捕捉表情。
【USC南加大马重阳】黎教授：当前还没有用在产品上，但皮克斯和工业光魔在这方面进行过一些实验测试，用于前期的pre-visualization。相关的测试包括了对黎教授于2013年发表的SIGGRAPH论文所提出的技术：
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力 这项技术结合利用了深度相机（Kinect）和视频摄像头捕捉到的信息，也就是同时使用了深度和颜色信息。
【杨静lillian】原来动画是这么捕捉来的。。。请问黎教授之前在工业光魔（Industrial Light & Magic）担任研发主管，具体从事了哪些方面的工作？
【USC南加大马重阳】黎教授：主要是针对下几部《星球大战》（Star Wars）脸部捕捉技术的研发。
【杨静lillian】能否透露下今后《星球大战》的捕捉技术将有哪些创新？
【USC南加大马重阳】关于《星球大战》的研发，主要是提供脸部和身体捕捉和重建技术的效率，希望能够在拍摄的同时能尽可能看到最后合成的效果。也就是尽可能做到实时。
【徐明亮@郑州大学】请问这个技术中人脸关键点需要标定多少个？与浙大周昆教授的技术（sig 2013论文）路线相比有和异同？是完全实时合成的吗？谢谢！
【USC南加大马重阳】2013年那篇人脸的论文，用到了64个feature points。周昆教授那篇论文效果很好，而且这项技术只用了视频输入，也就是颜色信息，没有用到深度信息。但相应的缺点是由于输入没有深度信息，重建出来的脸部形状准确性可能不如利用了深度信息的技术。
【原力动画赵锐】我来请教下，是通过数据驱动骨骼还是驱动blendshape？
【USC南加大马重阳】关于“是通过数据驱动骨骼还是驱动blendshape”，用的是blendshape。
【梁幸堯 Hsin-Yao Liang】請問：實時⋯目前的水平發展到甚麼程度?
【USC南加大马重阳】当前的实时技术都能够确保整个系统始终保持每秒30帧的计算和刷新速度。
【岳路平】请问：在《阿凡达》里，工业光魔、威塔数字和卡梅隆的Lightstorm entertainment如何分工？
【USC南加大马重阳】在《阿凡达》第一集里，Weta做了大部分的工作；Lightstorm主要是做前期的预览工作；ILM负责了一小部分效果，包括草、树等场景的建模和模拟。
【杨静lillian】请教一个问题，人类本身的表情，可以通过捕捉而来。但如果是人类没有的表情，如何建模？
【USC南加大马重阳】比如说猫狗等动物的表情？
【杨静lillian】对。而且比如外星人和机器人？
【USC南加大马重阳】这种一般会借助美工的帮助。
【华映星球大胡】主要靠我们动画师手k。
【梁幸堯 Hsin-Yao Liang】大部份動物的溝通，表情在其中的占比较人類少很多。
【杨静lillian】那就是要依靠科学 艺术的想象了。很好奇。既然《星球大战》的动画很有趣，那是什么原因促使黎教授决定离开工业光魔加入南加大成为一名大学教授？
【USC南加大马重阳】黎教授：加入USC能够有更多的自由度决定自己从事的研究方向和项目，能够有更大的潜在影响力，同时能够保持和扩大跟包括ILM在内的各种业界公司的合作。
【杨静lillian】今年南加大延攬他到電腦科學系任教，並為他成立實驗室，希望由他來推動南加大的多媒體技術。请问这个实验室有多大规模？主要从事哪些领域的研究？
【USC南加大马重阳】目前我们实验室包括4名博士生，一名博士后（我本人），主要从事关于人的3D信息的捕捉、重建和分析。在计算机图形学方面，主要目标是提出更好的建模算法（比如人脸、头发等）；在计算机视觉方面，主要是为了让计算机能够识别人物的表情和动作。
“朋克头”教授与酷炫的头发建模
【杨静lillian】为什么要为头发建模？您和黎教授还在今年的SIGGRAPH和SIGGRAPH Asia上发表了两篇关于头发重建的论文，能介绍一下这两篇论文的核心思想和应用吗？
【USC南加大马重阳】做头发建模的一个主要原因是发型是人物外形的一个非常重要的特征，纯手工的建模太费时间。今年我和黎教授关于头发重建的论文，核心思想都是利用数据库提供的先验知识来提供头发重建的准确度。
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
上面是我们在SIGGRAPH2014年发表的关于头发重建的论文截图。接下来这张是我们在今年SIGGRAPH Asia 2014年发表的论文截图，关于各种辫子发型的捕捉和重建：
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
也欢迎大家到时候莅临SIGGRAPHAsia大会会场参加我们的论文宣讲。
【杨静lillian】今天你们的访谈反响强烈，很吸引人。又有专家申请入群。介绍一下新群友：Ben, 張駿斌，資深動畫製作流程與技術專家，在SIGGRAPH發表過Motion capture論文，Dream Works、Lucas Film、Disney工作20年。感谢@梁幸堯 Hsin-Yao Liang 引荐！
【吕琳】头发的建模一直是一个比较热的领域。想问一下，现在其中的开放问题还有么？难点在哪里？
【USC南加大马重阳】目前还是有很多非常复杂的发型，很难自动的捕捉和重建；对头部进行捕捉和重建的原始数据，通常同时包含了头发和人脸，如果准确地把头发和人脸的数据分割开来也是一个目前还没有解决的问题；另外，如果让普通用户方便地创建一个虚拟的发型，也是一个有趣的问题。
【杨静lillian】马博士，我看到黎教授的发型非常有个性，能否给一个他朋克头的特写？听说黎教授和您今年夏天造访了位于新西兰的全球顶尖视觉特效公司维塔数码（Weta Digital），能分享一些好玩的经历吗？
【USC南加大马重阳】好的，其实由于在南半球的关系，是当地的今年冬天。黎教授在Weta主要是为了帮助他们改进脸部捕捉和重建的技术
【杨静lillian】我相信，如果可以虚拟创建发型，将颠覆现在的美发行业。可以更多设计，然后再实现。
【陈宝权会议主席】so far 很精彩啊！群里很多业界高手！
【杨静lillian】朋克头还没现身。。。网上资料显示：黎顥的背景十分國際化。他出生於德國，雙親來自台灣，他在德國取得碩士學位，兩年前從瑞士蘇黎世大學取得博士學位。他頂著龐克頭，走在南加大校園完全不像教授，之前去夢工廠動畫公司演講，對方因為他一頭龐克頭直覺教授不會是這樣打扮，誤以為他怎麼臨時缺席。他笑說，「這樣跟學生比較親切」。
【USC南加大马重阳】这是黎教授刚拍的发型照片。。。
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
【杨静lillian】哇！好造型！相信大家在Siggraph大会上，能容易滴识别出黎教授！
【吕琳】宣传片里也有哦
【ben】頭髮製作系統有梳理出來的造型方式，和用建模方式製作出來的髮型，現在市面上大部分的是梳理型的製作方法。
【陈宝权】是的，Hao的punk 头型晒一下。
【杨静lillian】Ben也是台湾系的，所以是繁体字。
【杨静lillian】感觉美国的计算机视觉领域，从产业界到学术界的切换非常流畅，双方的融合也非常紧密。请问你们如何看待视觉特效方面的研究和发展前景，以及相关业界需求和学术研究的关系？
【USC南加大马重阳】关于视觉特效方面的研究和发展前景，主要目标是提高效率、降低成本。
【USC南加大马重阳】关于业界需求和学术研究的关系，业界和学界的focus确实不大一样，业界更注重最后的产品，学术界考虑更多的是研究成果的影响力。
虚拟成像技术让逝者在光影中重生
【USC南加大马重阳】由于《速度与激情》的主演之一Paul Walker因车祸去世，导演依然希望在电影镜头里重现Paul的音容笑貌，所以对相应的特效技术也提出了极大的挑战。
【吕琳】Brave中的头发是手动建模出来的么？
【USC南加大马重阳】对，Brave里的头发是手工建模，动画靠的是物理模拟。
【杨静lillian】接着刚才的话题，怎么重现逝者的音容笑貌？
【USC南加大马重阳】他们找来了Paul的两个兄弟来饰演，然后再通过后期的技术转化成Paul本人的脸部形状和表情。
【杨静lillian】这样以后的独生子女可就麻烦了。。。
【USC南加大马重阳】这项工作的主要难点一是大家对Paul非常熟悉，稍有不像，观众的体验可能就不会太好；二是Paul的兄弟和他本人其实不太像。
【ben】一般動畫片都會比較多用建模方式，因為有特別的造型需求，很難以自然物理梳理出人物的設計。而且動畫也是需要在物理原力上可以手動，這樣才能表演導演需要的特定動作。
【杨静lillian】某种形式上，这可以让一个演员重生。例如高仓健去世了，但利用这个技术，可以让他继续在银幕上扮演角色？
【USC南加大马重阳】技术上应该是可行的。
【陈宝权】爆下料，（黎颢）Hao的GF是台湾空乘，有图有真相。
【吕琳】哈哈还有八卦。我上张午餐的照片Hao不介意吧？
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
【梁幸堯 Hsin-Yao Liang】好熱鬧啊:)
【杨静lillian】这照片里陈主席也太帅了！中间穿格子衬衫的就是马重阳吧？
【吕琳】陈主席对面是Hao 旁边是Chongyang。
【吕琳】记得之前看过一个重现邓丽君影像的演唱会，是怎么做的啊？
【梁幸堯 Hsin-Yao Liang】鄧麗君是Digital Domain(數字王國)做的
【杨静lillian】虚拟邓丽君演唱会，我怎么不知道？在大陆上演了？
【白硕】Out 了
【徐明亮@郑州大学】那个是物理成像。隔空对唱。
【梁幸堯 Hsin-Yao Liang】[未來B2C應用設想]家人3D的信息 行為模式深度學習 滿牆的電腦螢幕，讓已經過世的親人繼續生活在一起．技術普及和夠低的成本上要多少年實現？10年？15年？
【杨静lillian】梁总，这个想法够恐怖的。
【USC南加大马重阳】这个idea很cool。
【杨静lillian】黎教授和马博士都会来深圳参加Siggraph Asia 2014的大会吧？对这次亚洲的计算机图形学盛会，两位有什么安排和展望？
【USC南加大马重阳】当然会参加的，我们很期待能够借助本次大会的契机，跟各位展开交流与合作。
【杨静lillian】黎教授的论文讨论放在哪一天的日程里了？
【USC南加大马重阳】 当然我们也借此机会为我们关于辫子发型的SIGGRAPH Asia论文打个小广告，fast-forward的具体时间是18:45-20:00, 03 December 2014, Level 5 Bougainvillea Hall；正式的论文报告时间是CapturingEverything, Sweet Osmanthus, Saturday, 06 Dec’14, 14:15 - 16:00。
【USC南加大马重阳】剧透一张我们fast forward的第一帧截图。40秒钟的fast-forward，就在12月3日SIGGRPAH Asia 2014会场，精彩不容错过！
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力
【梁幸堯 Hsin-Yao Liang】酷！期待Hao的Fast-Forward。
【吕琳】能透露一下目前两位最感兴趣或正在进行的研究方向么？USC的地理位置那么优越是不是与好莱坞可以有非常多的合作？比如头发的建模与视效公司有合作么？
【USC南加大马重阳】目前我们实验室的研究还是集中在关于人的3D信息的捕捉、重建和分析。当前我们关于头发的建模技术主要在跟Weta展开合作，这也是我今年新西兰之行的主要任务。
【杨静lillian】今天访谈的时间即将结束。大家还在进行计算机视觉应用方面的畅想。我们通过访谈，对黎教授和马博士团队从事的计算机视觉研究工作有所了解。也对未来的视觉建模技术进行了新的展望。期待黎教授和马博士在深圳Siggraph Asia 2014大会上，对他们的论文与应用展开更精彩的现场解读。我们12月3号深圳见！
【USC南加大马重阳】深圳见！
【ben】我們可以約定一個飯局嗎？呵呵。
【吕琳】期待深圳当面聊：）
【杨静lillian】是啊。饭局有意思。现在也可以开始在群里约深圳的各种饭局哈。
【梁幸堯 Hsin-Yao Liang】感謝主辦、主講、討論的各位，很有質感的一場Wechat Conference。
【SIGGRAPH <wbr>ASIA <wbr>2014 <wbr>特别沙龙 <wbr>】三维动画捕捉的光影魔力 会议详情请参见网站：http://sa2014.siggraph.org/attendees
注册类别、费用及权益请参见 http://sa2014.siggraph.org/registration-travel/registration-categories-fees
说明：11月20日网上注册即将结束，之后只能现场注册。

我的更多文章

下载客户端阅读体验更佳

APP专享