想像擴增於實境與虛境的交界

圖:《CyberCube》新媒體展演,摘自:Peppercorns 黑川互動媒體藝術FB

拜影像辨識技術的進步,與硬體價格的下降,動作擷取技術不但成熟而且容易取得;像是由日本影片製作人淺井宣通(Nobumichi Asai)團隊,所開發的臉部投影特效影片「OMOTE」,以及58 屆葛萊美獎(Grammy Awards)頒獎典禮中,女神卡卡(Lady Gaga)在表演開頭的即時妝容特效,都是透過高速攝影機等設備,辨識臉部與追蹤動態,並將視覺效果即時投影到表演者頭部,進行容貌的改變1。透過這樣的作品,運用動作捕捉技術,配合光雕投影(Projection Mapping)的呈現形式,讓科技展演有了新的可能性。


OMOTE / REAL-TIME FACE TRACKING & PROJECTION MAPPING from nobumichi asai on Vimeo.

前面提到的這種動作擷取技術技術,在本質上就是「光學動作擷取技術」;所謂光學動作擷取技術,是先將要偵測的人或物體,配戴一種特殊的光球(稱為Marker或Optical),接著,運用多臺高解析度攝影機,來記錄偵測對象運作的軌跡;這些高解析度攝影機的周邊會設置紅外線發射器,並投射出肉眼不可見、高頻的紅外線閃光;前面提到的光球,由於會反射紅外線的光點,再透過多台高解析度攝影機接收後,經過對比的運算後,取得光球在實體空間當中的三維X、Y、Z位移動作,便可進一步得到被偵測物的動態;而由於光點是被動反射光線,所以稱為又稱「被動式」光學動作擷取系統2動作擷取技術在實務的使用上已有很長一段時間,舉凡電影、遊戲、表演藝術幾乎都能看見它的應用,就其根本而言,將實體世界的動態轉譯為虛擬世界的形態變化,是一種跨越了虛實的科技。下面影片是《魔戒三部曲》中扮演咕嚕的知名英國導演、演員Andy Serkis,談談動作擷取在電影中的應用。

就跨越虛實的科技而言,這裡我們來談談時下熱門的「擴增實境」(Augmented Reality,AR)技術,所謂擴增實境,是一種將數位訊息或是電腦產生的資訊,即時覆蓋在真實空間當中的一種技術,一般而言,擴增實境可以擴增人的「五感」,但現今大多數的擴增實境技術僅用來強化視覺感受 3。這裡提到的所謂「即時覆蓋資訊」的手法,可以是直接讓觀眾直接用身體感官感受的,也可以是間接透過裝置進行體驗的4 。舉凡近兩年席捲全球的熱門遊戲Pokémon GO(即便過去AR功能總是被玩家關掉),以及最新的iOS 11 ARKit 技術應用,就是家喻戶曉擴增實境的典型運用。

若以1994年Milgram等人,所提出的現實-虛擬連續系統(Reality-Virtuality Continuum)5(下圖),則可以更清楚地知道,擴增實境(AR)是較為傾向以「真實環境」做為呈現基底。這與時下熱門的「虛擬實境」(Virtual Reality, VR)不同,擴增實境技術主要試圖將虛擬物件嵌入現實當中,因此「真實空間」在擴增實境當中被視為一項非常重要的元素6。總體而言,擴增實境可視為介於全真實環境與全虛擬環境的一種「混合物」或是「中間地帶」7。這是當代社會一個非常奇特的現象,透過數位科技,我們把想像與真實介接在一起,並且穿梭往來兩地進行工作、娛樂與生活。

現實-虛擬的連續系統,Milgram, P., et al. (1995). Augmented reality: a class of displays on the reality-virtuality continuum. 轉引自:Augmented or Virtual: How Do You Like Your Reality? By MJ Anderson https://goo.gl/NXZFVb

還記得多年以前,在松菸有一個很特別的展覽:「與佛塞同步─威廉‧佛塞新媒體藝術系列展覽」,這個展覽,運用資訊視覺化的方式,讓我們得以用更貼近編舞家的想法,去看透、欣賞一件舞作。一般近年來我們看到的表演藝術,若要使用互動科技於其中,大多是運用各種電子感測器,即時偵測表演者的位置與動作,並讓電腦或機械設備(如空拍機、機械手臂),反饋出對應的視覺影像或是物件動態,與表演者一同在舞台上呈現。但「與佛塞同步」這個展覽,卻不是即時的,是一種「好好紀錄當下的軌跡,儲存、分析後,再用不同手法進行再現」的表演藝術。

Synchronous Objects Project, The Ohio State University and The Forsythe Company, 摘自https://synchronousobjects.osu.edu/

與佛塞同步」整個展覽的內容,基本上都是來自於名為 “Synchronous Objects” 的計畫,該計畫由舞蹈家威廉‧佛塞(William Forsythe),與美國俄亥州立大學共同合作,目的在於以佛塞2000年舞作《重製一道平面》(One Flat Thing, reproduced)為基礎,藉由科技進行不同型態的紀錄與分析,讓舞蹈以不同的方式再現。進入”Synchronous Objects” 官網,可以在副標題發現計畫的核心概念:”visualizing choreographic structure from dance to data to objects”(透過將舞蹈轉化為資料,再轉為物件,讓編舞結構進行視覺再現)。官網當中收錄很多整體製作的細節、參與學生的構想等等文字、靜態、動態影像之資料,簡直就是一座寶庫,充分地呼應了展覽的主訴求,也讓觀眾用不同的角度去瞭解所謂舞蹈、編舞,其底層所呈現的訊息。若不以即時互動的角度進行檢視,大致上”Synchronous Objects” 計畫某種程度上也運用了科技,去擴增了原始舞蹈的實境;而透過這種「擴增」,作品則提供了一種新的、較為客觀方式來看待「編舞」,讓觀眾可以直接感受到編舞家的感受,而不只是透過專家、或舞評家的看法8

談到科技表演,最近有一個很有趣的作品:《CyberCube》,這是以黑川互動媒體藝術(新媒體藝術家胡縉祥)為主導,整合多個藝術創作團隊所進行的新媒體展演。《CyberCube》讓表演者進行立方體表演,並透過即時追蹤的技術(運用本文最前面的動作擷取技術),配合LED光條、電腦燈、以及網路直播(呈現即時特效),形塑了一個「混合實境」(Mixed Reality)跨界創新創作展現。《CyberCube》靈感來自於科幻小說作家威廉‧吉布森(William Gibson)的作品《神經漫遊者》(Neuromancer),故事描述由於科技的快速發展,人類穿梭在真實與虛擬兩個的世界中的痛苦與掙扎9

《CyberCube》中的LED立方體象徵網路世界,表演者操控著立方體直到無法自拔,暗喻人在虛實空間中,存在、逃離、融合、穿梭等不同的面向。表演空間當中,設置了數台高速攝影機,這些攝影機,所偵測到的表演者動態,將即時運算後,影響立方體的LED光條變化,與現場的電腦燈投射效果;此外,攝影機所捕捉的實景與3D物件結合後,透過網路直播的方式,讓線上觀眾實際看到虛擬與現實交融的視覺效果,靈活地將整個表演場域,轉化為被重新定義的有機生命體,更是此表演的一大亮點10

《CyberCube》新媒體展演,摘自:Peppercorns 黑川互動媒體藝術FB

本文最末,再來談一下另一個感覺上不太一樣,但我個人認為本質雷同的趣味應用:Nintendo Labo,這是任天堂公司於2018/1/18日,發表了一個針對 Nintendo Switch 主機所開發的新玩法。透過任天堂所釋出的影片可以知道,這些新的遊戲包含紙板、繩子、橡皮筋等動手做的材料,讓玩家自行組合諸如:釣竿、遙控器、鋼琴、設備背包、踏板等物件。

遊戲無非就是要讓玩家沈浸到一種情境的體驗當中,任天堂採取的這個策略,是材質上相對較為便宜的手段(連橡皮筋都跟官方買應該也很貴),去強化一種體驗的情境,讓玩家無論從動手做,一直到上手玩,都可以徹底擴大、加深感官的體驗,讓遊玩的時候,更能投入的遊戲所建構的虛擬情境當中。若回到本文前面所提到的,現實-虛擬連續系統(Reality-Virtuality Continuum),Nintendo Labo 應可以被視為「擴增虛境」(Augmented Virtuality, AV),這是將真實世界的訊息,加入到虛擬環境裡;Nintendo Labo透過橡皮筋、紙板等物件,讓玩家能夠保持遊戲應有的動作與姿勢,進而將現實中才有的重力、肢體運作軌跡,加入到遊戲中,用來調整、控制遊戲的運作11

Nintendo Labo Robot Kit, 摘自:https://labo.nintendo.com/kits/robot-kit/

有一篇很不錯的文章〈擴增不到的實境,是沒有陰陽眼的焦慮:關於Pokémon Go的一點人類學觀察與解讀(二)〉12曾提過,關於「虛擬實境」(VR)與「擴增實境」(AR)的區別可以歸納成以下的公式:

VR虛擬實境 vs. AR擴增實境  = 觀落陰 vs. 陰陽眼

沒有錯!這種比喻真是恰到好處,當數位裝置已成了現代人的新感官之後,虛擬世界所發生的事情,只要你透過螢幕這道跨越虛實的窗,就能看見。

人在虛境與實境之間穿梭往來的生活型態,其實很早就有這樣的概念,但直至現今,數位科技運算的強大能力,才讓許多不可思議的應用不斷發生。數位化強化了影像的製作與傳播能力,並降低製作門檻與成本,再透過行動裝置的普及,大小螢幕所呈現的影像,更是充斥在生活各種細節當中,不斷地引導觀眾沉浸到內容開發者其所安排的幻覺當中,讓人人都可以在虛擬與真實的世界來去自如。

  1. 楊安琪. (2016). 音樂結合英特爾技術,女神卡卡致敬大衛鮑伊表演驚喜十足. Retrieved from https://technews.tw/2016/02/17/lady-gaga-with-intel-2016-grammys-david-bowie-tribute/
  2. 許允聖. (2006). 淺談光學式動態擷取系統. 藝術欣賞, 2(5), 98-107.
  3. Kipper, G. (2013). Chapter 1 – What Is Augmented Reality? Augmented Reality. Boston, Syngress: 1-27.
  4. Kipper, G. (2013). Chapter 1 – What Is Augmented Reality? Augmented Reality. Boston, Syngress: 1-27.
  5. Milgram, P., et al. (1995). Augmented reality: a class of displays on the reality-virtuality continuum.
  6. Bimber, O. and R. Raskar (2005). Spatial augmented reality: merging real and virtual worlds, CRC press.
  7. Kipper, G. (2013). Chapter 1 – What Is Augmented Reality? Augmented Reality. Boston, Syngress: 1-27.
  8. 王文儀/訪談與整理. (2011). 因為舞蹈,與臺北交遇─佛塞談策展理念. Retrieved from http://211.72.204.97/115taipeifestival.Web/Content/Content.aspx?id=5379
  9. 代思师. 《神经漫游者》以及赛伯朋克流派的警示意义. (24), 152-153. doi:10.3969/j.issn.1005-4677.2011.24.066
  10. 中華民國文化部. (2017, 2008-10-10). 國立臺灣美術館 2017科技融藝跨界跨界創作補助案《CyberCube》成果發表. Retrieved from https://www.moc.gov.tw/information_250_71175.html
  11. 小K, & VR看天下. (2016). 终极扫盲贴:VR、AR、MR、CR有什么区别?Magic Leap并不是裸眼!. Retrieved from https://mp.weixin.qq.com/s?__biz=MzIyODE4NzYzNQ==&mid=403445808&idx=1&sn=f897ef672ff7252bc8dfc6e17c4d961b&3rd=MzA3MDU4NTYzMw==&scene=25#wechat_redirect
  12. 宋世祥. (2016). 擴增不到的實境,是沒有陰陽眼的焦慮:關於Pokémon Go的一點人類學觀察與解讀(二). Retrieved from https://goo.gl/BKvKYF

2 Comments on “想像擴增於實境與虛境的交界

  1. Pingback: 如何運用 VR、AR、AV 與動作擷取技術,讓想像擴增於實境與虛境的交界? - PanSci 泛科學

  2. Pingback: 如何運用 VR、AR、AV 與動作擷取技術,讓想像擴增於實境與虛境的交界? – 酷博客

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *