人類的動作細節極其細膩，要如何捕捉所有的動態特別是臉部表情，是許多電影動畫製作時最傷腦筋的重點。意想不到的是，隨著你我手邊的智慧型裝置搭載的科技越來越多，運算能力也越來越進步，來自台灣並且已經前進矽谷的甲尚科技 Reallusion 讓 Face ID 變身專業動畫設備 ，想到可以利用新系列 iPhone 包括 iPad Pro 全線皆可使用的原感深度相機，來做為動畫製作的人體動態（特別是臉部）感測設備，透過免費的 Live Face app 與該公司專業軟體連接，讓以往可能必須使用昂貴器材才能達到的臉部追蹤功能，成為觸手可及的創作工具，讓你直接將這個原本主要用於 Face ID 解鎖的功能，可以應用在更廣泛甚至更專業的領域之中。
不僅用於解鎖， 台灣 Reallusion 讓 Face ID 變身專業動畫設備
這次，我們電腦王阿達團隊有機會受邀參加 Reallusion 團隊分享如何利用 iPhone X、XS、XR 與最新的 iPad Pro （2018) 上的原感深度相機，做為自家 2D 角色動畫製作工具 CrazyTalk Animator 3（以下簡稱 CTA3 與 CTA）的臉部動態捕捉工具的應用心得的發表會。
其實 CTA 與許多動畫製作應用一樣，都能用此軟體來創建虛擬角色，只是要如何「驅動」這些創作角色就是一門很深的學問了 — 以往，我們要模擬出精確的人臉動態，可能還必須要在效果極佳但建構價位極高的感測硬體，以及效果普通但只要利用每台筆電、手機上都有的視訊相機即可使用的兩個極端的品質產出之間做選擇，很難兩全。
現在，透過 Reallusion 與 Apple 融合的軟硬體解決方案，則是可以如上圖這樣，直接透過與 iPhone 有線 / 無線（知道 IP 就可以連上 CTA 囉）的連接，即可利用每次點亮手機都會用到的原感深度相機，來進行精準的角色表情捕捉（PS：各位有發現 iPhone XS 上的原感深度相機其實也支援橫向感測嗎？這算是彩蛋？XD）。
這樣的解決方案也被應用在動畫錄製，甚至是直播之上。也因此現在也有被遊戲公司、電影甚至是 YouTuber 都搶先應用來進行創作，也運用在了博物館館藏的導覽用途之上。
這次發表會最有意思的是，這次除了現場的展示之外，該公司與蘋果還請來四位應用這樣工具來做為創作工具的專業人士，包括 Facebook 非常紅的大陰盜百貨插畫家本人（上圖左 2），以及城市塗鴉師 Bounce（上圖左 1），還有 YouTube 遊戲直播主安傑貓（圖右 2）與視覺行銷達人 NiNi 老師（上圖右 1），分別分享了利用這套解決方案快速進行動畫創作的經驗。
是說，無論是如何應用這樣的解決方案，他們不約而同地都表示，透過 iPhone 原感深度相機搭配 CTA 3 軟體來進行創作，將可以在兩三天乃至於數小時的時間內，完成以往必須花費數週，或甚至因為覺得難度太高而放棄的創作內容，可見創作效率，絕對是這個解決方案最厲害之處。更能因此激勵這些創作者發揮釋放自己的創作能量，找到有別於以往的創作之路。
▲影片：受到漫威教父 Stan Lee 肯定的城市塗鴉創作者 Bounce，就利用了 CTA 搭配 iPhone 完成了自己想都沒想過的動畫創作。
▲圖：CTA 的創作者不一定需要具備逐步建構完整角色元件的技術，也可以透過簡單加入照片或圖片，並設定錨點（Anchor point）的方式來完成自己的 2D 動畫角色。
簡單地說，創作者只需要逐步設定或繪製好動畫角色素材（其實直接用照片或圖檔標上錨點更快速簡單！據說熟悉的話只要 3 分鐘就能完成一個角色 — 當然，要先畫好角色啦！），即可隨時隨地以 Mac 電腦 + iPhone 開始進行長時間的動畫錄製，效果即可達到極為專業可用的境界，可說是插畫等圖文創作家想要用自己的虛擬角色與粉絲互動，或者是拿來製作動態貼圖與影片的神器！
就我們在現場試玩的心得，是真的覺得相當可用，而且反應超迅速！有興趣的朋友，可以用你手上的 iPhone 下載 Live Face 應用來看看原感深度相機的臉部捕捉追蹤效果 — 真的超級好玩，建議大家一定要抓來玩，反正是免費的應用，絕對讓人印象深刻。
不過別說我們沒提醒你，Reallusion 的這套解決方案，在透過原感深度相機中超過 30,000 個點陣投影器所在人類臉部搜集的資訊裡，其實不止 Live Face app 所顯示的八種臉部特徵「程度」偵測而已，其實早在 iOS 12 之前，該公司就已經把舌頭等多達 52 個臉部數值全都可以透過 iPhone XS 即時地搜集並進行相關演算 — 就像上圖，數值是一整頁滑不完… 可見這原感深度相機真的是很黑科技的技術，應用起來更是擁有無限可能。
▲圖：CTA 的產品經理李孟翰向我們分享搭載新世代原感深度相機的 iPhone 系列的硬體實力，認為針對面孔捕捉與表情演算法包括 AR Kit 工具等方面 Apple 提供了最佳的解決方案，Reallusion 更是在軟體方面配合發揮出其完整的表現。
Reallusion 表示，有運用到 Apple ARKit 的 Face Mocap 技術方面，共分有 Tracking 追蹤、Blendshape 解析詮釋表情與 Mapping 校正與客製化三個部分。根據他們的研究，是相當肯定 Apple AR Kit 在搭配 iPhone XS 等具備原感深度相機的機型之下，其實無論是臉部解析、表情詮釋都非常精準到位，是他們認為「最適合開發人臉辨識的最佳解」並自信地表示 CTA3「是完整體現了 iPhone X 臉部辨識的應用」。
結語
透過像是 Reallusion 與蘋果的軟硬體結合的案例，我們深深地感受到，現在行動裝置在運算能力乃至於感測功能方面的強大，已經可以配合專業軟體達成更多使用的可能性。另一方面，這類原本專屬於特定動畫師的專業領域，其實也藉由這類軟體漸漸地變得更為平易近人（價位上、技術上）後，變成人人都有機會藉由這些垂手可得的工具來發揮自己心中的創意，發揮以往可能很耗時間金錢才能完成的創作內容，高效率輕鬆打造屬於自己的動畫內容。
