電玩混音
2018 台北遊戲開發者論壇《電玩混音》講座全文
什麼是混音？
混音就是把聲音變好聽的技術。
幾個世紀以前，人類就已經開始混音了，只是我們不叫他混音，叫指揮。
指揮的工作就是從宏觀的角度，平衡每個樂手之間的音色以及音量，確保音樂的表現，能夠符合作曲家的詮釋。
在現代聲音的製作過程中，混音主要發生在後製的部分，但混音的概念從建立風格和製作素材的時候就已經開始了。
為什麼要混音？
如果沒有做好混音，遊戲就會變得不好玩。
遊戲不好玩的原因，可以從很多層面來分析，例如：
- 我們是否提供了太多的資訊，超出了玩家所能負荷的程度？
- 我們的聲音是否處理不當，讓玩家的生理產生不適感？
- 或是因為設計的失誤，無意間鼓勵、或是懲罰了玩家的行為？
認知負荷、聽覺疲勞、傳達失誤，都會讓玩家難以沉浸在遊戲的世界中，因而破壞了遊玩的樂趣，降低留存率，而這些都需要靠混音來解決。
混音就像構圖
我們透過安排素材之間的平衡或是對比，來引導玩家的注意力。
《Overwatch》是一款多人對戰遊戲，遊戲進行的同時多達 12 名玩家，而每個玩家都有各自的角色語音、腳步聲、槍聲和技能特效。
但是過多的資訊就會淪為雜訊，因此暴雪他們設計了一個混音系統來為每一個聲音的來源做排序，將資訊篩選後再傳達給玩家。
這個系統會分析每個資訊對該名玩家的重要性來調整聲音的大小聲，讓玩家能夠專注在最關鍵的資訊、掌握戰況的發展。
舉例來說，將對玩家造成傷害的音效會是最優先的；而隊友的腳步聲相對地就沒有那麼重要。
仔細聽聽看混音前與混音後的差異，聲音能夠提供給我們多少重要的資訊。
從混音前的影片，我們會發現如果不透過視覺確認，我們很難弄清楚究竟發生了什麼事情，聲音甚至分散了我們的注意力。
但混音後的影片，讓我們即使身在建築物的背後，或是混亂的戰場，都能立刻確認敵人的位置和戰場的狀況。
如何做混音？
就是要理解聲音運作的原理。
當我們將組成聲音的基本元素一一拆解開來時，就會獲得了一個聲音的調色盤。
藉由調整元素之間的平衡，在時間的畫布上創造出我們想要的構圖。
音量
第一個元素是音量。
人類對於音量的感知非常敏感，好比說我們在餐廳吃飯的時候，盤子摔碎的聲音總會引起人們的注意。像這樣一個特別大聲的聲音來源會壓過其他比較小聲的聲音。
又或者是在馬路上等紅燈時，聽到機車同時催油門並起步的聲音，音量突然的改變會立即抓住我們的注意力。
音量是我們評估外在狀況的重要資訊，也是我們透過本能做出反射動作最敏感的元素。
絕大多數聲音的傳播是呈放射性擴散的，所以聲音的能量會隨著距離呈平方反比衰減。
因此人耳感知音量的變化是沿著指數曲線移動的，而不是線性的。
如果我們使用線性的方式改變參數就會顯得不自然。
影片 01:50 處：
綠色的線是指音量的變化，而藍色的線是指人耳感受到的變化。
照著左邊指數成長的聲音，音量會穩定的上升；
而右邊線性的則會先快速上升，然後又慢下來。
這就是為什麼我們使用分貝作為音量的單位。
分貝的定義是：兩個功率之間相差 10倍，所以 20 分貝的能量是 10 分貝的十倍，而 30 分貝的能量是 10 分貝的 100 倍。
網路上可以找的到工具來換算分貝數，你也可以參考公式，自己寫一個：
音高
下一個聲音的元素是音高，音高就是聲波震動的頻率，輕薄短小的物體發出的聲音比較高，而厚重寬大的物體發出的聲音則比較低沉。
人耳感知頻率改變的幅度也是呈指數曲線的，這也是我們為樂器調音的方式。
人耳也對不同的頻率有不同的敏感度，我們對於低頻非常不敏感，200 Hz以下的聲音幾乎都聽不到；而對特定的高頻卻非常敏感，像是 4000 Hz這附近，因此我們會把重要的音效，分配到這個頻率附近，引導玩家的注意力。
雖然我們好像有很多頻率可以使用，但如果是手遊就不一定了。
這是 iPhone 內建喇叭的頻率響應，由於他的喇叭非常小，在 400 Hz 以下幾乎都播不出來，所以在混音時就需要把這點考量進去。
混響
接著是混響，也就是聲音的距離或空間感。
當一個物體發出聲音時，聲波會從四面八方擴散出去，並經過不同的距離和時間後，到達聆聽者的耳朵。
如果聲音的來源非常近，回音就會比最快到達的聲音來的小很多，而隨著聲音的距離越來越遠，直接音就會和回音混合在一起。
立體聲
我們是如何辨別聲音在空間中的位置的？
我們的大腦非常厲害，他可以分析左右兩耳接收到聲音的音量差跟時間差，他知道來自左邊的聲音，左耳會比右耳更早聽到，而且聽到的還比較大聲。
為了模擬這樣的效果，我們需要兩個喇叭來播放兩軌稍微不同的聲音來創造立體聲。
除了音量跟時間，頻率跟相位的差異也會影響人腦判別方向。
混音空間
現在，四個元素都介紹完了，原本我們只有音量時，就只能在空間中表現出一個點，但當有了混響時，點延伸出了一條線，再加上立體聲後，線就展開成一個面，最後再加上頻率，我們就有了一個三維的空間能夠利用。
這三個維度就是我們在混音時的所能利用的空間，我們安排聲音在空間中的不同位置來創造聲音的廣度，也避免聲音之間互相衝突、影響聆聽的清晰度。
這也就是幾百年前，指揮安排不同樂器在不同位置的概念。
動態
動態是這次要介紹的最後一個元素，也是最容易被忽略的元素。
動態就是聲音在時間的尺度上，最大與最小音量的差異，也就是音量的對比度。
保留足夠的動態，我們才有足夠的空間來創造張力。若沒有事先規劃聲音的動態範圍，就不斷地把素材的音量拉高，最後動態變小了、細節減少了，耳朵沒有喘息的空間，就容易造成聽覺的疲勞。
響度標準
目前電玩沒有明確的公共標準，不過 Sony 有一個建議的規格可供參考：
Sony’s Standard: ASWG-R001
Uses ITU-R BS.1770–3
Console recommended loudness: -23 LUFS
Handheld Console recommended loudness: -18 LUFS
Maximum True Peak: -1 dBTP
Recommended Maximum Loudness Dynamic Range: 20 LU
只要符合公共標準，遊戲就不會像電視的蓋台廣告一樣，聲音忽大忽小。
監聽環境
接著來談談監聽環境，從喇叭播放聲音到聲音工作者耳朵之間這個距離，也會因為空間的不同，造成頻率、音場的變化，妨礙我們在混音時做出正確的判斷。
建議兩個喇叭和聽者呈一個正三角形，喇叭的角度要正對著聆聽者。
為了減少聲波的反射，喇叭要盡量遠離牆面和桌面。
另外，使用耳機是比較不理想的監聽方式。
因為戴耳機就像戴 VR 頭套一樣，長時間的使用會對聽力造成傷害，聽覺也容易疲勞，使混音時不易做出客觀判斷、降低工作效率。
多聽好聲音
最後，要如何培養對聲音的敏銳度呢？
其實就是要多玩好遊戲、多聽好聲音。
可以參考一些遊戲大獎，像是 IGF 或 TGA 中入圍聲音獎項的遊戲。
我特別推薦《INSIDE》、《Thumper》、《GoNNER》和《Mini Metro》，這幾款遊戲的聲響設計，無論在功能上或是美學上都有非常傑出的表現。
總結
大家都聽過盲人摸象的故事，故事說有一個全部都是盲人的國家，全國的人從來都沒有見過大象，於是國王派了幾個人到隔壁國家，想看看大象到底是什麼東西，這些人每個都摸了大象不同的部位後回來了。
國王問他們大象是什麼，摸到象鼻子的人說大象是一根管子；摸到象尾巴的人說大象是一條繩子；摸到象耳朵的人說大象是一把扇子；摸到大象身體的人說大象是一面牆；摸到大象腳的人說大象是一根柱子。
這個故事給我們的啟示是：
這些人都沒有說謊，但如果我們把繩子、扇子跟柱子組合在一起，他們也不會變成一頭大象。
因為重要的不是這些個別的元素，而是這些元素之間的連結與互動，我相信這樣的道理也適用在遊戲的開發團隊上，我們唯有透過互相學習、理解，讓彼此的價值產生連結，才有可能一起創造出好的作品。
References
Mixing [FullIndie Sept 2014] By Kevin Regamey
https://www.youtube.com/watch?v=nfXZlSwi6wA
How to maintain immersion in game audio By Asbjoern Andersen
https://www.asoundeffect.com/game-audio-immersion
Player Success: How to Help or Hinder It with Sound By Oscar Coen
https://blog.audiokinetic.com/player-success-how-to-help-or-hinder-it-with-sound
Overwatch — The Elusive Goal: Play by Sound By Blizzard
https://youtu.be/60P0hzTTJ4Q
What is all of this Loudness nonsense about? By Jay Fernandes
http://www.fernaudio.com/what-is-all-of-this-loudness-nonsense-about
An In-Depth Look At Audio Monitors and Placement By Moshe Lehrer
https://www.bhphotovideo.com/find/newsLetter/Monitors-and-Placement.jsp
The non-linearities of the Human Ear By AudioCheck
https://www.audiocheck.net/soundtests_nonlinear.php
Designing For Problem-Solvers By Zach Gage
http://stfj.net/DesigningForProblem-Solvers
