前言：本站為你精心整理了音樂可視化管理范文，希望能為你的創(chuàng)作提供參考價值，我們的客服老師可以幫助你提供個性化的參考范文，歡迎咨詢。

音樂可視化的實(shí)現(xiàn)形式與解決方案可謂精彩紛呈。音樂可視化有著廣泛的應(yīng)用:音樂分析、信息檢索、表演分析、音樂教學(xué)、音樂認(rèn)知、情感表達(dá)、游戲娛樂?；诓煌膽?yīng)用，會有不同的系統(tǒng)設(shè)計方案。在教學(xué)領(lǐng)域，可能會強(qiáng)調(diào)音符、樂器、旋律、和聲方面;在音樂廣場，通過控制的相關(guān)技術(shù)來實(shí)現(xiàn)音樂噴泉，著重表達(dá)噴水的花型組合變化、水柱高低、遠(yuǎn)近變化等;在大型表演、酒吧、展覽現(xiàn)場，可能會更強(qiáng)調(diào)畫面帶來的強(qiáng)烈的視覺沖擊;在游戲領(lǐng)域，可能會著重表現(xiàn)音樂自身包含的情感因素，通過虛擬角色的面部表情、動作變化及場景的變換來實(shí)現(xiàn)，等等。

4.1用戶接口及系統(tǒng)構(gòu)架

本系統(tǒng)設(shè)計為基于情感識別的實(shí)時交互式音樂可視化系統(tǒng)，采用一個可選的虛擬角色進(jìn)行情感動作表達(dá)。系統(tǒng)需要減少系統(tǒng)負(fù)載和同時能夠?qū)崟r性地進(jìn)行一音樂分析和可視化表演，從現(xiàn)場表演的麥克風(fēng)和電子琴的音樂輸入中提取出來的音樂特征通過相關(guān)信息處理和數(shù)據(jù)過濾，然后發(fā)送到音樂動畫腳本和引擎，最后通過虛擬角色進(jìn)行音樂情感的動作表達(dá)。本文希望允許用戶與虛擬角色有一個沉浸式的交互體驗，計算機(jī)的顯示屏幕無法滿足大型展覽、表演現(xiàn)場的要求，虛擬現(xiàn)實(shí)的沉浸感也要求突破計算機(jī)顯示尺寸的限制，使用大屏幕顯示，可以采用圓柱型、洞穴狀、或者矩形塊拼接的大屏幕進(jìn)行逼真顯示，強(qiáng)制性制造出強(qiáng)勁的可視化效果。為了滿足這個要求，可以把這個虛擬環(huán)境顯示到一個大屏幕上，比如矩形塊拼接的大屏幕或洞穴狀的大屏幕，該屏幕可以提供實(shí)體大小的立體圖像，希望大屏幕立體顯示和人們的自然的用戶輸入方式可以縮短虛擬與現(xiàn)實(shí)之間的距離，通過這種方法，用戶可以體驗到這種與三維實(shí)體大小的虛擬場景的現(xiàn)實(shí)性的交互而產(chǎn)生的幻覺，允許用戶與觀察者體驗這種表演者與虛擬角色之間的真正的交互而產(chǎn)生的強(qiáng)制性的沉浸感。能用一種很自然的音樂表達(dá)方式與虛擬角色進(jìn)行交互也是很重要的。因此，本文應(yīng)該確保一旦設(shè)計為該方式的系統(tǒng)運(yùn)行起來，用戶僅僅需要提供MIDI控制器或者麥克風(fēng)的音樂輸入方式就可以與程序進(jìn)行交互。麥克風(fēng)與MIDI控制器應(yīng)該放置在特定的位置，以便當(dāng)用戶實(shí)時表演時可以很方便地觀察到虛擬角色的反應(yīng)。能夠體現(xiàn)音樂情感，同時又具體極強(qiáng)的可觀賞性和趣味性的音樂可視化系統(tǒng)是本文的追求。本文將圍繞音樂情感為中心建立一個音樂可視化系統(tǒng)，可以用來音樂分析和音樂可視化，通過對現(xiàn)場表演的實(shí)時語音及MIDI處理輸入，通過處理、分析，最后映射到虛擬角色中。系統(tǒng)以麥克風(fēng)和電子琴作為輸入?yún)?shù)，通過處理，提取出相關(guān)的音樂特征，隨后進(jìn)行情感檢測處理，實(shí)時性地用虛擬角色面部表情和動作變化、虛擬場景的變換來表達(dá)情感因素，最后通過大屏幕進(jìn)行顯示。

圖4一2音樂感知過濾層流程圖

音樂感知過濾層的作用是雙方面的。一方面，系統(tǒng)需要分析復(fù)雜的音樂數(shù)據(jù)輸入流，以便提取有意義的音樂特征來準(zhǔn)備后面的相關(guān)工作。另一方面，為了保證能模擬人類對音樂的情感反應(yīng)的要求，系統(tǒng)需要采用前人對音樂情感方面的研究方法來組織這些特征。為了使角色得到音頻信息流中的有用信息，系統(tǒng)需要將這種流變成一種簡單的格式。因此本文在系統(tǒng)框架中添加了這種額外的音樂感知過濾層。在這一層中系統(tǒng)通過分析輸入的音頻信息，提取出重要的音樂特征，然后再將該層的結(jié)果作為輸入傳送給角色及場景認(rèn)知層。為了對現(xiàn)場音樂表演中進(jìn)行特征提取，系統(tǒng)對麥克風(fēng)和電子琴的輸入進(jìn)行處理。本文采用MIDI接口和錄音設(shè)備從現(xiàn)場音樂輸入流中提取重要的特征，通過一系列變換處理，可以得到感興趣的特征如歌聲的音高、歌聲的振幅、歌聲的音調(diào)、描述歌手音色的數(shù)據(jù)等。同時，系統(tǒng)也對電子琴輸入的特定的和音感興趣，可以將輸入的MIDI信息與預(yù)定義的和音信息相比較，然后提取出匹配的和音信息。這樣，對現(xiàn)場原始數(shù)據(jù)進(jìn)行處理之后，就生成了音樂的數(shù)字化描述。最后再將這些提取出來的音樂特征發(fā)送到特征記錄器中進(jìn)行下一階段的處理，以便滿足復(fù)雜的實(shí)時的音頻分析的要求。

4.2.1特征提取

西方調(diào)式音樂，至少是由一系列音高、持久度和振幅組成，都是由一些和聲結(jié)構(gòu)的規(guī)則約束的。通過Hevner、Famsworth等人140，4’l的研究實(shí)驗表明，音樂是可以表達(dá)情感的，即使對不懂音樂的人來說，他們也會感知到音樂中的一些潛在的和聲規(guī)則產(chǎn)生的音樂情感，同時做出相關(guān)的情感反應(yīng)。在此音樂可視化系統(tǒng)中本文采用這些情感規(guī)則來處理音樂輸入，讓虛擬角色獲得認(rèn)知技能。在認(rèn)知層中，本文假定輸入的音樂是有調(diào)的，這樣可以方便在認(rèn)知層中對音樂情感意義的處理。因為該層提取出來的音樂特征在表演者和虛擬角色的整個交互過程中是最重要的，所以本文把主要精力放在對該感知層的處理上，在介紹該層時需要不少篇幅。對于電子琴的和音輸入，處理方法比較簡單，利用電子琴通過MIDI接口將音樂信號發(fā)送到計算機(jī)，根據(jù)電子琴的參數(shù)規(guī)格可以很方便地得到現(xiàn)場彈奏的音高、持久度、速度、力度等信息。樂音體系首先是由于唱歌實(shí)踐的結(jié)果而形成的，因此樂音體系中大部分的音是人的嗓音可唱的音。由于器樂的發(fā)達(dá)，就得用每秒鐘振動16次到4000次之間的若干音來補(bǔ)充樂音體系。雖然如此在樂器上最富于表現(xiàn)力的音域和人聲唱歌的音域是近乎一致的(頻率范圍大約為60到l000Hz)。

對于麥克風(fēng)輸入的歌聲的處理，系統(tǒng)可以通過錄音設(shè)備得到的數(shù)據(jù)，分析其頻率和振幅，參考國際標(biāo)準(zhǔn)音高(即鋼琴上小字一組的A)對應(yīng)的頻率為440Hz，每一個八度之間頻率增加一倍，比如C比上一音階的C，D比上一音階的D的頻率增加一倍。中間的頻率，按照十二平均律公式算出來:由此可以得到所有音高。振幅與音量、持久度有關(guān)，音量可以由系統(tǒng)自定義，將處于某一范圍的振幅認(rèn)為是音高對應(yīng)的音量，持續(xù)的時間即為音高的時值，或稱持久度。

4.2.2特征組織

為了組織和音內(nèi)容的輸入，本文采用現(xiàn)在通用的音樂編碼系統(tǒng)【59]。該編碼系統(tǒng)的核心是采用一種字母表的概念，選定一個參考的字母元素，其它所有元素就可以通過與這個參考元素的關(guān)系來描述出來。本文的音樂可視化系統(tǒng)需要編碼現(xiàn)場音樂輸入的特征信息，因此，本文選擇調(diào)的主音來作為參考音符。所有的后面感知到的音符都將使用該參考元素進(jìn)行編碼，因為它們都與調(diào)式音階的主音相關(guān)。下面舉一個例子來說明這種編碼系統(tǒng):在C調(diào)音樂中，主音音符C，將作為參考音符。如果選擇的字母表是半音階(一個音階包含12個半音)，D(即c上的

大二度)將用字母表中在主音參考音符之上的2步來代表，而喇即C上的小三度)則用字母表中在主音參考音符之上的3步來代表。音符是由音高和持久度組成的，上面描述的音樂編碼系統(tǒng)是針對音高的，再結(jié)合在電子琴中彈奏的持久度，系統(tǒng)可以描述每一個歌聲片斷中的音符。為了決定哪一個音符是被表演者強(qiáng)調(diào)的，本文可以采用這樣的方法:當(dāng)某音符有別于周圍其它的音符的時候就可以認(rèn)為該音符是被強(qiáng)調(diào)的，比如增大的音量或者高低音符間的突然的轉(zhuǎn)變。通過第三章提出的螺旋模型和調(diào)性確定算法，分析音高序列的前面若干個音高事件，確定該音樂的調(diào)性、節(jié)奏和速度，然后將特征提取階段得到的音高序列轉(zhuǎn)換為旋律，得到的所有這些數(shù)據(jù)就放到特征記錄器中，以便為下一階段的處理做好準(zhǔn)備。

4.3角色及場景認(rèn)知層

基于該層的感知處理，角色評估接收到的數(shù)據(jù)，決定應(yīng)該如何反應(yīng)。角色需要分析它們接收到的輸入和決定一個大致的反應(yīng)行為。在該層中，角色的個性是由如何感知事件進(jìn)而影響角色的內(nèi)部狀態(tài)來定義的。本節(jié)將描述系統(tǒng)的動畫角色是如何模擬一個對感知到的音樂特征的情感的理解的。

4.3.1情感檢tll

在認(rèn)知層中，由感知層發(fā)送過來的信息需要被接收和分析，用來模擬虛擬角色的內(nèi)部狀態(tài)。特征組織器中包含了這些現(xiàn)場音樂表演的信息(歌聲音程、每個歌聲音符的重要性數(shù)據(jù)、關(guān)于歌聲節(jié)奏的信息以及用戶彈奏的和音數(shù)據(jù))。然后本文需要模擬一個對感知數(shù)據(jù)的認(rèn)知意識，因為角色需要有一個通過動作表達(dá)出來的感興趣的內(nèi)部狀態(tài)。音樂表演的認(rèn)知意識可以采取多種形式。當(dāng)聽到一個關(guān)于愉快的特別的旋律時，角色可能會感覺到快樂，或者當(dāng)接收到一系列感覺恐怖的特定的和音，角色則可能會進(jìn)入一個恐懼的狀態(tài)。為了給角色的認(rèn)知創(chuàng)建一個有意思的和靈活的認(rèn)知層，本文選擇了Cooke在文獻(xiàn)[431中對音樂的研究，特別是對音樂情感的研究。Cooke在文獻(xiàn)[43}中的經(jīng)典研究為本文提供一個全新的視角來觀察音樂和情感之間的更一般性的關(guān)系。為了實(shí)現(xiàn)這種像角色喜歡一些特定的旋律而不喜歡另外一些，系統(tǒng)可以創(chuàng)建一個針對音樂理論特征的足夠靈活的角色用來模擬情感反應(yīng)。Cooke己經(jīng)從大量的音樂片斷中識別特定的特征，使用一種更一般性的方法提出使用在調(diào)式音樂中的一些特定的特征用來表現(xiàn)特定的情感概念Cooke識別出音階中所有十二個音符的基本的表達(dá)功能。如果一個旋律里包含很多小三度的實(shí)例，Cooke認(rèn)為這些片斷的恰當(dāng)解釋應(yīng)該是表達(dá)出“難以接受的”或者是“悲傷的”情感。很多著名的包含小三度的表達(dá)悲傷情感的音樂作品實(shí)例可以映證這個結(jié)論，例如Strauss的《蒂爾小丑》中蒂爾被處死的地方。相

反，Cooke引用美國流行歌曲《Polly一woll夢doodle》來說明大三度是代表“和諧的”或者“愉悅的”情感。通過應(yīng)用這種對音樂旋律的規(guī)則，系統(tǒng)可指定現(xiàn)場音樂表達(dá)的認(rèn)知意義。系統(tǒng)的音樂感知過濾層通過特征提取，對現(xiàn)場音樂的上下文描述了所有的音樂旋律中的音符。了解這些以后，本文可以很容易地將音高關(guān)聯(lián)到Cooke提出的情感上下文。這種情感上下文可以用來修改動畫角色的內(nèi)部狀態(tài)并月.觸發(fā)相關(guān)的反應(yīng)行為。該音樂動畫系統(tǒng)使用一個“驅(qū)動系統(tǒng)”來控制角色的行為。很多電腦游戲玩家都很熟悉這種機(jī)制，即這樣的驅(qū)動系統(tǒng)是操作在一定原則之上的，那就是一旦特定角色特征的級別達(dá)到了一個觸發(fā)的最大值或者最小值，角色的行為就被觸發(fā)。例如，當(dāng)角色的能量驅(qū)動達(dá)到最小值時，它就趴下睡覺，而當(dāng)能量驅(qū)動達(dá)到最大值時，它就馬上爬起來。系統(tǒng)的角色就是使用這種驅(qū)動系統(tǒng)來表達(dá)它們的情感狀態(tài)的。根據(jù)Cooke的理論，小三度意味著悲傷，而大三度則表示快樂。系統(tǒng)的角色可以有一個“快樂驅(qū)動”，當(dāng)歌手唱出一個包含很多大三度的旋律時，這個級別值就增加，而如果是小三度則減小。既然系統(tǒng)的感知層也可以分配相應(yīng)的意義值到每一個歌唱音符，“快樂驅(qū)動”的增加量或者減少量也可以由音符的意義值決定。提取出來的其它的音樂特征，如和音、歌唱音色等，也可以用來影響角色反應(yīng)的驅(qū)動。在現(xiàn)場音樂表演期間，對音樂輸入的認(rèn)知處理允許動畫角色維持一個變化中的情感狀態(tài)。音樂動畫表達(dá)層使用動畫來可視化角色行為，這種情感狀態(tài)隨后可以通過表達(dá)層傳達(dá)給觀眾。4.3.2其它因素的認(rèn)知

在情感色彩方面，調(diào)式是音樂的一種極重要的表現(xiàn)手法，因為它能表現(xiàn)內(nèi)容的某引起重要情調(diào)。在這方面說來，每一調(diào)式由于它的表現(xiàn)能力而在各種類型的作品中被應(yīng)用。調(diào)式和內(nèi)容的各種關(guān)系是極少有例外的。例如普通總是以大調(diào)來表現(xiàn)勝利，小調(diào)來表現(xiàn)悲傷、憂愁。可是調(diào)式能如此廣泛應(yīng)用還是因為作品中的內(nèi)容是由許多手法，如調(diào)式、旋律的方向、旋律中的音程、節(jié)奏、速度、音的強(qiáng)弱變化、音的力量、音區(qū)、音色等的結(jié)合來表現(xiàn)的，而式在這必需的結(jié)合中不

過是手法之一。完美的可視化呈現(xiàn)需要考慮多方面的因素，除了上述因素對情感方面的表現(xiàn)力之外，還應(yīng)考慮它們對其他心理感受的表現(xiàn)力。例如高的音高與低的音高相比，表現(xiàn)為亮、高、輕、小、敏捷;強(qiáng)的音比弱的音相比，表現(xiàn)為大、重、近;慢的音與快的音相比，表現(xiàn)為大、重、慢、穩(wěn)重;快的起音與慢的起音，表現(xiàn)為生硬、果斷、急躁、兇狠t421。

4.4角色及場景表達(dá)層

角色需要展示可視化的動作來表明它們認(rèn)知的狀態(tài)。當(dāng)一個動畫角色己經(jīng)處理了感知的數(shù)據(jù)并且決定做出怎樣的身體反應(yīng)行為時，這些行為將會通過動畫的形式表達(dá)出來。該音樂動畫系統(tǒng)在運(yùn)行時生成了這些動畫，可以通過一種過渡的動畫來逐步地添加到各種不同的預(yù)定義的姿勢之間。動畫的行為在情感或強(qiáng)度之間變化，從而體現(xiàn)出虛擬角色的認(rèn)知狀態(tài)。本節(jié)將描述角色和場景表達(dá)層是如何工作的。

4.4.1將音樂映射到行為

在認(rèn)知層中，角色的內(nèi)部狀態(tài)被定義好了。然后這種內(nèi)部的狀態(tài)通過表達(dá)層中自動生成的動畫來實(shí)現(xiàn)可視化。為了完成這種音樂可視化效果，系統(tǒng)需要創(chuàng)建一種足夠復(fù)雜的角色用來產(chǎn)生行為，這種行為被使用者和觀察者認(rèn)為將是音樂輸入的及時反應(yīng)。角色需要監(jiān)視感知層的數(shù)據(jù)，從而決定如何反應(yīng)。每一個角色需要注意特定類型的數(shù)據(jù)并且忽略其它的數(shù)據(jù)。有些角色可能對所有的歌聲的音高和振幅感興趣，而其它的角色僅僅關(guān)心從鍵盤輸入的大小和弦。這些決策是由設(shè)計出角色的程序設(shè)計者做出的，即角色只對特定數(shù)目的特征感興趣。下面就以一個角色來舉例說明。當(dāng)用戶唱出一個高于中央C的音高，在為該事件負(fù)責(zé)的音樂感知過濾層中，就在特征記錄器的旋律中就寫下該音高事件的發(fā)生。該角色監(jiān)視旋律中的音高信碩十學(xué)位論文第四章音樂可視化系統(tǒng)設(shè)計與實(shí)現(xiàn)息，當(dāng)感知到該事件的時候，它的注意力就馬上集中起來。該過程是由一段動畫來表示的，即角色當(dāng)事件的發(fā)生時轉(zhuǎn)變?yōu)楸磉_(dá)出一個“專心的”狀態(tài)。如果該角色長時間地沒有聽到任何歌聲，則它變得很無聊，然后開始趴下睡覺。只有當(dāng)用戶選擇發(fā)出另一個相似的音高，它才醒來，在這段時間里它的注意力不太集中，會忽略掉一些小小的噪聲。這種行為控制類型被稱為驅(qū)動機(jī)制，即對角色的每一個狀態(tài)都匹配一個驅(qū)動。更完善的驅(qū)動機(jī)制是，每一個驅(qū)動都有一定的級別值，驅(qū)動系統(tǒng)監(jiān)視每一個狀態(tài)的當(dāng)前的級別，當(dāng)?shù)竭_(dá)閉值時刁‘觸發(fā)相應(yīng)的行為。在上例中，與角色內(nèi)部狀態(tài)相關(guān)的是“無聊的”級別值，當(dāng)角色的“無聊的”驅(qū)動達(dá)到一定的閩值時，它就開始睡覺。當(dāng)它聽到用戶發(fā)出相關(guān)的聲音時這種“無聊的’，級別值就減小，而當(dāng)用戶不發(fā)聲的時候該級別值就增大。這是在用戶輸入與角色行為之間的一個很簡單的映射例子。如果角色能夠展示更加復(fù)雜的行為，那將是更有趣的事情。例如，當(dāng)聽到一個低音的音高時，角色就慢慢地扭轉(zhuǎn)頭，而當(dāng)它感知到一個很具攻擊性的聲音時，當(dāng)就突然轉(zhuǎn)移它的注意力。在感知到高音C時它甚至捂住耳朵。當(dāng)然，這些行為都是角色設(shè)計者設(shè)定的。設(shè)計者選擇角色的動作來模擬音樂輸入，同時也決定著如何進(jìn)行急劇的或是平滑的過渡用來展示音樂情感。

4.4.2動畫的實(shí)現(xiàn)方法

計算機(jī)動畫是計算機(jī)圖形學(xué)和藝術(shù)相結(jié)合的產(chǎn)物，綜合利用了計算機(jī)科學(xué)、藝術(shù)、數(shù)學(xué)、物理學(xué)和其它相關(guān)學(xué)科的知識，在計算機(jī)上生成豐富多彩的虛擬真實(shí)畫面。一般來說，計算機(jī)動畫分為關(guān)鍵幀動畫、變形動畫、過程動畫、關(guān)節(jié)角色動畫和基于物理的動畫。過程動畫指的是動畫中物體的運(yùn)動或變形由一個過程來描述。最簡單的過程動畫是用一個數(shù)學(xué)模型去控制物體的幾何形狀和運(yùn)動，如水波隨風(fēng)的運(yùn)動。較復(fù)雜的則包括物體的變形、彈性理論、動力學(xué)、碰撞檢測等?；谖锢砟Ｐ偷膭赢嫾夹g(shù)考慮了物體在真實(shí)世界中的屬性，如具有質(zhì)量、轉(zhuǎn)動慣矩、彈性、摩擦力等，并采用動力學(xué)原理來自動產(chǎn)生物體在各個時間點(diǎn)的位置、方向及其形狀。此外，動畫師不必關(guān)心物體運(yùn)動過程的細(xì)節(jié)，只需確定物體運(yùn)動所需的一些物理屬性及一些約束關(guān)系，如質(zhì)量、外力等，引入了轉(zhuǎn)動慣量、彈性系數(shù)和阻尼等概念，把分析計算分解為水平和垂直兩個獨(dú)立的方向，通過這種簡化，系統(tǒng)可以進(jìn)行實(shí)時模擬，為了達(dá)到實(shí)時的效果，在一定假設(shè)條件下化簡模型和運(yùn)動求解是非常必要的。本文的系統(tǒng)可以綜合運(yùn)用上述幾種方法。角色模型若是基于彈性關(guān)節(jié)的骨架模型，這就是關(guān)節(jié)動畫。動作姿態(tài)的變換若是由動態(tài)方程控制的，交互控制和碰撞檢測都用到了無質(zhì)量的彈簧模型，這就是基于物理的動畫方法。系統(tǒng)的腳本是姿態(tài)的順序編排，可以把腳本的每一行看作是一個關(guān)鍵幀，但這里的插值過程是系統(tǒng)根據(jù)物理原理自動完成的。其實(shí)用交互控制模型以設(shè)計姿態(tài)，也可以看作是模型由靜止?fàn)顟B(tài)的變形過程。

4.5系統(tǒng)的模擬實(shí)現(xiàn)

為了論證本文中主要的算法、解決方案的正確性與可行性，本節(jié)簡化了前面提出的系統(tǒng)并模擬實(shí)現(xiàn)了該系統(tǒng)。該模擬系統(tǒng)的相關(guān)設(shè)計與顯示結(jié)果如下所述。以Microsoft叭suaiC十+6.0作為開發(fā)環(huán)境，選擇基于對話框的MFC應(yīng)用程序進(jìn)行模擬。采用MIDI文件模擬現(xiàn)場音樂信號輸入，即便如此，本節(jié)仍實(shí)時分析音樂數(shù)據(jù)流，而不是對輸入的音樂全篇處理后再進(jìn)行分析，并在特定時間觸發(fā)相應(yīng)事件。只考慮音高特征，忽略速度、力度等特征。只考慮音樂在情感方面的表現(xiàn)力，忽略其對其它心理感受的表現(xiàn)力。在情感檢測方面，只考慮本文第二章中提到的基本術(shù)語的情感色彩，對單個的音程、和弦不予考慮。采用圖片集模擬角色的腳本動畫庫。

4.5.1數(shù)據(jù)結(jié)構(gòu)

音高事件(即音符)主要包括音高、起音、落音、時值、力度等信息，因此自

(1)調(diào)性確定算法

基于本文第三章提出的螺旋模型和調(diào)性確定算法進(jìn)行實(shí)現(xiàn)，在音高事件的個數(shù)到達(dá)預(yù)定義的數(shù)目時調(diào)用該調(diào)性確定函數(shù)，其偽代碼如圖4一6。初始化音效中心poiniCE為原點(diǎn);初始化當(dāng)前總Tick數(shù)nTicksum為0;

(2)情感匹配算法

在情感匹配之前，需要預(yù)定義一些情感術(shù)語，本模擬系統(tǒng)參考本文第二章中的情感術(shù)語如圖4一7。與死相聯(lián)系著的絕望的情感，白外返回的痛苦情感，即對悲哀的接受或屈服、消極的忍受或與死亡相聯(lián)系的絕望圖4一7情感匹配術(shù)語然后再對音樂的實(shí)時旋律進(jìn)行情感匹配，以小調(diào)為例，其偽代碼如圖4一8。試確定的調(diào)性的調(diào)式為小調(diào))道

4.5.3模擬結(jié)果

運(yùn)行后的模擬界面如圖4一9(a)?！氨O(jiān)聽”用來打開MIDI文件，模擬角色對現(xiàn)場音樂信號輸入的監(jiān)聽，當(dāng)演奏的音符數(shù)超過預(yù)定義的個數(shù)16時，點(diǎn)擊角色所在的圖形區(qū)域，程序以消息框的形式提示當(dāng)前音樂采用調(diào)性確定算法得到的調(diào)性，如圖4一9(b)。通過實(shí)驗，該模擬程序?qū)Ω饕魳返那?6個音符確定的調(diào)性如下:巴赫的《C大調(diào)賦格曲》，C大調(diào);巴赫的《E小調(diào)賦格曲》，E小調(diào);巴赫的《G小調(diào)賦格曲》，G小調(diào);貝多芬的《熱情奏鳴曲》，G小調(diào);德彪西的《月光》，Db大調(diào);李斯特的《圣誕之歌》，F(xiàn)大調(diào);肖邦的《雨滴》，Db大調(diào)。通過本模擬程序，進(jìn)一步驗證了螺旋模型和調(diào)性確定算法的正確性。

圖4一9模擬界面及調(diào)性確定

確定了該首音樂的調(diào)性之后，系統(tǒng)就開始對音符序列進(jìn)行情感匹配，并實(shí)時更新各情感驅(qū)動的級別值，當(dāng)某情感驅(qū)動的級別值到達(dá)它的閩值時就觸發(fā)相應(yīng)的動作。如圖4-10(a)，貝多芬的《熱情奏鳴曲》是在法國大革命時期英雄主義思想的啟示下創(chuàng)作的，其中那明晰生動的節(jié)奏，那熱情奔放的旋律，那星馳電擊的電流，無不深刻地體現(xiàn)了“人類的良知”，充分顯示了在戰(zhàn)斗洗禮中的英雄們那悲壯激烈、堅貞不屈的崇高精神。又如圖4一10偽)，李斯特在他的作品《圣誕之歌》中，極力表現(xiàn)一種天使和孩子們的天真、純潔和純粹的幸福。圖4一10模擬系統(tǒng)的情感表現(xiàn)

4.6本章小結(jié)

本章首先簡述了現(xiàn)有的音樂可視化系統(tǒng)的實(shí)現(xiàn)技術(shù)，指出其相關(guān)的應(yīng)用領(lǐng)域。然后著重闡述了本文擬采用的音樂可視化系統(tǒng)的解決方案，提出了系統(tǒng)處理流程，并對各個環(huán)節(jié)如音樂感知過濾層、角色及場景認(rèn)知層、角色及場景表達(dá)層進(jìn)行了比較詳細(xì)的介紹，描述了相關(guān)的實(shí)現(xiàn)原理及處理方法。由于麥克風(fēng)輸入的歌聲數(shù)據(jù)量很大，所以本文提出的系統(tǒng)只對這些數(shù)據(jù)提取一些主要的音樂特征如音高、振幅等，從而滿足實(shí)時性的要求。對于電子琴輸入的和音信息，系統(tǒng)也只對其中特定的信息感興趣，那就是與角色動作相關(guān)的情感信息。實(shí)現(xiàn)了模擬系統(tǒng)，進(jìn)一步論證了螺旋模型和調(diào)性確定算法的正確性以及系統(tǒng)解決方案的可行性。角色的多樣性、動作集、碰撞檢測、花草山水、風(fēng)雪煙霧、顏色變化等問題，有待進(jìn)一步研究。

第五章結(jié)論

現(xiàn)代社會，隨著工作節(jié)奏的加快和工作壓力的增加，人們愈加需要休閑和娛樂。信息技術(shù)的娛樂應(yīng)用也就成為計算機(jī)應(yīng)用的一個重要發(fā)展方向。同時，隨著計算機(jī)技術(shù)的發(fā)展，音樂可視化日益得到研究機(jī)構(gòu)和公司的重視，出現(xiàn)了各種音樂可視化系統(tǒng)。音樂可視化有著廣泛的應(yīng)用:音樂分析、信息檢索、表演分析、音樂教學(xué)、音樂認(rèn)知、情感表達(dá)、游戲娛樂。

5.1工作總結(jié)

本文通過對基于情感識別的實(shí)時交互式音樂可視化研究的初步探討，工作總結(jié)如下:

(l)研究了國內(nèi)外現(xiàn)有的音樂可視化系統(tǒng)。詳細(xì)地論述了音樂可視化的相關(guān)內(nèi)容，重點(diǎn)介紹了音樂可視化的研究內(nèi)容、研究進(jìn)展。

(2)總結(jié)和分析了音樂情感方面的研究。圍繞音樂到底是一種怎樣的藝術(shù)、表現(xiàn)了一種什么樣的世界、能否表達(dá)情感以及如何表達(dá)情感等問題進(jìn)行描述，對音樂的心理學(xué)也作了簡單介紹。

(3)提出了螺旋模型及調(diào)性確定算法。提出了一種螺旋模型，在此基礎(chǔ)上提出調(diào)性確定算法，并通過理論及實(shí)例論證了模型和算法的正確性和實(shí)用性。(4)提出了系統(tǒng)設(shè)計方案及實(shí)現(xiàn)了模擬系統(tǒng)。闡述了本文的系統(tǒng)采用的解決方案，描述了系統(tǒng)流程及處理機(jī)制，并實(shí)現(xiàn)了一個系統(tǒng)簡化版本的模擬系統(tǒng)，有著較好的效果。

5.2研究展望

(l)音樂特征的提取

音樂中有各種各樣的特征，如頻率、振幅、音色、音調(diào)、音高、音長、和弦、速度、響度、節(jié)拍及近來提出的一些新的特征，如能量、過零率、頻譜矩、頻譜流、帶寬、帶周期、噪音幀率等。音樂中有如此多的特征，對每種特征都進(jìn)行提取是很耗費(fèi)時間的，也是很不現(xiàn)實(shí)和沒有必要的。因此，應(yīng)該根據(jù)音樂可視化的應(yīng)用方面的要求，提取出音樂中的那些必要的特征，忽略或者去除那些不必要的特征，從而縮短程序運(yùn)行時間，達(dá)到實(shí)時性等方面的要求。在交互式的音樂可視化系統(tǒng)中，對于不同輸入設(shè)備(如麥克風(fēng)和MIDI輸入設(shè)備)得到的數(shù)據(jù)，對其特征提取的方法也應(yīng)該是不一樣的。此外，音樂的風(fēng)格也是多樣化的，最大的分類是嚴(yán)肅音樂和流行音樂，而流行音樂下有鄉(xiāng)村音樂、民謠、爵士樂、搖滾樂、流行美聲等分類，如果能在對音樂的特征提取過程中得到音樂的分類，然后采用不同的可視化風(fēng)格來反映這些不同的音樂風(fēng)格，效果一定會更好一些。因此，在特征提取過程中得到音樂風(fēng)格的特征，是音樂可視化進(jìn)丫步的追求目標(biāo)。

(2)對音樂的情感檢測與情感表達(dá)

音樂既是一種娛樂方式，也是抒發(fā)作曲者和歌手情感的手段。情感因素是音樂中的一個重要的特征，在音樂可視化研究中越來越受到重視。因此，必須建立一個完善的情感檢測以及情感表達(dá)機(jī)制。這種情感檢測機(jī)制應(yīng)當(dāng)是綜合性的，包括對音樂風(fēng)格的分析、對音樂與情感關(guān)系的準(zhǔn)確刻畫、聯(lián)覺中的各音樂特征與情感的對應(yīng)。情感表達(dá)機(jī)制還應(yīng)擴(kuò)充表達(dá)情感的角色的動作集，盡可能準(zhǔn)確地表達(dá)出盡可能多的情感。

(3)以用戶為中心的系統(tǒng)設(shè)計

應(yīng)用系統(tǒng)的設(shè)計應(yīng)該以用戶為中心，也就是說要有靈活的圖形用戶界面(GuD，實(shí)時性地反應(yīng)用戶的操作，用戶的操作和輸入的方式要盡可能地簡單，而輸出的結(jié)果要盡可能完美，等等。這就要做好用戶需求調(diào)查和分析。在設(shè)計音樂可視化系統(tǒng)之前，必須要對用戶的需求進(jìn)行調(diào)查和分析，以此來確定系統(tǒng)的用戶類型和應(yīng)用類型，如教育方面的音樂教師和學(xué)生，商業(yè)娛樂方面的大眾人群等，從而設(shè)計相應(yīng)的可視化系統(tǒng)。

(4)場景對象和動作建模

WindowsMediaPlayer中的可視化效果是音樂可視化的雛形，并為音樂可視化提供了一個有用的參照。但是它的可視化效果過于簡單和單調(diào)，使得用戶感覺到這些可視化模式與所播放的音樂之間并沒有什么關(guān)系，只是有一些微小的變化重復(fù)出現(xiàn)而己。這種面向大眾的音樂可視化的娛樂應(yīng)用，應(yīng)該要另辟蹊徑，采用場景以及角色對象來實(shí)現(xiàn)，角色對象可以是各種擬人化的動物、花草樹木、自定義的動畫角色甚至人本身，而場景對象可以是山河湖泊、花草樹木等。為了避免角色的動作種類太少或者場景對象的種類太少而產(chǎn)生的單調(diào)性，以及表達(dá)音樂中各種復(fù)雜的情感因素，就必須盡量擴(kuò)充角色的動作集，增加場景對象的種類。

(5)虛擬現(xiàn)實(shí)技術(shù)的硬件和軟件支持

音樂可視化要有好的沉浸感，就要用到虛擬現(xiàn)實(shí)技術(shù)。這就需要解決相關(guān)的硬件設(shè)備和軟件技術(shù)方面的支持問題。硬件設(shè)備方面，三維立體聲設(shè)備、大屏幕主要有洞穴狀、圓柱型或者由矩形塊拼接成的大屏幕)投影設(shè)備等是必不可少的。大屏幕的立體顯示、實(shí)體大小的虛擬角色以及用戶輸入接口的最自然的方法都可以幫助減少現(xiàn)實(shí)和虛擬的距離，讓用戶體驗與虛擬角色之間的真正的交互過程，從而產(chǎn)生強(qiáng)制性的沉浸感。軟件技術(shù)方面，如碰撞檢測算法，以此來確保虛擬角色的行走路徑和活動范圍的合理性;豐富的特效，如模擬火焰、水流、煙霧、雨雪等，光照、陰影等，花草樹木隨風(fēng)擺動、實(shí)時水波等;觸發(fā)機(jī)制和動作定義，由特定的音樂特征觸發(fā)角色相應(yīng)的動作，通過給定的幾個參數(shù)就可以實(shí)現(xiàn)各種動作等。

(6)機(jī)群并行處理問題

由于視覺效果是對音樂播放的補(bǔ)充，因此，不能由于處理可視化效果而占用了大量的CPU處理時間而使得音樂本身播放的不連續(xù)或者可視化效果的不連續(xù)因此，一個效果好的音樂可視化系統(tǒng)需要性能優(yōu)化的算法以及高性能的計算機(jī)(也包括高性能的顯卡和聲卡)等方面的支持。如果要實(shí)現(xiàn)的算法和功能足夠復(fù)雜，如三維的虛擬現(xiàn)實(shí)技術(shù)，則需要將多臺計算機(jī)組成一個網(wǎng)絡(luò)，進(jìn)行機(jī)群并行處理操作，由不同的計算機(jī)處理不同的功能，在盡量短的時間內(nèi)實(shí)現(xiàn)總體功能。

致謝

光陰似箭，回顧碩士研究生三年，首先要感謝我敬愛的導(dǎo)師黃東軍教授。在本論文完成的過程中，導(dǎo)師注入了極大的心血，給予了悉心的指導(dǎo)，導(dǎo)師的及時指點(diǎn)和幫助使我不致迷失方向，并在老師的指導(dǎo)下得到研究動力和靈感。導(dǎo)師不僅教授給我研究方法，還對我的生活悉心照顧，讓我更加明白人間有情，更加端正學(xué)習(xí)態(tài)度、熱愛生活。導(dǎo)師嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度、孜孜不倦的進(jìn)取精神給我留下了深刻的印象。上研以來，由于家里的一些原因，我一度處于人生的低谷，是導(dǎo)師，給予我很大的關(guān)心，時刻牽掛著我的生活、學(xué)習(xí)情況，讓我真真切切地感受到了老師那種長輩對晚輩無微不至的關(guān)懷和悉心的培養(yǎng)。我在學(xué)業(yè)上的點(diǎn)滴進(jìn)步都飽含了導(dǎo)師的心血。感謝信息科學(xué)與工學(xué)院的全體老師，特別是陳松喬教授、徐德智教授、王國軍教授和沙莎教授在我撰寫論文過程中提出的寶貴意見和無私幫助。感謝楊珊、童卡娜、李晶晶、陳濤、文展等同門與我一起走過碩士研究生階段的美好時光。感謝吳俠、賀建新、周偉、胡周軍、陳斌華等好友在學(xué)習(xí)和生活上的每一份無私的幫助。最后還要感謝我的母親，母愛深深，每一份感動都化為我學(xué)習(xí)中的動力。感謝我的妹妹，一直以來她都給我極大的鼓勵和支持。感謝屈文波、屈黎明、屈苗等摯友，給我生命中注入樂趣與活力。特別感謝我的朋友王煥云，她給我的關(guān)心和督促，使我能全心全意的投入到研究工作中去，不曾懈怠，順利的完成我的學(xué)業(yè)，并在我求職時給我加油打氣。在此，我謹(jǐn)向所有關(guān)心和幫助我的人表示最衷心的感謝!