前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇web3d技術(shù)論文范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

web3d技術(shù)論文范文第1篇

原文

引言

Flash日益成為主流的網(wǎng)上多媒體形式，越來越多的人嘗試使用Flash來設(shè)計整個網(wǎng)站。雖然互聯(lián)網(wǎng)上已經(jīng)出現(xiàn)了許多用Flash設(shè)計的精彩網(wǎng)站，但是目前國內(nèi)使用Flash和后臺數(shù)據(jù)庫結(jié)合的技術(shù)來開發(fā)電子商務(wù)網(wǎng)站的應(yīng)用還比較少。并且目前絕大部分電子商務(wù)網(wǎng)站的產(chǎn)品展示只僅僅停留在文字和二維圖片上，消費者不能從多角度，全方位接觸產(chǎn)品。在本次畢業(yè)設(shè)計中作者本著探索的精神嘗試結(jié)合現(xiàn)今熱門的FLASH和web3d技術(shù)為有意于建立自己電子商務(wù)網(wǎng)站的公司提供一個基于后臺數(shù)據(jù)庫的多媒體電子商務(wù)交易網(wǎng)站的解決方案。使其能在網(wǎng)上建立自己的個性化商業(yè)網(wǎng)站，商品信息，為消費者提供服務(wù)，憑借Internet接觸更廣泛的客戶，延伸和擴(kuò)大銷售渠道，樹立良好的企業(yè)形象。

第一章電子商務(wù)和電子商務(wù)系統(tǒng)的概念

1.1電子商務(wù)

1.1.1電子商務(wù)的基本概念

所謂“電子商務(wù)”就其本質(zhì)而言仍然是“商務(wù)”，其核心仍然是商品的交換，與傳統(tǒng)商務(wù)活動的差別主要體現(xiàn)在商務(wù)活動的形式和手段上。電子商務(wù)顧名思義主要是指以電子技術(shù)為手段的商務(wù)活動，它可以分成兩種類型：

廣義電于商務(wù)：泛指企業(yè)利用電子手段實現(xiàn)的商務(wù)及運作管理的整個過程，是各參與方通過電子方式而不是直接物理交換或直接物理接觸方式來完成的任何業(yè)務(wù)交易。

狹義電子商務(wù)：是指通過Internet或電子數(shù)據(jù)交換（EDI）進(jìn)行的交易活動，從這一點出發(fā)，也有人將電子商務(wù)稱為IC（InternetCommerce）。目前，電子商務(wù)則主要指狹義的電子商務(wù)。

1.1.2電子商務(wù)的基本特征

（1）縮短生產(chǎn)商和消費者的距離，使交易雙方面臨的商業(yè)機(jī)會擴(kuò)大。電子商務(wù)條件下，供應(yīng)商及消費者面臨更多的機(jī)會。從市場角度看，Internet實際是一個虛擬的交易市場，在此市場中參與交易的成員能夠覆蓋整個世界，由于市場空間增大了，企業(yè)能夠擁有的客戶越多，其商業(yè)機(jī)會也越多。

......

目錄

第一章電子商務(wù)和電子商務(wù)系統(tǒng)的概念

第二章Flash技術(shù)介紹

第三章WEB3D和Cult3D技術(shù)介紹

第四章Flash&Web3D電子商務(wù)網(wǎng)站實現(xiàn)

第五章開發(fā)中使用的關(guān)鍵技術(shù)

第六章性能測試與分析

第七章結(jié)束語

參考資料

1.《電子商務(wù)實用教程》祁明主編高等教育出版社

2.《深入Flash5編程》5D多媒體北京科海集團(tuán)公司

3.《Flash5撼動網(wǎng)頁寶典》趙英杰著科學(xué)出版社

4.《FlashActionScript語法參考辭典》鄭伯鴻著中國鐵道出版社

5.《Flash5高級用戶手冊》盧驍著機(jī)械工業(yè)出版社

6.《PHP&MySQL商業(yè)網(wǎng)站架設(shè)實務(wù)》吳佳諺著中國鐵道出版社

7.《PHP4.x與電子商務(wù)網(wǎng)站開發(fā)實戰(zhàn)》周浩著人民郵電出版社

......

web3d技術(shù)論文范文第2篇

【關(guān)鍵詞】微格教學(xué)；虛擬交互社區(qū)（VIC）；遠(yuǎn)程教學(xué)

【中圖分類號】G40-057 【文獻(xiàn)標(biāo)識碼】B 【論文編號】1009―8097（2009）06―0088―03

微格教學(xué)系統(tǒng)是教學(xué)技能訓(xùn)練的重要工具，它對于教師教學(xué)、人員培訓(xùn)、教師職前培訓(xùn)等都有重要的作用。隨著計算機(jī)、網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的發(fā)展以及教學(xué)改革的不斷深入，使得微格教學(xué)系統(tǒng)逐漸從模擬視、音頻信號的采集、處理與存儲向數(shù)字化的集成處理轉(zhuǎn)變，也為基于數(shù)字微格的協(xié)作學(xué)習(xí)提供了技術(shù)支撐，并為基于數(shù)字微格的遠(yuǎn)程學(xué)習(xí)提供了可能。

構(gòu)想中的遠(yuǎn)程虛擬微格教學(xué)系統(tǒng)，是一個基于Web2.0與Web3D并融合了3D網(wǎng)絡(luò)虛擬環(huán)境（NVE）和虛擬交互社區(qū)（VIC）概念的混合平臺。它通過三維環(huán)境建模真實重現(xiàn)微格訓(xùn)練教室，然后把各種同步的交流工具集成到3D虛擬環(huán)境，除了支持文本交談、音頻會話、視頻會議以及基于視頻的替身交互外，還具有社區(qū)支持功能，如：身份認(rèn)證和授權(quán)、學(xué)伴名單列表、在場狀態(tài)呈現(xiàn)（顯示誰在線、是什么情緒、追求什么類型的活動）等等。目的是在實現(xiàn)原有微格教學(xué)目標(biāo)的基礎(chǔ)上，擴(kuò)大受益面，系統(tǒng)所提供的沉浸感、臨場感（be there），可使在職教師不必親臨培訓(xùn)現(xiàn)場也能感受到學(xué)習(xí)的氛圍，強(qiáng)化微格教學(xué)訓(xùn)練過程的體驗。

一 虛擬交互社區(qū)（VIC）及其社會功能

虛擬交互社區(qū)（VIC）定義為3D網(wǎng)絡(luò)虛擬環(huán)境（NVE），在里邊許多有相同興趣和想法的人可以更容易地交流[1]。過去十年，VIC發(fā)展很快。當(dāng)今最流行的VIC是大規(guī)模多用戶角色扮演游戲（MMORPGs），全球擁躉數(shù)以億計，典型代表有Second Life、World of Warcraft等。這些VIC的共同點是，建立在高速終端PC上，擁有永久進(jìn)入網(wǎng)絡(luò)的帶寬。而且它們大多數(shù)依賴文本交談作為主要的交流方式（盡管一些已經(jīng)支持語音交流，但通常需要額外付費）。

大多數(shù)的VIC，用戶由虛擬動畫角色來代表，稱作替身，它們代表用戶在虛擬世界的位置和動作。學(xué)者P. Quax、C. Flerackers、T. Jehaes和W. Lamotte還提出了這些替身的擴(kuò)展――結(jié)合3D世界與實時視頻流的視頻替身（Video Avatar），將在線用戶的面部視頻信息融入到虛擬的三維場景中[2]。筆者認(rèn)為這樣的擴(kuò)展很適合遠(yuǎn)程虛擬微格教學(xué)的開展，因為其實時視頻流的傳輸能夠及時反映微格訓(xùn)練的實景，使得學(xué)習(xí)環(huán)境更具探索性和趣味性。

二 構(gòu)建遠(yuǎn)程虛擬微格教學(xué)系統(tǒng)的整體方案

遠(yuǎn)程虛擬微格教學(xué)系統(tǒng)是一個建立在虛擬交互社區(qū)（VIC）概念之上的微格教學(xué)系統(tǒng)。

1 邏輯結(jié)構(gòu)

遠(yuǎn)程虛擬微格教學(xué)系統(tǒng)的邏輯結(jié)構(gòu)如圖1所示。在系統(tǒng)中，需要構(gòu)建一個主虛擬微格訓(xùn)練教室和多個子教學(xué)訓(xùn)練基地，每一個訓(xùn)練基地都需要VIC的支持。分布于異地的子訓(xùn)練基地的成員可以在本地登錄系統(tǒng)進(jìn)行訓(xùn)練，通過Internet與主控室聯(lián)系，獲得訓(xùn)練指導(dǎo)與交流。

（1） 虛擬環(huán)境中的受訓(xùn)人員 VIC提供一個真實再現(xiàn)教學(xué)環(huán)境的虛擬教室場景。受訓(xùn)人員和指導(dǎo)人員之間的交流通過視頻替身進(jìn)行，將實時視頻信息融入到虛擬教室的三維場景中，實現(xiàn)準(zhǔn)虛擬會晤。而在會話（包括師生和學(xué)伴之間的會話）時則切換到一對一的實時視頻雙向交互模式，類似于使用一個遠(yuǎn)程會議系統(tǒng)。[3]因此，受訓(xùn)人員需裝備網(wǎng)絡(luò)攝像機(jī)（包括主攝像機(jī)與輔助攝像機(jī)，用于多角度拍攝）以及帶有耳機(jī)和話筒的耳麥。

在主控室授權(quán)的情況下，受訓(xùn)人員可以通過虛擬微格訓(xùn)練教室的嵌入式終端自主地進(jìn)行練習(xí)，并把訓(xùn)練情況實時地記錄在主控電腦的硬盤上。

（2） 虛擬環(huán)境中的指導(dǎo)人員與受訓(xùn)人員類似，指導(dǎo)人員通過虛擬環(huán)境的導(dǎo)航進(jìn)入虛擬教室。指導(dǎo)人員通過網(wǎng)絡(luò)觀察每位受訓(xùn)人員的教學(xué)過程，針對教學(xué)過程中出現(xiàn)的問題，進(jìn)行單獨地指導(dǎo)和評價，或者組織全體受訓(xùn)人員對共性的問題和優(yōu)秀教學(xué)實踐進(jìn)行觀摩、交流和評價。另外，指導(dǎo)人員具有獲取和傳送當(dāng)前的內(nèi)容和記錄音頻、視頻消息的權(quán)限。

2 主要功能

（1） 即時反饋功能該功能通過對受訓(xùn)人員在虛擬教室內(nèi)部活動的存取來實現(xiàn)。它可以通過簡單的網(wǎng)絡(luò)攝像機(jī)錄制，經(jīng)過采集卡實時采A/V流、再壓縮、編碼、上傳存儲到流媒體服務(wù)器，再由指導(dǎo)人員添加錄像課程，即提取A/V流，播放受訓(xùn)人員自身的表現(xiàn)，使其能夠?qū)崟r了解自身表現(xiàn)，通過自我診斷、反饋調(diào)節(jié)，實現(xiàn)自我完善。[4]

（2） 即時指導(dǎo)功能指導(dǎo)人員通過觀看受訓(xùn)人員的表現(xiàn)，來進(jìn)行實時指導(dǎo)。最簡單的方法可采用Net meeting來實現(xiàn)點到點的音頻和視頻對話。作為雙向可視，受訓(xùn)人員也可看到指導(dǎo)人員的畫面。

（3） 雙向交流功能實時遠(yuǎn)程交互可將指導(dǎo)人員的指導(dǎo)與遠(yuǎn)程受訓(xùn)人員練習(xí)的過程實時傳輸?shù)搅髅襟w編碼機(jī)，經(jīng)過采集卡的采集、編碼后實時上傳到流媒體服務(wù)器，再由流媒體服務(wù)器實時到終端計算機(jī)，從而達(dá)到教師和學(xué)生、學(xué)生和學(xué)生之間的雙向交流。

（4） 異步功能視頻點播傳統(tǒng)（VOD）能夠為受訓(xùn)人員提供各項教學(xué)技能的教學(xué)示范以及供觀摩見習(xí)的優(yōu)秀教師的課例等視音頻學(xué)習(xí)資源。借助流媒體技術(shù)，通過視頻采集卡將豐富的電視教材的音、視頻信號進(jìn)行壓縮錄制成流媒體文件，通過站點進(jìn)行網(wǎng)絡(luò)直播，或者保存為相應(yīng)的流媒體文件后，根據(jù)學(xué)生的需要進(jìn)行播放，實現(xiàn)異步教學(xué)。[5]

3 網(wǎng)絡(luò)架構(gòu)及相關(guān)協(xié)議

系統(tǒng)的網(wǎng)絡(luò)架構(gòu)，其邏輯實體由四個擔(dān)負(fù)不同職責(zé)的服務(wù)器構(gòu)成，分別為會話服務(wù)器、A/V流媒體服務(wù)器、VIC服務(wù)器和數(shù)據(jù)庫服務(wù)器。會話服務(wù)器管理授權(quán)用戶、注冊用戶的登錄和離開，也用來初始化A/V傳輸會話。為了傳輸和管理這些會話，使用了會話發(fā)起協(xié)議SIP。A/V流媒體服務(wù)器用來傳輸。點對點傳輸僅在有兩個對象參與時才可能。當(dāng)更多對象參與時，就需要使用傳輸服務(wù)器，因為多個對象之間點對點連接由于帶寬限制是不可能建立的。本方案把單個流發(fā)給傳輸服務(wù)器，然后再轉(zhuǎn)發(fā)給不同對象，這樣每個參與者僅需要發(fā)送單個A/V流而不是給每個參與者都發(fā)一個。會話服務(wù)器負(fù)責(zé)指明客戶端使用哪個傳輸服務(wù)器（假如一個以上可用的話）。由于A/V流的實時特點，實時傳輸協(xié)議（RTP）是顯然的協(xié)議選擇。其他更有效的A/V流傳輸?shù)目赡苄允鞘褂媒M播。[6]為了不超過128kbps（或256kbps）的上傳帶寬限制，我們需要壓縮A/V流。目前使用MPEG-4 80Kbit QCIF壓縮視頻，Speex Narrowband 15Kbit壓縮音頻，實現(xiàn)可用帶寬的最優(yōu)化。[7]管理3D 虛擬環(huán)境的同步化和持續(xù)性是VIC服務(wù)器的職責(zé)。它包括傳輸虛擬世界本身、物體和用戶狀態(tài)的實時顯示以及管理、儲存一個連續(xù)的世界狀態(tài)。文件傳輸通過使用文本傳輸協(xié)議（FTP）。數(shù)據(jù)庫服務(wù)器為存儲于數(shù)據(jù)庫中的兩類數(shù)據(jù)服務(wù)：一類數(shù)據(jù)包含用戶個人信息諸如A/V參數(shù)和社區(qū)地址列表的配置文件，另一類數(shù)據(jù)是該服務(wù)器傳輸和存儲（共享）的媒體及其他數(shù)據(jù)文件。底層協(xié)議使用了FTP和超文本傳輸協(xié)議（HTTP）。網(wǎng)絡(luò)架構(gòu)及使用的相關(guān)協(xié)議如圖2所示。

4 硬件和網(wǎng)絡(luò)要求

VIC平臺可經(jīng)由語言（如C++）編程運行于大多數(shù)的Windows系統(tǒng)。對于網(wǎng)絡(luò)攝像機(jī)，320 x 240 像素、28fps就能提供較舒適的視覺觀感，它甚至能拍攝教室內(nèi)電視上播放的影片。關(guān)于音頻，可將耳機(jī)和話筒集成到網(wǎng)絡(luò)攝像頭，建議無線話筒與固定話筒一起使用，這要求將回音取消（AEC）功能整合到話筒或軟件中。最后，為了流暢地渲染3D 虛擬場景，客戶端的計算機(jī)還需配置3D 圖形加速卡。為了保持網(wǎng)絡(luò)信息流通量的最大化，A/V 流在輸出之前要求被壓縮，需選擇合適的壓縮標(biāo)準(zhǔn)。

三 結(jié)束語

本文提出了基于虛擬交互社區(qū)（VIC）平臺的遠(yuǎn)程虛擬微格教學(xué)系統(tǒng)架構(gòu)方案。這種新型的虛擬教學(xué)系統(tǒng)，無疑更有利于創(chuàng)設(shè)課堂教學(xué)情境，給遠(yuǎn)程學(xué)員帶來更多探究性的、有趣的學(xué)習(xí)氛圍。隨著系統(tǒng)功能的拓展和完善，其在教師教育培訓(xùn)領(lǐng)域的實際應(yīng)用價值將凸顯。同時，作為一種嘗試，系統(tǒng)功能遠(yuǎn)未完善，尚有許多關(guān)鍵技術(shù)有待解決，需進(jìn)一步深入的研究。

參考文獻(xiàn)

[1] JORISSEN Pieter, DI FIORE Fabian, Vansichem G, et al.A virtual interactive community platform supporting education for long-term sick children [EB/OL].

[2] Quax Peter, Flerackers Chris, Jehaes Tom, et al．Scalable transmission of avatar video streams in virtual environments [EB/OL].

[3][7] 李欣.面向遠(yuǎn)程教育應(yīng)用的“視頻化身虛擬教室”設(shè)計[J].電化教育研究,2008,(8):68-73.

[4] 王利興.微格教室的設(shè)計[J].現(xiàn)代教育技術(shù),2002,(4):62-63.

[5] 周劍輝,丁芳.基于網(wǎng)絡(luò)的微格教學(xué)環(huán)境設(shè)計[J].現(xiàn)代教育技術(shù),2007,(1):62-64.

[6] 饒雨泰.基于流媒體技術(shù)的校園網(wǎng)視頻點播服務(wù)器設(shè)計[J].科學(xué)技術(shù)與工程,2007,(6):1240-1246.

Constituting Long-range Virtual Micro-teaching System

QIANG Hong LI Xin

( College of Teacher Education , Zhejiang Normal University , Jinhua ,Zhejiang,321004,China )

web3d技術(shù)論文范文第3篇

【關(guān)鍵詞】Kinect；體感人機(jī)交互；學(xué)習(xí)平臺；多媒體科普電子書；研發(fā)

【中圖分類號】G40-057 【文獻(xiàn)標(biāo)識碼】B

【論文編號】1671-7384（2013）07/08-0096-06

所謂“體感交互”，就是指人能夠以身體最自然（比如手勢、體態(tài)、表情、語音等）的方式與終端進(jìn)行信息的交互并完成互動，這是真正意義上的“自然人機(jī)交互”。

體感交互技術(shù)代表著人機(jī)交互技術(shù)的發(fā)展方向，體現(xiàn)了對人的因素的重視，給人“充分的自由”，標(biāo)志著人機(jī)交互技術(shù)從“人適應(yīng)計算機(jī)”向“計算機(jī)不斷地適應(yīng)人”的方向發(fā)展。傳統(tǒng)的人機(jī)交互技術(shù)構(gòu)建的交互界面事實上成為隔離物質(zhì)世界和信息世界之間的屏障[1]。微軟公司新近推出的Kinect體感硬件及其交互技術(shù)的廣泛應(yīng)用，能有效地消除物理對象和抽象對象、輸入裝置和輸出裝置在交互空間中的差別，為人提供多感覺通道的自然臨境體驗，從而使交互系統(tǒng)能夠根據(jù)上下文及人的特點主動識別人的身體姿態(tài)、手勢、語音和表情等各種自然行為，進(jìn)而判斷出人的意圖。交互系統(tǒng)的使用和操控更加符合人的習(xí)慣，人可以用手勢、表情、語言、文字、圖像等自然方式與交互系統(tǒng)打交道，恰如與他人交流一樣自然。因此，Kinect深受IT教育領(lǐng)域的青睞，Kinect在教育領(lǐng)域的人機(jī)交互系統(tǒng)中的應(yīng)用研究如火如荼。

本文根據(jù)課題研究成果，在精要分析Kinect的結(jié)構(gòu)特性及其體感人機(jī)交互機(jī)理的基礎(chǔ)上，詳細(xì)闡述基于Kinect的兒童體感交式互多媒體電子書及其學(xué)習(xí)平臺（Basic On Kinect Posture Interaction learning System for Children，以下簡稱KPILSC）的結(jié)構(gòu)功能、系統(tǒng)模型、體態(tài)捕捉與識別、體態(tài)數(shù)據(jù)庫的構(gòu)建、學(xué)習(xí)內(nèi)容的設(shè)計及其開發(fā)工具與實現(xiàn)。

Kinect的結(jié)構(gòu)特性及其體感人機(jī)交互機(jī)理

Kinect工作時，首先是以紅外線發(fā)出人眼看不見的Class 1雷射光，透過鏡頭前的光柵擴(kuò)散片（Diffuser）將雷射光均勻分布投射在偵測空間中，再透過紅外線攝影機(jī)記錄下空間中的每個散斑，擷取原始數(shù)據(jù)后，透過晶片計算成具有3D深度的圖像[3]，然后將偵測到的3D深度圖像轉(zhuǎn)換到骨架追蹤系統(tǒng)。目前該系統(tǒng)最多可同時偵測到6個交互者的精確位置，并同時辨識2個交互者的動作；每個交互可記錄包含軀干、四肢以及手指等追蹤范圍的20組細(xì)節(jié)，實現(xiàn)全身體感交互操作[4]。

KPILSC的結(jié)構(gòu)功能

1. KPILSC的基本結(jié)構(gòu)

KPILSC是一套運行在X86架構(gòu)的PC機(jī)及Windows操作系統(tǒng)環(huán)境中，采用Microsoft Kinect體感硬件，借助Kinect捕捉交互者實時深度圖像視頻流與人體骨骼點追蹤的功能及其人體骨骼數(shù)據(jù)庫和體態(tài)捕捉與識別算法，通過人體動作捕捉與識別而實施的兒童體感交互式學(xué)習(xí)平臺。

2. KPILSC的基本功能

在KPILSC平臺中可以根據(jù)兒童的學(xué)習(xí)需要設(shè)計與開發(fā)一系列體感交互式學(xué)習(xí)產(chǎn)品。比如，（1）開發(fā)自然和諧的交互式科普實驗室：讓兒童在虛實結(jié)合的實驗室中以手勢互動方式解剖青娃、制作氫氣、駕馭太空飛船等。（2）構(gòu)建實時虛擬交互學(xué)習(xí)課堂：有效地實現(xiàn)學(xué)習(xí)內(nèi)容中虛擬世界的事物和兒童周圍真實環(huán)境的結(jié)合，加上體感隔空的互動方式，符合兒童天真、好動的心理，使其脫離呆板的學(xué)習(xí)模式，全身心融入到學(xué)習(xí)內(nèi)容之中，促進(jìn)其手眼協(xié)調(diào)，開發(fā)其智力、鍛煉其腦力，促進(jìn)兒童綠色地學(xué)習(xí)與健康成長。（3）制作交互式多媒體電子書：將科普圖書中原本用文字描述的情節(jié)轉(zhuǎn)換為具象、活靈活現(xiàn)的科普立體場景，兒童采用手指隔空翻頁：五指張開，頁面放大；手上下?lián)]動，頁面移動；雙手合攏，頁面關(guān)閉……使兒童在更加自然的操控界面中進(jìn)行更加自然的人機(jī)交互學(xué)習(xí)。

采用KPILSC學(xué)習(xí)平臺可有效地使兒童實現(xiàn)以下自然和諧的創(chuàng)新交互學(xué)習(xí)模式：

（1）實現(xiàn)以兒童為中心（Children-Centered）的多模態(tài)交互學(xué)習(xí)

KPILSC以兒童對人機(jī)交互的需求變化為出發(fā)點，充分利用人類多種感覺和效應(yīng)通道的互補特性[5]，使之可選擇地、充分地并行和協(xié)作來捕捉兒童的交互學(xué)習(xí)意圖，從而增進(jìn)兒童交互學(xué)習(xí)的自然性，交互學(xué)習(xí)時實現(xiàn)人機(jī)交互的外在形式和內(nèi)部機(jī)制都能符合不同兒童的需要，兒童可利用手勢、體態(tài)、語音、表情等自然方式，不受地點限制地與計算機(jī)進(jìn)行隔空交互，既能滿足兒童個性化的需要，又使得兒童不脫離自然社會關(guān)系，從而實現(xiàn)以兒童為中心的多模態(tài)交互學(xué)習(xí)。如通過模擬駕駛太空飛船的手勢來進(jìn)行漫游交互的操作、通過雙手的伸展來達(dá)到電子圖書的放大縮小等。

（2）實現(xiàn)多媒體感知式（（Multimdia Perceptive）的交互學(xué)習(xí)

KPILSC利用其感知及推理能力對來自兒童感覺和效應(yīng)通道的交互信號進(jìn)行識別、集成和協(xié)調(diào)，并獲取兒童動作和行為習(xí)慣、偏好及其他相關(guān)信息，并以人類易理解的多媒體信息方式為兒童輸出交互信息，從而提供不受時空限制而又效能最大化的個性化交互計算服務(wù)[6]。這種人機(jī)交互方式的雙向信息流動是以多媒體感知和處理為核心的：兒童通過其感覺和效應(yīng)通道傳遞的交互意圖在計算機(jī)內(nèi)表示為文本、語音、圖形和圖像等多媒體信息；人到機(jī)（Human to Compute）的信息流動是多媒體信息的獲取及識別過程；計算機(jī)經(jīng)過處理的信息是以文本、語音、圖形和圖像等兒童理解概念所需的多媒體信息形式展現(xiàn)出來；機(jī)到人（Computer to Human）的信息流動是多媒體信息的合成和呈現(xiàn)過程，從而使兒童能有效地實現(xiàn)多媒體感知式的交互學(xué)習(xí)。例如，在KPILSC中兒童可閱讀集文本、圖形、圖像、視頻和音頻為一體的體感交互式多媒體科普電子書，使兒童沉浸在活靈活現(xiàn)的科普立體場景中，通過手的移動隔空調(diào)控實驗儀器，通過手勢的擺動來達(dá)到切換科普立體場景中圖形、圖像、視頻和音頻等。

KPILSC的研發(fā)

1. 開發(fā)工具

KPILSC的開發(fā)工具包括C++與C#編程語言、Visual Studio 2010、Kinect for Windows SDK（簡稱Kinect SDK）、Adobe及Autodesk Maya三維設(shè)計軟件等。

其中Visual Studio 2010用來開發(fā)KPILSC學(xué)習(xí)系統(tǒng)的基本框架和用戶界面；C++與C#編程語言用來編寫KPILSC中體感交互的功能模塊；Kinect For Windows 1.0版SDK負(fù)責(zé)控制和讀取Kinect捕捉的人體骨骼數(shù)據(jù)流，Kinect for Windows SDK內(nèi)含驅(qū)動程序、豐富的原始感測數(shù)據(jù)、自然用戶和流程式開發(fā)接口（Raw Sensor Streams API）及安裝文件和參考數(shù)據(jù)；Autodesk Maya三維設(shè)計軟件用來設(shè)計和制作KPILSC系統(tǒng)中學(xué)習(xí)內(nèi)容所包含的三維模型素材；Adobe多媒體設(shè)計軟件用來負(fù)責(zé)KPILSC系統(tǒng)中音頻、視頻、圖片素材的處理。

2. KPILSC的系統(tǒng)模型

3. 肢態(tài)捕捉與識別

KPILSC系統(tǒng)結(jié)合Kinect的人體骨骼跟蹤引擎，采用動態(tài)圖像序列的識別方法，充分考慮兒童動作圖像的運動信息，把肢體變化的時間和空間信息結(jié)合起來，注重人體骨骼變化的過程，利用Kinect捕捉兒童姿態(tài)，經(jīng)過圖像識別分析、圖像跟蹤算法，對兒童基本骨骼點的空間位移進(jìn)行圖像信息檢索。將采集到的骨骼點的位置信息通過Kinect SDK進(jìn)行編碼，形成一組固定的位移數(shù)據(jù)。將這組位移數(shù)據(jù)的特征進(jìn)行分類，形成一套體態(tài)數(shù)據(jù)庫。

4. 體態(tài)數(shù)據(jù)庫特征匹配

在KPILSC中預(yù)先定義好一部分骨骼坐標(biāo)數(shù)據(jù)，并將這些坐標(biāo)數(shù)據(jù)與兒童不同類型的體態(tài)進(jìn)行特征匹配，建立一個帶觸發(fā)機(jī)制的體態(tài)數(shù)據(jù)庫。當(dāng)Kinect硬件捕捉到兒童骨骼的不同姿態(tài)，形成骨骼數(shù)據(jù)流輸入到計算機(jī)，骨骼數(shù)據(jù)流經(jīng)過體態(tài)數(shù)據(jù)庫的時候，數(shù)據(jù)庫會對當(dāng)前的骨骼數(shù)據(jù)坐標(biāo)做出特征匹配，讓電腦做出條件判斷邏輯，提取相對應(yīng)的學(xué)習(xí)內(nèi)容。我們可以預(yù)先針對這些被觸發(fā)的體態(tài)，設(shè)計好不同的操作方式或?qū)?yīng)的學(xué)習(xí)內(nèi)容。圖6為體態(tài)數(shù)據(jù)庫特征匹配的預(yù)設(shè)體感控制演示圖。

在KPILSC系統(tǒng)中，對體態(tài)數(shù)據(jù)庫設(shè)計的體態(tài)姿勢具體有以下幾種。

（1）兒童的右手“上”“下”“左”“右”的運動軌跡，分別控制鼠標(biāo)光標(biāo)的上下左右位移，功能為選擇相應(yīng)的學(xué)習(xí)內(nèi)容。

（2）兒童的左手“向上”運動，定義為鼠標(biāo)左鍵確認(rèn)鍵。

（3）兒童的左手“向下”運動，定義為鍵盤上的“ESC”退出鍵。

5. KPILSC學(xué)習(xí)內(nèi)容的交互設(shè)計

這里以兒童體感交互式多媒體科普電子書為例，介紹KPILSC中學(xué)習(xí)內(nèi)容的交互設(shè)計。

（1）肢態(tài)動作捕獲：兒童揮動雙手，進(jìn)行體感交互操作，Kinect硬件將這個過程進(jìn)行深度圖像流采集。

（2）肢態(tài)動作識別：KPILSC系統(tǒng)的體感交互模塊處理Kinect體感硬件采集的深度圖像流，對圖像流中的兒童動作進(jìn)行體態(tài)捕捉與識別，識別出兒童的交互意圖。接著將交互意圖轉(zhuǎn)換為電腦鍵盤的操作功能，從而實現(xiàn)兒童隔空對多媒體科普電子書的體感交互式操作功能。

（3） 輸出多媒體學(xué)習(xí)內(nèi)容：KPILSC系統(tǒng)將多媒體學(xué)習(xí)內(nèi)容（電子書）輸出到顯示設(shè)備上，兒童揮動雙手隔空操作，能夠?qū)Χ嗝襟w電子書進(jìn)行翻頁瀏覽及激活并播放其中的視頻、音頻與動畫等多媒體學(xué)習(xí)內(nèi)容。

7. KPILSC運行與調(diào)試

程序運行后如圖9所示，其中紅色圓顯示為實時跟蹤定位的骨骼點狀態(tài)，綠色圓表示了手部做了運動，按鍵被觸發(fā)。經(jīng)測試，程序能夠正確處理手部的追蹤與按鍵的觸發(fā)。本程序主要的功能為：通過Kinect硬件捕獲手部運動，觸發(fā)鍵盤上的“Right”、“Left”方向鍵，從而達(dá)到體感人機(jī)交互，隔空翻書的目的。

本文研究的“基于Kinect的兒童體感交式互學(xué)習(xí)平臺”可以運行在一般家庭現(xiàn)有的電腦系統(tǒng)中，讓活潑好動的兒童在學(xué)習(xí)時能遠(yuǎn)離電腦輻射的傷害，通過揮動雙手來進(jìn)行隔空操控，只要在Kinect紅外攝像頭所能捕捉的有效范圍內(nèi)，兒童手指的任意移動都能被精確地確認(rèn)位置。由于該學(xué)習(xí)平臺的人機(jī)界面是能模擬多種智能和真實環(huán)境的虛擬空間，實現(xiàn)“無形而又無處不在，有形而又自然和諧”的普適交互方式，兒童能以最自然和“身臨其境”的方式來完成所需要的互動學(xué)習(xí)，使兒童的雙手得到了全身心的解放，從而為兒童創(chuàng)造了激發(fā)無限想象力的空間?？梢灶A(yù)計，隨著體感交互技術(shù)的成熟及其應(yīng)用研究的深入，體感交式互學(xué)習(xí)平臺代表著未來兒童學(xué)習(xí)媒體研發(fā)的新方向。