前言：想要寫出一篇令人眼前一亮的文章嗎？我們特意為您整理了5篇梯度下降法的基本原理范文，相信會為您的寫作帶來幫助，發(fā)現(xiàn)更多的寫作思路和靈感。

梯度下降法的基本原理范文第1篇

關(guān)鍵詞：計算機(jī)聲卡；譜相減；語音增強(qiáng)系統(tǒng)；分析

1. 前言

計算機(jī)聲卡是多媒體技術(shù)中最基本的組成部分，是實現(xiàn)聲波／數(shù)字信號相互轉(zhuǎn)換的一種硬件。聲卡的基本功能是把來自話筒、磁帶、光盤的原始聲音信號加以轉(zhuǎn)換，輸出到耳機(jī)、揚(yáng)聲器、擴(kuò)音機(jī)、錄音機(jī)等聲響設(shè)備，或通過音樂設(shè)備數(shù)字接口(MIDI)使樂器發(fā)出美妙的聲音。在語音信號的理論和應(yīng)用中，所用的語音數(shù)據(jù)大部分都是在接近理想的條件下采集的。然而，在語音通信過程中會不可避免的受到各種噪聲的干擾，這種干擾將最終導(dǎo)致接收者接收到的語音信號已非純凈的原始語音，而是受到噪聲污染后的帶噪語音。

2. 基于計算機(jī)聲卡的語音增強(qiáng)系統(tǒng)

在語音信號的理論和應(yīng)用中，所用的語音數(shù)據(jù)大部分都是在接近理想的條件下采集的。大多數(shù)語音識別和語音編碼在開始研究時都要在高保真設(shè)備上錄制語音，尤其要在無噪環(huán)境下錄音。然而，在語音通信過程中會不可避免的受到各種噪聲的干擾，這種干擾將最終導(dǎo)致接收者接收到的語音信號已非純凈的原始語音，而是受到噪聲污染后的帶噪語音，因而有必要對語音信號進(jìn)行增強(qiáng)處理。語音增強(qiáng)的目的主要有兩個：一是改進(jìn)語音質(zhì)量，消除背景噪聲，使聽者樂于接受，不感覺疲勞，這是一種主觀度量；二是提高語音可懂度，這是一種客觀度量。這兩個目的往往不能兼得。

基于計算機(jī)聲卡的語音增強(qiáng)系統(tǒng)作為一種抑制背景噪聲、提高語音質(zhì)量的有效手段，在實際應(yīng)用中有重要價值。語音增強(qiáng)是一種當(dāng)語音通信系統(tǒng)的輸入或輸出信號受到噪聲干擾時提高其性能的技術(shù)。它的主要目的是降低背景噪聲，提高語音質(zhì)量或抑制同聲道語音干擾。簡單的講，就是從帶噪聲語音信號中提取盡可能純凈的原始語音。傳統(tǒng)的語音增強(qiáng)的方法有很多，如：濾波器法語音增強(qiáng)，非線性處理語音增強(qiáng)，減譜法語音增強(qiáng)，自相關(guān)相減法語音增強(qiáng)等等。噪聲對消的基本原理是從帶噪語音中減去噪聲。自適應(yīng)濾波是研究一類結(jié)構(gòu)和參數(shù)可以改變或調(diào)整的系統(tǒng)。自適應(yīng)濾波器通常采用FIR濾波器，其系數(shù)可以采用最小均方(LMS)法進(jìn)行估計。最小均方（LMS）算法的基本思路與梯度下降法是一致的，不同之處僅在于計算中用梯度向量的估計來代替真實的梯度。所以說，LMS算法是由梯度下降法導(dǎo)出的，是對梯度下降法的近似簡化，更符合實際應(yīng)用。

3. 譜相減算法

譜相減方法是單通道語音增強(qiáng)的重要算法，由于該方法計算簡單，易于實現(xiàn)，在濾除加性平穩(wěn)噪聲方面顯示了極大的優(yōu)越性。譜相減里面利用FFT,所以經(jīng)常采取半幀重疊，功率譜相減,開方得到幅度譜,按照信號時頻變換公式:

f(t)->F(w)=F(w)exp(j*thta),

這樣才能進(jìn)行逆變換.顯然只有幅度譜是不夠的,必須有相應(yīng)的相位譜;純凈語音的相位譜又不可能從含噪語音的相位里分離出來,所有就粗略地用噪聲信號的相位來代替了,所以一般叫""插入相位""?；谟嬎銠C(jī)聲卡的譜相減語音增強(qiáng)系統(tǒng)一般采用Matlab程序。

圖1 為基于計算機(jī)聲卡和Matlab平臺的語音信號采集處理系統(tǒng)。語言輸入通過傳聲器到A/D轉(zhuǎn)換器，將模擬信號轉(zhuǎn)換為數(shù)字信號，然后再通過Matlab平臺對語音信號進(jìn)行采集、處理和回收。然后又通過D/A轉(zhuǎn)換器，將數(shù)字信號轉(zhuǎn)換為模擬型號，通過揚(yáng)聲器進(jìn)行聲音回放，以達(dá)到譜相減語音增強(qiáng)的作用。

基本減譜法程序為：

梯度下降法的基本原理范文第2篇

1.1概率性神經(jīng)網(wǎng)絡(luò)（PNN）

地震屬性和測井?dāng)?shù)據(jù)的關(guān)系，并不一定是線性的，利用概率性神經(jīng)網(wǎng)絡(luò)的方法彌補(bǔ)井和地震間的非線性關(guān)系。概率性神經(jīng)網(wǎng)絡(luò)（PNN）類似于多維屬性空間上的克里金，采用了局部化的作用函數(shù)，具有最佳逼近特性，且沒有局部極小值。每個輸出點把新點處的新屬性組與已知的培訓(xùn)例子中的屬性進(jìn)行比較來確定的，得到的預(yù)測值是培訓(xùn)目標(biāo)值的加權(quán)組合。概率神經(jīng)網(wǎng)絡(luò)方法具有高度的容錯性，即使某個井旁道地震參數(shù)或某個網(wǎng)絡(luò)連接有缺陷，也可以通過聯(lián)想得到全部或大部分信息。因此，用概率神經(jīng)網(wǎng)絡(luò)建立地震屬性和測井特征屬性之間的映射關(guān)系可靠性高。概率神經(jīng)網(wǎng)絡(luò)方法還具有動態(tài)適應(yīng)性，當(dāng)?shù)刭|(zhì)巖性類別變化或地震參數(shù)修改時，網(wǎng)絡(luò)可自動適應(yīng)新的變量，調(diào)整權(quán)系數(shù)，直到收斂。對于受巖性控制的儲層，概率神經(jīng)網(wǎng)絡(luò)是描述其地震屬性參數(shù)與巖性參數(shù)關(guān)系的有效方法。概率神經(jīng)網(wǎng)絡(luò)是由多測井和多地震屬性參數(shù)組成的網(wǎng)絡(luò)。首先,將由測井曲線和井旁地震道提取的特征參數(shù)按照地質(zhì)巖性參數(shù)分成若干類;然后,通過非線性數(shù)學(xué)模型的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng),由輸入矢量產(chǎn)生輸出矢量,并把這個輸出矢量與目標(biāo)矢量進(jìn)行平方意義下的誤差對比;再以共軛迭代梯度下降法作權(quán)的調(diào)整,以減少輸出矢量與目標(biāo)矢量的差異,直到兩者沒有差異訓(xùn)練才結(jié)束。對于給定的培訓(xùn)數(shù)據(jù)，PNN程序假設(shè)測井值和每一輸出端的新測井值為線性組合，新數(shù)據(jù)樣點值用屬性值X表示可寫。這里σ是PNN使用的高斯權(quán)重函數(shù)的關(guān)鍵參數(shù)，來控制高斯函數(shù)的寬度。式（2）和式（3）是概率神經(jīng)網(wǎng)絡(luò)預(yù)測的基本原理，訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程實際上就是求解最優(yōu)平滑因子的過程。

1.2交互驗證增加屬性類似于多項式擬合增加高階項，增加多項式高階將會使預(yù)測誤差總是變小，但屬性的個數(shù)絕不是越多越好。隨著屬性個數(shù)的增多，對預(yù)測的結(jié)果的影響越來越小，會明顯削弱未參與神經(jīng)網(wǎng)絡(luò)訓(xùn)練的那些點的預(yù)測能力，甚至造成預(yù)測誤差反而增大,這種現(xiàn)象稱為過度匹配。而且參與運算的屬性過多，也會影響到運算速度，因此通過計算驗證誤差來確定最佳的屬性個數(shù)，防止過度匹配，該過程就稱為交叉驗證。通過蘊(yùn)藏井誤差分析的方法，驗證出現(xiàn)擬合過度的情況。求取遞歸系數(shù)時，選取一口井作為驗證井，不參與運算。利用擬合出的關(guān)系，得到驗證井的誤差值。以此類推，得到每一口井的誤差值，以參與運算井的平均誤差作為參考標(biāo)準(zhǔn)，來檢驗屬性組合個數(shù)是否出現(xiàn)擬合過度的情況。

2應(yīng)用實例分析

研究區(qū)內(nèi)油氣富集區(qū)主要為巖性控制，目的層段厚度70m左右，地震剖面上大約50ms，含油砂體主要發(fā)育在wellA，wellC附近，向周圍變化較快。針對目標(biāo)層T41-T43之間進(jìn)行井曲線交匯和巖性統(tǒng)計。wellA，wellC主要是含油砂巖，wellB、D、F主要是泥質(zhì)砂巖、煤層，巖性差別很大。但從速度、密度曲線交匯圖版（圖1）來看，曲線交匯統(tǒng)計重疊較大，很難區(qū)分含油砂巖和泥質(zhì)砂巖。wellA、wellB對應(yīng)層位巖性明顯不同，在地震剖面也體現(xiàn)同樣的反射特征。因此基于測井和地震模型為基礎(chǔ)的常規(guī)疊后波阻抗反演很難準(zhǔn)確識別這套含油砂巖。而更能反映巖性特征的GR曲線，則對這套砂體較為敏感，明顯地區(qū)分出了這套含油砂巖（如圖3所示）。因此我們采用本文介紹的神經(jīng)網(wǎng)絡(luò)技術(shù)，在常規(guī)波阻抗反演的基礎(chǔ)上，預(yù)測GR曲線特征體。經(jīng)過分析，把GR值65~75區(qū)間巖性賦值為含油砂巖，從而把這套儲層有效的區(qū)分出來，在此基礎(chǔ)上進(jìn)一步計算砂巖厚度（圖4）。

3結(jié)論

梯度下降法的基本原理范文第3篇

論文摘要:近幾十年里，數(shù)字信號處理技術(shù)取得了飛速發(fā)展，特別是在自適應(yīng)信號處理方面，通過內(nèi)部參數(shù)的最優(yōu)化來自動調(diào)節(jié)系統(tǒng)特性并以其計算簡單，收斂速度快等許多優(yōu)點而被廣泛使用。本文主要介紹了幾種常用的自適應(yīng)算法，如：LMS，RLS，NLMS等。分別就幾種算法在算法原理，算法性能分析和計算機(jī)仿真等方面來說明各種算法的優(yōu)越性。通過圍繞算法的優(yōu)缺點進(jìn)行比較，得出一些重要結(jié)論。最后對自適應(yīng)信號處理的一些應(yīng)用作了介紹和分析，并對其進(jìn)行了仿真。

Abstract：Inrecentdecades,digitalsignalprocessingtechnologyhasmaderapiddevelopment,especiallyinadaptivesignalprocessing.Theadaptivesignalprocessingalgorithmcanadjusttheinternalparametersoffilterstooptimizesystemcharacteristicsautomatically.Foritssimplecomputationalcomplexity,fastconvergencespeedandmanyotheradvantages,adaptivefilerhasbeenwidelyused.

Thispaperintroducesseveralcommonlyusedalgorithms,suchas:LMS,RLS,NLMS,etc..Throughtheprincipleofadaptivealgorithmanalysisandsimulation,weillustratethevariousaspectsoftheadaptivealgorithm’ssuperiority.Andthroughthecomparingoftheiradvantagesanddisadvantages,wecoulddrawsomeimportantconclusionsfordifferentalgorithm.

Keywords:Adaptivesignalprocessing,Adaptivefilter

1引言

自適應(yīng)信號處理是信號處理領(lǐng)域的一個非常重要的分支。作為自適應(yīng)信號處理基礎(chǔ)的自適應(yīng)濾波理論是對信號處理研究的一個重要方法，本文亦將它作為研究的手段。自適應(yīng)信號處理經(jīng)過近40年來的發(fā)展，隨著人們在該領(lǐng)域研究的不斷深入，其理論和技術(shù)已經(jīng)日趨完善。尤其是近年來，隨著超大規(guī)模集成電路技術(shù)和計算機(jī)技術(shù)的迅速發(fā)展，出現(xiàn)了許多性能優(yōu)異的高速信號處理專用芯片和高性能的通用計算機(jī)，為信號處理，特別是自適應(yīng)信號處理的發(fā)展和應(yīng)用提供了重要的物質(zhì)基礎(chǔ)。另一方面，信號處理理論和應(yīng)用的發(fā)展，也為自適應(yīng)信號處理的進(jìn)一步發(fā)展提供了必要的理論基礎(chǔ)。自適應(yīng)信號處理已經(jīng)在諸如噪聲對消，信道均衡，線形預(yù)測等方面得到廣泛的應(yīng)用。

本文主要研究的是自適應(yīng)信號處理中一些基本的算法，如：LMS，RLS，NLMS等。在學(xué)習(xí)和總結(jié)前人工作的基礎(chǔ)上，對各種算法進(jìn)行了詳細(xì)的推導(dǎo)，分析了它們的特點及性能，諸如穩(wěn)態(tài)特性，收斂條件及參數(shù)的取值。對其中的兩個基本算法LMS和RLS算法在收斂性和穩(wěn)定性進(jìn)行了分析比較，并用matlab仿真得到驗證。最后對自適應(yīng)處理的一些應(yīng)用作了簡要說明，如：噪聲對消，信道均衡，線性預(yù)測及陷波器等，并對其進(jìn)行了仿真。

1.1研究的目的和意義

常規(guī)的信號處理系統(tǒng)，利用自身的傳輸特性來抑制信號中的干擾成分，對不同頻率的信號有不同的增益，通過放大某些頻率的信號，而使另一些頻率的信號得到抑制。由于其內(nèi)部參數(shù)的固定性，消除干擾的效果受到很大的限制。通常許多情況下，并不能得到信道中有用信號和干擾信號的特性或者它們隨時間變化，采用固定參數(shù)的濾波器往往無法達(dá)到最優(yōu)濾波效果。在這種情況下，可以用自適應(yīng)處理系統(tǒng)，來跟蹤信號和噪聲的變化。

自適應(yīng)系統(tǒng)可以利用前一時刻已經(jīng)獲得的濾波器參數(shù)等結(jié)果，自動的調(diào)節(jié)現(xiàn)時刻的濾波器參數(shù)，以適應(yīng)信號和干擾未知的或隨時間變化的統(tǒng)計特性，從而實現(xiàn)最優(yōu)濾波。正是由于它在設(shè)計時需要很少或者無需任何關(guān)于信號和干擾的先驗知識就可以完成的優(yōu)點，所以發(fā)展很快，并得到廣泛的應(yīng)用。

1.2自適應(yīng)系統(tǒng)的組成

自適應(yīng)系統(tǒng)和常規(guī)系統(tǒng)類似，可以分為開環(huán)自適應(yīng)和閉環(huán)自適應(yīng)兩種類型。開環(huán)自適應(yīng)系統(tǒng)主要是對輸入信號或信號環(huán)境進(jìn)行測量，并用測量得到的信息形成公式或算法，用以調(diào)整自適應(yīng)系統(tǒng)自身；而閉環(huán)自適應(yīng)系統(tǒng)還利用系統(tǒng)調(diào)整得到的結(jié)果的有關(guān)知識去優(yōu)化系統(tǒng)的某種性能，即是一種帶“性能反饋”的自適應(yīng)系統(tǒng)。

下圖a表示一個開環(huán)自適應(yīng)系統(tǒng)，控制該系統(tǒng)的自適應(yīng)算法僅由輸入確定。圖b則表示一個閉環(huán)自適應(yīng)系統(tǒng)，控制該系統(tǒng)響應(yīng)的自適應(yīng)算法除了取決于輸入外，還依賴系統(tǒng)輸出的結(jié)果。

1.3基本自適應(yīng)算法

這里主要介紹LMS，RLS，NLMS三種基本算法。

LMS算法是最被廣泛應(yīng)用的濾波器演算法，最大的特點就是計算量小，易于實現(xiàn)。基于最小均方誤差準(zhǔn)則，LMS算法使濾波器的輸出信號與期望輸出信號之間的均方誤差最小。運算過程不需要對相關(guān)函數(shù)及復(fù)雜的反矩陣做運算，所以經(jīng)常拿來用作比較的基準(zhǔn)。

LMS算法為了便于其實現(xiàn)，采用誤差輸出模的瞬時平方值(即瞬時功率)的梯度來近似代替均方誤差的梯度。實際上我們可以直接考察一個由平穩(wěn)信號輸入的自適應(yīng)系統(tǒng)在一段時間內(nèi)輸出誤差信號的平均功率，即把平均功率達(dá)到最小作為測量自適應(yīng)系統(tǒng)性能的準(zhǔn)則，這就是RLS算法。換句話說，LMS算法是將輸出誤差信號的平均平方值最小化，而RLS算法是將輸出誤差信號平方值總和最小化。雖然RLS算法復(fù)雜度和階數(shù)平方成正比，但是由于它的收斂速度快，所以仍然受到廣泛的應(yīng)用。

為克服常規(guī)的固定步長LMS自適應(yīng)算法在收斂速率，跟蹤速率與權(quán)失調(diào)噪聲之間的要求上存在的較大矛盾，許多學(xué)者提出了各種各樣的改進(jìn)型LMS算法。比如歸一化LMS，基于瞬變步長LMS以及基于離散小波變換的LMS自適應(yīng)濾波算法。這里我們討論歸一化的LMS算法，即NLMS算法。

以上這些算法主要特點是不需要離線方式的梯度估值或者重復(fù)使用樣本數(shù)據(jù)，而只需在每次迭代時對數(shù)據(jù)作“瞬時”梯度估計。因此自適應(yīng)過程中的迭代比較簡單，收斂速度比較快。

1.4Matlab語言介紹

本文的算法仿真采用了MATLAB語言。MATLAB是Mathworks公司于20世紀(jì)80年代推出的數(shù)值計算軟件，近些年來得到了廣泛的應(yīng)用。MATLAB的全稱是MatrixLaboratory，意思是矩陣實驗室。它是以矩陣運算為基礎(chǔ)的新一代程序語言。與Fortran和C相比，MATLAB語句顯得簡單明了，更加符合人們平常的思維習(xí)慣。同時，MATLABB有著良好的數(shù)據(jù)可視化功能，能將數(shù)字結(jié)果以圖形的方式表現(xiàn)出來，讓人們一目了然。這些特點使得MATLAB從眾多數(shù)值計算語言中脫穎而出，并正以相當(dāng)快的速度在科學(xué)研究和工程計算中得到應(yīng)用和普及。

MATLAB有著非常強(qiáng)大的數(shù)值計算能力，它以矩陣為基本單位進(jìn)行計算，數(shù)域擴(kuò)展到復(fù)數(shù)，這一特點決定了MATLAB有著非凡的解決數(shù)值問題的能力。繪圖方面，MATLAB的繪圖語句簡單明了，功能齊全。它能夠在不同坐標(biāo)系里繪制二維、三維圖形，并能夠用不同顏色和線型來描繪曲線。正是由于MATLAB這些特點，從而使它適合與進(jìn)行自適應(yīng)算法仿真。

2基本自適應(yīng)算法的分析與Matlab仿真

2.1最小均方誤差(LMS)自適應(yīng)算法

2.1.1LMS自適應(yīng)濾波器基本原理

SHAPE\*MERGEFORMAT

圖2.1.1LMS自適應(yīng)濾波器原理框圖

圖2.1.1中，表示時刻的輸入信號，表示時刻的輸出信號，表示時刻的參考信號或期望響應(yīng)信號，表示時刻的誤差信號。誤差信號為期望響應(yīng)信號與輸出信號之差，記為。自適應(yīng)濾波器的系統(tǒng)參數(shù)受誤差信號控制，并根據(jù)的值而自動調(diào)整，使之適合下一時刻的輸入，以使輸出信號更加接近期望信號，并使誤差信號進(jìn)一步減小。當(dāng)均方誤差達(dá)到最小值時，最佳地逼近，系統(tǒng)已經(jīng)適應(yīng)了外界環(huán)境。

2.1.2E[e2(n)]與權(quán)值W的關(guān)系

LMS自適應(yīng)濾波器通過算法，當(dāng)最小時，濾波器已經(jīng)調(diào)節(jié)出適合現(xiàn)在外部環(huán)境的濾波器權(quán)值W。

(1)我們可以先推導(dǎo)出與加權(quán)系數(shù)W的關(guān)系式。

寫成矩陣形式：式(2.1.2.1)

誤差：式(2.1.2.2)

則式(2.1.2.3)

令帶入式(2.1.2.3)中得

中國可以從上式看出均方誤差是加權(quán)系數(shù)的二次函數(shù)，它是一個中間上凹的超拋物形曲面，是具有唯一最小值的函數(shù)。即與的關(guān)系在幾何上是一個“碗形”的多維曲面。為了簡單，設(shè)是一維的，則與的關(guān)系成為一個拋物線。調(diào)節(jié)加權(quán)系數(shù)使均方誤差最小，相當(dāng)于沿超拋物形曲面下降到最小值。連續(xù)地調(diào)節(jié)加權(quán)系數(shù)使均方誤差最小，即尋找“碗”的底點。碗底：，即點。

2.1.3LMS算法推導(dǎo)

最小均方差（LMS）算法，即權(quán)系數(shù)遞推修正達(dá)到最佳權(quán)系數(shù)是依據(jù)最小均方算法。最陡下降法（SteepestDescentMethod）是LMS算法的基礎(chǔ)，即下一時刻權(quán)系數(shù)矢量應(yīng)該等于“現(xiàn)時刻”權(quán)系數(shù)矢量加上一項比例為負(fù)的均方誤差函數(shù)的梯度，即

式（2.1.3.1）

其中為

式（2.1.3.2）

為控制收斂速度與穩(wěn)定性的數(shù)量常數(shù)，稱為收斂因子或自適應(yīng)常數(shù)。式（2.1.3.1）中第二項前的負(fù)號表示當(dāng)梯度值為正時，則權(quán)系數(shù)應(yīng)該小，以使下降。根據(jù)式（2.1.3.1）的遞推算法，當(dāng)權(quán)系數(shù)達(dá)到穩(wěn)定時，一定有，即均方誤差達(dá)到極小，這時權(quán)系數(shù)一定達(dá)到所要求的最佳權(quán)系數(shù)。LMS算法有兩個關(guān)鍵：梯度的計算以及收斂因子的選擇。按（2.1.3.2）計算時，要用到統(tǒng)計量G，P，因此有很大困難，故通常用一種粗糙，但卻有效的方法，就是用代替，即

式（2.1.3.3）

式（2.1.2.3）的含義是指單個誤差樣本的平方作為均方誤差的估計值，從而使計算量大大減少。從而最終可以推出權(quán)系數(shù)迭代的LMS算法為：

式（2.1.3.4）

為輸入樣本向量，只要給定系數(shù)迭代的初值，根據(jù)上式可以逐步遞推得到最佳權(quán)系數(shù)，并計算出濾波器誤差輸出。下圖為LMS算法的流程圖：

SHAPE\*MERGEFORMAT

2.1.4LMS算法的參數(shù)分析

LMS算法所用到計算式如下：

系統(tǒng)輸出：

誤差估計：

權(quán)值更新：

其中為信號輸出，為輸入向量，為誤差值，為權(quán)值向量，為期望值，為步長。在LMS算法中步長值的取舍問題非常重要，直接影響了算法的收斂速度。值是用來調(diào)整加權(quán)參數(shù)的修正速度，若值取的過小，收斂速度就會過于緩慢，當(dāng)取的過大時，又會造成系統(tǒng)收斂的不穩(wěn)定，導(dǎo)致發(fā)散。所以選取最佳的值是LMS算法中一個重要的問題。具體收斂條件可由下面的式子分析得出：

可以以得出收斂條件及

其中是輸入相關(guān)矩陣的最大特征值。

2.1.5LMS算法的仿真分析

圖(2.1.5.1)

上面為輸入信號與輸出信號圖示。輸入信號采用正態(tài)隨機(jī)信號加上高斯白噪聲。可以看出輸出信號經(jīng)過一段時間基本達(dá)到跟蹤，濾波的效果。

圖(2.1.5.2)

圖(2.1.5.3)

梯度下降法的基本原理范文第4篇

YU Yi-bin LIN Zhi

（School of Information Engineering，Wuyi University，Jiangmen Guangdong 529020，China）

【Abstract】Modern digital signal processing is one of the most important basic professional courses for Postgraduates of information and communication and its application field is very extensive.In view of the course is abstract，difficult to learn， boring and high demand for mathematical knowledge，we have made a bold reform and practice in the selection of teaching materials，teaching content design and teaching methods.Students in the learning process，and gradually from fear to move forward to take the initiative to learn.Students gradually understand and master the basic knowledge by the teacher teaching，student teaching， group discussion，project practice，cutting-edge technology group teaching and other means. Students have realized the importance of theoretical knowledge and the necessity of engineering practice.It laid a good professional basis for the future development of students.

【Key words】Modern digital signal processing；Teaching reform；Practice

隨著電子通信技術(shù)、計算機(jī)網(wǎng)絡(luò)、人工智能的迅速發(fā)展，現(xiàn)代數(shù)字信號處理技術(shù)的作用和地位越來越重要，并已成為航空航天、生物醫(yī)學(xué)、數(shù)字電視和媒體、制造業(yè)等關(guān)鍵性領(lǐng)域的重要技術(shù)基礎(chǔ)[1]。目前，現(xiàn)代數(shù)字信號處理這門課程主要面向研究生層次的學(xué)生開設(shè)，其理論性較強(qiáng)，對前期有關(guān)數(shù)學(xué)基礎(chǔ)要求較高，而且對后續(xù)的專業(yè)課程學(xué)習(xí)影響也很大。如何讓學(xué)生熟悉、理解、掌握相關(guān)基礎(chǔ)理論知識并有效的運用到工程實踐中，歷來是從事本課程教學(xué)的教師及學(xué)生廣泛關(guān)注的問題。

現(xiàn)代數(shù)字信號處理課程不同于本科的數(shù)字信號處理課程，它具有概念更抽象、內(nèi)容更廣泛、邏輯性強(qiáng)、數(shù)學(xué)基礎(chǔ)要求更高等特點。學(xué)生在學(xué)習(xí)這門課程的過程中常感到枯燥乏味、難以理解和掌握，易產(chǎn)生畏懼的心理，失去學(xué)習(xí)興趣。同時，現(xiàn)代數(shù)字信號處理又是一門以算法為核心，應(yīng)用性特別強(qiáng)的課程，有關(guān)的算法和應(yīng)用可在計算機(jī)上用數(shù)值計算的方法實現(xiàn)。如果老師使用傳統(tǒng)的教學(xué)模式，主要講解理論基礎(chǔ)和算法推導(dǎo)，忽視讓學(xué)生使用計算機(jī)工具進(jìn)行實踐。則不利于學(xué)生對基本理論知識進(jìn)行理解、掌握和實際應(yīng)用。針對學(xué)生的基礎(chǔ)，結(jié)合以往的教學(xué)經(jīng)驗，我們在教材選取、教學(xué)內(nèi)容和教學(xué)方式上作了相應(yīng)的改革和優(yōu)化。實踐證明，學(xué)生在學(xué)習(xí)該課程中不僅產(chǎn)生了濃厚的興趣，而且還學(xué)到了學(xué)習(xí)新知識的方法，增強(qiáng)了學(xué)生自我學(xué)習(xí)的自信心。

1 優(yōu)選教材

從以往的教學(xué)實踐只中我們可以發(fā)現(xiàn)，教材選取是否恰當(dāng)直接影響教學(xué)效果的好壞。因此，選取一本合適的教材不僅可以有效地突破教學(xué)難點，而且還可以優(yōu)化教學(xué)效果。與以往的傳統(tǒng)教學(xué)不同的是我們選擇了國外英文教材，它是由美國阿拉巴馬大學(xué)的Alexander D. Poularikas所編寫，由CRC出版的《Adaptive Filtering》。選取該教材主要基于兩個原因：1）該教材知識結(jié)構(gòu)清晰且通俗易懂，書中主要的知識點后都配有大量實例和MATLAB程序仿真實現(xiàn)。學(xué)生在學(xué)習(xí)這門外文教材過程中不僅提高了專業(yè)英語素養(yǎng)，而且易于理解掌握基本理論知識，并將理論與實際應(yīng)用有機(jī)的結(jié)合起來；2）本教材的主要章節(jié)內(nèi)容與國內(nèi)主流的教材的內(nèi)容一致，一定程度照顧了部分準(zhǔn)備繼續(xù)深造的同學(xué)的需求?？偟恼f來，這本書結(jié)構(gòu)清晰、通俗易懂，基本原理和重要算法都進(jìn)行了詳細(xì)分析、通透到位。這種在內(nèi)容設(shè)計上不但注重理論學(xué)習(xí)同時還強(qiáng)調(diào)實際應(yīng)用，減少了在學(xué)習(xí)過程中的障礙，激發(fā)了學(xué)生的學(xué)習(xí)興趣。

2 精選教學(xué)內(nèi)容

現(xiàn)代數(shù)字信號處理不同于本科階段的數(shù)字信號處理，后者是前者的基礎(chǔ)，前者是是對后者的發(fā)展。學(xué)習(xí)現(xiàn)代數(shù)字信號處理不僅要很好的掌握數(shù)字信號處理，而且還對數(shù)學(xué)基礎(chǔ)要求比較高。《Adaptive Filtering》一共九章，前三章主要為向量、矩陣和確定性離散系統(tǒng)和離散信號處理。由于這三章大部分內(nèi)容在本科階段都已學(xué)習(xí)過，因此將它成為學(xué)生自學(xué)部分。第四章主要介紹?x散隨機(jī)過程，它是全書的基礎(chǔ)，后續(xù)所有的知識都是在針對隨機(jī)信號討論。從第五章開始，分別從基本原理，設(shè)計方法，主要應(yīng)用等方面討論，主要包括維納濾波器、自適應(yīng)濾波器以及現(xiàn)代譜估計方法。第七章主要講解牛頓最陡下降法的具體算法以及實際應(yīng)用。第八章主要介紹了最小均方算法，它和第七章所講的最陡下降法都是現(xiàn)代數(shù)字信號處理中常用的優(yōu)化方法。第九章為學(xué)生選學(xué)內(nèi)容，主要講述了最小均方差的變化形式，學(xué)生可根據(jù)自身實際需求進(jìn)行不同程度學(xué)習(xí)[2-4]。

3 教師講授與學(xué)生自學(xué)、講授、編程訓(xùn)練相結(jié)合

如何讓學(xué)生快速高效的學(xué)習(xí)書本基本內(nèi)容并有效的運用到實際中去，除了學(xué)生的自主學(xué)習(xí)和實踐探索外，老師在教學(xué)過程中使用的什么教學(xué)方式也尤為重要。好的教學(xué)方式讓學(xué)生在學(xué)習(xí)過程中事半功倍，并同時能激發(fā)學(xué)生學(xué)習(xí)和探索的興趣。在課程教學(xué)過程中，將近有1/5的時間選擇性的讓學(xué)生自主講授部分內(nèi)容，并讓學(xué)生結(jié)合學(xué)術(shù)前沿分組講授現(xiàn)代數(shù)字信號處理的新方法。分組講授過程以學(xué)生為主體，先讓各分組學(xué)生進(jìn)行討論并分別提出各自的講授內(nèi)容2-3個，主講教授?c各組討論確定一個講授內(nèi)容，各組內(nèi)分工合作，完成學(xué)生講授內(nèi)容。學(xué)生這個過程中不僅展現(xiàn)了學(xué)習(xí)的主動性，同時也激發(fā)了學(xué)習(xí)興趣，而且還培養(yǎng)了學(xué)生的團(tuán)隊合作能力。

3.1 教師講授

教師作為課程教學(xué)的核心引導(dǎo)，在教學(xué)過程中發(fā)揮著不可替代的作用。教師主講不是照本宣科。而是結(jié)合學(xué)生的實際情況，以學(xué)生為主線，明確知識結(jié)構(gòu)，講解主要的重點、難點。同時，在講授過程中啟發(fā)性的與學(xué)生交流，了解學(xué)生的實際學(xué)習(xí)情況，不斷幫助解決疑惑，不斷鼓勵學(xué)生克服困難，迎難而上[5]?，F(xiàn)代數(shù)字信號處理不僅僅是一門理論性強(qiáng)的專業(yè)基礎(chǔ)課，同時也是一門實踐性較強(qiáng)的應(yīng)用課。因此，教師主講不能一味的只注重講授理論而不注重實際應(yīng)用。以書本定理和公式為基礎(chǔ)，以MATLAB軟件為主要工具進(jìn)行編程實踐，對基礎(chǔ)性的理論知識，強(qiáng)調(diào)在編程中去加深理解并掌握，不是只停留在調(diào)用MATLAB已有函數(shù)。

3.2 選擇性讓學(xué)生講授教材部分內(nèi)容

基于掌握重點、突破難點，解決疑點、結(jié)合實際的原則，教師在每一堂課的最后都給學(xué)生布置了MATLAB實現(xiàn)的課程作業(yè)，并且要求在下一堂課向全班同學(xué)講解。這些課程作業(yè)主要為教材中比較經(jīng)典的例題或者課后習(xí)題，它們極具代表性，涵蓋了每章重要的知識點，很好的詮釋了一些抽象性的公式。在學(xué)生講授的過程中，其他學(xué)生可以自發(fā)提問。同時教師會與講授學(xué)生進(jìn)行互動，對于講述精彩的內(nèi)容給予肯定評價，對于講述不當(dāng)?shù)牡胤竭M(jìn)行糾正和鼓勵。

要求學(xué)生準(zhǔn)備講稿并上講臺講授，這不僅要求學(xué)生對基本定理和公式有更好的理解，同時還要求學(xué)生將理解的知識用程序?qū)崿F(xiàn)。這種師生互動式教學(xué)方法具有兩個優(yōu)點。一方面，學(xué)生在準(zhǔn)備過程有針對性的自學(xué)教師所講知識點，同時利用MATLAB進(jìn)行實際應(yīng)用編程，培養(yǎng)了學(xué)生的自學(xué)能力和知識的應(yīng)用能力。另一方面，教授在聽學(xué)生講授的過程中能夠了解學(xué)生對知識理解能力與掌握情況，能夠幫助解決學(xué)生在自學(xué)過程中存在的疑惑，提高學(xué)生的學(xué)習(xí)效率。

3.3 結(jié)合前沿技術(shù)，學(xué)生分組講解

結(jié)合當(dāng)今熱點和發(fā)展趨勢，教師要求學(xué)生分組在網(wǎng)上搜索與現(xiàn)代數(shù)字處理相關(guān)的前沿技術(shù)進(jìn)行講解。學(xué)生分成6個小組，每組均為3人。不同的小組先自行在網(wǎng)上選擇2-3個感興趣的前沿技術(shù)，每組所選內(nèi)容先進(jìn)行小組討論，再經(jīng)過老師審核，在各組中挑選一個主題。例如，分組過程中討論了模糊計算、CCSDS圖像壓縮算法、數(shù)字圖像處理積分圖應(yīng)用、基于分形幾何的數(shù)字圖像處理、二次聚焦算法、決策樹學(xué)習(xí)等幾個主題。各組成員在組內(nèi)分工準(zhǔn)備講授內(nèi)容，要求組內(nèi)成員現(xiàn)有分工，又要求所有成員理解基本內(nèi)容，對部分討論主題，要求所有成員參與全程方法的實現(xiàn)?；谀：侠碚摰膱D像模糊對比度增強(qiáng)算法：主要是利用模糊隸屬度可以對圖像的細(xì)節(jié)進(jìn)行增強(qiáng)，使得圖像的層次更加分明，效果更好。CCSDS圖像壓縮算法兼顧了壓縮效率和算法復(fù)雜度，支持高速低功耗的硬件實現(xiàn)，支持有損壓縮和無損壓縮。該算法復(fù)雜度低，算法結(jié)構(gòu)適于并行性處理。數(shù)字圖像處理積分圖是一種在圖像中快速計算矩形區(qū)域和的方法，這種算法主要優(yōu)點是一旦積分圖像首先被計算出來，即可計算圖像中任意大小矩形區(qū)域的和，而且計算時間復(fù)雜度低。這樣在圖像模糊、邊緣提取、對象檢測時極大降低計算量、提高計算速度。分形幾何的數(shù)字圖像處理：分別從水平垂直分形法、四叉樹分形法和三角分形法三種方法介紹了在圖像處理中的具體應(yīng)用，并運用分形理論的自相似性和分維數(shù)性質(zhì)，詳細(xì)介紹分形法在進(jìn)行圖像邊緣提取和圖像復(fù)原中的應(yīng)用。二次聚焦算法：主要闡述了一種在現(xiàn)有聚焦算法的基礎(chǔ)上改進(jìn)二次聚焦的算法，第一次聚焦選取中心范圍內(nèi)部分區(qū)域的圖像數(shù)據(jù)，采用改進(jìn)的自動閾值方差函數(shù)算法來完成快速聚焦。第二次聚焦選取包含第一部分的倒T字形區(qū)域圖像數(shù)據(jù)，采用Robert梯度-閾值進(jìn)行精確聚焦。改進(jìn)的二次自動聚焦算法在穩(wěn)定性、速度和精確度方面都有較好的效果，特別是在深度離焦時聚焦效果最為顯著。決策樹是在已知各種情況發(fā)生概率的基礎(chǔ)上，通過構(gòu)成決策樹來求取期望值大于等于零的概率，評價項目風(fēng)險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法，它在機(jī)器學(xué)習(xí)中有著廣泛的應(yīng)用。

各組學(xué)生在查閱和學(xué)習(xí)這些前沿應(yīng)用的過程中，不僅開拓了視野，而且還從不同的角度對現(xiàn)代數(shù)字信號處理這門課程的學(xué)習(xí)有了新的認(rèn)識。學(xué)習(xí)不僅僅是掌握書本中的知識，更主要的是將自己所學(xué)的知識用于解決當(dāng)前工程實際中的具體問題。

梯度下降法的基本原理范文第5篇

Abstract： In the field of spectroscopy, electrochemical analysis and chromatography, the signal overlap is a common phenomenon, and how to conduct the decomposition of overlapping signals in a limited hardware environment by mathematical methods becomes a more practical meaningful task. The related research status at home and abroad was introduced from four types of common mathematical methods in this paper.

關(guān)鍵詞： 重疊峰；分解；數(shù)學(xué)方法

Key words： overlapping peaks；decomposition；mathematical method

中圖分類號：O17文獻(xiàn)標(biāo)識碼：A文章編號：1006-4311（2011）04-0197-01

1重疊峰分解的實際意義

在光譜研究領(lǐng)域，重疊的光譜信號是比較常見的。例如，①在紫外-可見光譜分析中：在苯和甲苯的混合體系及苯、甲苯和二甲苯等混合體系中，各組分紫外光譜嚴(yán)重重疊；復(fù)合維生素B片劑的吸收光譜中，維生素B1，B2，B6和煙酰胺4組分嚴(yán)重重疊；二甲酚橙（XO）-CTMAB-Cu、Cd、Ni顯色體系各組分吸收光譜相互重疊。鈰組稀土元素的性質(zhì)極其相似，因此其5種元素的吸收光譜嚴(yán)重重疊。②在熒光光譜分析中：利用偏振X射線熒光技術(shù)分析鐵磁性永磁材料粉末時，Si和Sr譜線完全重疊；醫(yī)院營養(yǎng)輸液常用的復(fù)合氨基酸注射液中包含色氨酸和酪氨酸，而此二組分的熒光光譜嚴(yán)重重疊等等。此外，重疊現(xiàn)象在化學(xué)領(lǐng)域的電化學(xué)分析、色譜分析中也同樣存在。重疊現(xiàn)象給進(jìn)一步的定性和定量分析都帶來了困難。對于這樣的問題，通過硬件手段如改進(jìn)儀器來提高信號的分辨率通常受到資金或工作條件等現(xiàn)實問題的制約。因此，往往通過數(shù)學(xué)手段把儀器未能完全分離的多個譜峰給以分解，得到重疊峰信號中的各子峰或組分的相關(guān)信息（如峰形狀、峰位置、半峰寬和峰高度）的估計值。而隨著計算機(jī)的發(fā)展，計算技術(shù)的提高，與計算機(jī)相結(jié)合的信息理論、多元統(tǒng)計分析法、數(shù)學(xué)最優(yōu)化等數(shù)學(xué)方法被利用于重疊峰的分解，并逐漸成為了現(xiàn)代光譜分析的熱點。

2國內(nèi)外研究現(xiàn)狀

對于采用各種計算方法分解光譜重疊峰的研究已有不少報道，其中分光光度法、熒光光譜、ICP-AES等重疊峰的解析已發(fā)展比較成熟。目前常見的數(shù)學(xué)方法有四類：

2.1 雙波長、三波長法、導(dǎo)數(shù)光譜法其中導(dǎo)數(shù)光譜法是分辨重疊峰的一種常用的較為成熟的方法。1953年Hammond等人首先提出。其基本原理是對原吸收曲線進(jìn)行一階、二階至四階求導(dǎo)，然后對得到的各階導(dǎo)數(shù)光譜進(jìn)行分析。從而來確定重疊峰的個數(shù)、重疊峰位及改善譜線分辨率等。關(guān)于導(dǎo)數(shù)法定研究及報道有很多，如王超群利用導(dǎo)數(shù)法探討了其在X射線衍射分析中的應(yīng)用；Windig討論了二階導(dǎo)數(shù)光譜在自模式分析技術(shù)中的應(yīng)用，以及相應(yīng)的平滑方法。但導(dǎo)數(shù)法存在一個顯著缺點：隨著求導(dǎo)次數(shù)的增加，噪聲也隨之增加，在高階導(dǎo)數(shù)中，信號可能被噪聲完全淹沒，因而，通常，每求一階導(dǎo)數(shù)之后都需要濾除噪聲來提高信噪比。

2.2 最優(yōu)化方法最小二乘法作為一種判斷擬合效果優(yōu)劣的評價標(biāo)準(zhǔn)而經(jīng)常被使用，從而將問題轉(zhuǎn)化為尋優(yōu)問題。而解決此最優(yōu)化問題的方法有很多相關(guān)研究和報道：如：何錫文等周興風(fēng)等分別討論了線性規(guī)劃方法的使用；孫桂玲等使用Newton-Raphson逐步逼近法和最速下降法對高斯峰進(jìn)行分離；此外還有Cauchy法、直接搜索法、單純形法、DFP法及共軛梯度法等。

最小二乘法的缺點是當(dāng)各組分光譜嚴(yán)重重疊時（數(shù)學(xué)上叫共線性），如正規(guī)矩陣的秩接近零，此時的方程組近乎病態(tài)方程組，實驗中的微小誤差或是計算中間過程數(shù)據(jù)位數(shù)的取舍都會引起計算結(jié)果的大幅波動，此時最小二乘法不適用。

2.3 多元統(tǒng)計法由于傳統(tǒng)最小二乘法的缺點，出現(xiàn)了許多改進(jìn)方法。如：Wold在1966年提出的偏最小二乘法；王鎮(zhèn)浦等討論了CPA矩陣法；因子分析法更是被廣泛研究，白潔玲通過迭代目標(biāo)轉(zhuǎn)換因子分析應(yīng)用于4種混合色素溶液吸附伏安法波譜的解析來對其進(jìn)行同時測定；進(jìn)化因子分析與消秩方法被用于重疊光譜分析。這些方法各自在不同程度上克服了最小二乘法的缺點。

2.4 利用信息處理的理論1979年，Poulisse首次將卡爾曼濾波原理用于多組分體系分光光度分析中，使多組分體系的含量測定歸結(jié)為對重疊光譜曲線進(jìn)行快速濾波的過程。這個思想不僅帶來了一種新的重疊峰分解的方法同時還啟發(fā)了分析工作者，使人們認(rèn)識到，譜數(shù)據(jù)處理與通訊技術(shù)中的信息處理過程很相似，完全可以借鑒其數(shù)學(xué)工具。上世紀(jì)90年代，能解決非線形擬合的人工神經(jīng)網(wǎng)絡(luò)技術(shù)也被廣泛應(yīng)用求解多組分濃度，不足之處是需要大量樣本學(xué)習(xí)，很復(fù)雜且耗時。遺傳算法作為一種全局的尋優(yōu)方法，也逐漸被應(yīng)用于譜圖分析及重疊峰分解等方向的研究。使用數(shù)學(xué)方法對重疊峰分解的優(yōu)點在于它對硬件要求不高，只需在一定的實驗條件下，獲取足夠的實驗數(shù)據(jù)，借助計算機(jī)強(qiáng)大的運算能力，運用數(shù)學(xué)方法進(jìn)行計算，能夠獲取準(zhǔn)確度較高的對重疊峰解析的結(jié)果，基本上可以滿足一般檢測和分析的要求，因此其發(fā)展前景相當(dāng)廣闊，見諸于專業(yè)刊物的研究。報告顯示，使用軟件后處理的研究和應(yīng)用正廣泛開展。

參考文獻(xiàn)：

[1]吳軍，楊梅，陳堅.人工神經(jīng)網(wǎng)絡(luò)輔助紫外光譜測定苯和甲苯的含量.新疆醫(yī)科大學(xué)學(xué)報，2005，28（6）：519-520.

[2]吳軍，楊梅.人工神經(jīng)網(wǎng)絡(luò)用于紫外光譜同時測定苯和甲苯及二甲苯的含量.理化檢驗-化學(xué)分冊，2006，42（7），511-513.

[3]何池洋，孫益民，陳友存等.人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于維生素B族4組分同時測定.浙江大學(xué)學(xué)報（理學(xué)版），2002，29（2）：160-165.

[4]方艷紅，王瓊，徐金瑞.分光光度法結(jié)合人工神經(jīng)網(wǎng)絡(luò)同時測定銅、鎘和鎳.光譜實驗室，2005，22（4）：782-784.

[5]鄭靜，林開利，周偉良等.人工神經(jīng)網(wǎng)絡(luò)-分光光度法同時測定合金鋼樣中的鈰組稀土元素.分析試驗室，2004，23（11）：14-17.

[6]羅立強(qiáng)，詹秀春.應(yīng)用遺傳算法擬合偏振X射線熒光重疊譜.光譜學(xué)與光譜分析，2008（2）：704-706.