發(fā)布時間：2018-4-12 20:48:44  中國污水處理工程網(wǎng)

　　申請日2015.06.16

　　公開(公告)日2015.09.16

　　IPC分類號G01N33/18

　　摘要

　　本發(fā)明公開了一種基于多高斯核自優(yōu)化相關(guān)向量機(jī)的污水水質(zhì)軟測量方法，包括以下步驟：1)剔除污水輸入和輸出的數(shù)據(jù)中的異常點(diǎn)，由于各輸入變量量綱的不同，對其進(jìn)行歸一化處理，歸一化到[0,1]區(qū)間中;2)多高斯核函數(shù)相關(guān)向量機(jī)軟測量模型模塊;3)多高斯核函數(shù)核參數(shù)自優(yōu)化算法;4)遺傳優(yōu)化算法對初始參數(shù)尋優(yōu)模塊;5)多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)軟測量模型建模。本發(fā)明通過自優(yōu)化方法確定各尺度上的核參數(shù)，運(yùn)用遺傳優(yōu)化算法對初始參數(shù)尋優(yōu)，建立最優(yōu)模型，在保證模型收斂性和稀疏性的情況下，有效提高污水中BOD輸出精度。

　　摘要附圖

 

　　權(quán)利要求書

　　1.基于多高斯核自優(yōu)化相關(guān)向量機(jī)的污水水質(zhì)軟測量方法，其特征在于， 包括以下步驟：

　　1)剔除污水輸入和輸出的數(shù)據(jù)中的異常點(diǎn)，由于各輸入變量量綱的不同， 對其進(jìn)行歸一化處理，歸一化到[0,1]區(qū)間中;

　　2)多高斯核函數(shù)相關(guān)向量機(jī)軟測量模型模塊，其計算公式：

　　給定一組輸入和目標(biāo)值xn∈RM，且考慮目標(biāo)函數(shù)只 是一個標(biāo)量，根據(jù)概率方程式，假設(shè)目標(biāo)函數(shù)是模型的樣本并且?guī)в懈郊釉肼暎?/P>

　　tn=y(xn,w)+εn (1)

　　式中εn為附加噪聲，服從(0,σ2)的高斯分布，且彼此間相互獨(dú)立，因此 p(tn|y(xn),σ2)服從高斯分布，其分布由期望y(xn)和方差σ2決定，其中y(xn) 可由核函數(shù)的加權(quán)模型表示：

　　$y(x,w)=\underset{i=1}{\overset{N}{\Sigma }}{w}_{i}k(x,x_i)+w_0---\left(2\right)$

　　wi為模型權(quán)值，w=[w0,w1,w2,...,wn]T為(N+1)維列向量;k是核函數(shù)， φi=k(x,xi);t=[t1,t2,...tn]T為N維列向量，假設(shè)tn服從獨(dú)立分布，數(shù)據(jù)集的 似然估計概率為：

　　$p\left(t\right|w,{\sigma }^2)={\left(2\pi {\sigma }^2\right)}^{-N/2}\exp \{-\frac{1}{2{\sigma }^2}{\left|\right|t-\mathrm{\Phi w}\left|\right|}^2\}---\left(3\right)$

　　φ(xn)=[1,k(xn,x1),k(xn,x2),...k(xn,xn)]T為(N+1)*1維矩陣，貝葉斯矩陣表示 為：Φ=[φ(x1),φ(x2),...,φ(xn)]T，其是N*(N+1)維;為了約束rvm模型中 權(quán)值w，假設(shè)其服從(0,αi-1)高斯分布，且設(shè)各權(quán)值間相互獨(dú)立，其先驗概率表 示如下：

　　$p\left(w\right|\alpha )=\underset{i=0}{\overset{N}{\Pi }}N\left(w_i\right|0,{{\alpha }_i}^{-1})---\left(4\right)$

　　α為N+1維超參數(shù)，引入超參數(shù)導(dǎo)致算法的稀疏性;

　　根據(jù)貝葉斯準(zhǔn)則，可得到后驗概率公式：

　　給定新的測試樣本x，預(yù)測相應(yīng)的目標(biāo)t*，按照預(yù)測分布：

　　$p\left(t_{*}\right|t)=\∫p\left(t_{*}\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2|t)d_w{d}_{\alpha }{d}_{{\sigma }^2}$

　　無法計算后驗概率，因為無法計算$p\left(t\right)=\∫p\left(t\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2)d_w{d}_{\alpha }{d}_{{\sigma }^2}$

　　所以將后驗概率分解：p(w,α,σ2|t)=p(w|t,α,σ2)p(α,σ2|t)

　　可得權(quán)重的后驗概率為：

　　$\begin{array}{c}p\left(w\right|t,\alpha ,{\sigma }^2)=\frac{p\left(t\right|w,{\sigma }^2)p\left(w\right|\alpha )}{p\left(t\right|\alpha ,{\sigma }^2)}\\ ={\left(2\pi \right)}^{-(N+1)/2}{\left|\Sigma \right|}^{-1/2}\exp \{-\frac{1}{2}{(w-u)}^T{\Sigma }^{-1}(w-u)\}\end{array}---\left(5\right)$

　　其后驗協(xié)方差和均值分別為：

　　Σ=(σ-2ΦTΦ+A)-1 (6)

　　u=σ-2ΣΦTt (7)

　　因為p(α,σ2|t)∝p(t|α,σ2)p(α)p(σ2)，所以可以用后者等價前者：

　　$\begin{array}{c}p\left(t\right|a,{\sigma }^2)=\∫p\left(t\right|w,\beta )p\left(w\right|\alpha )d_w\\ ={\left(2\pi \right)}^{-N/2}{|{\sigma }^{2}I+\Phi A^{-1}{\Phi }^T|}^{-1/2}\exp (-\frac{1}{2}{t}^T\mathrm{Ct})\end{array}$

　　其中矩陣C=(σ2I+ΦA(chǔ)-1ΦT)-1，對上述式子取對數(shù)得：

　　$L=\log p\left(t\right|\alpha ,\beta )=-\frac{1}{2}(N\log \left(2\pi \right)+\log |C|+t^T{C}^{-1}t)---\left(8\right)$

　　為了找到超參數(shù)的優(yōu)化值，對上述似然估計最大化得到超參數(shù)的更新公式：

　　$a_i=\frac{{\gamma }_i}{u_i},{\sigma }^2=\frac{{\left|\right|t-\mathrm{\Phi u}\left|\right|}^2}{N-{\Sigma }_{i=1}^N{\gamma }_i}---\left(9\right)$

　　式中γi=1-αiΣii

　　傳統(tǒng)高斯核函數(shù)核參數(shù)均勻統(tǒng)一，限制了rvm模型的靈活性和預(yù)測精度; 基于提高預(yù)測精度的考慮，且不破壞其它性能，提出使用如下多高斯核函數(shù)：

　　$k(x_m,x_n)=\exp (-\underset{k=1}{\overset{d}{\Sigma }}{\eta }_k{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2)$

　　其各個尺度上使用不同核參數(shù)，ηk是第k個核參數(shù)的平方的倒數(shù)，d是輸入向 量的屬性個數(shù)，則多尺度核參數(shù)可表示為：η=(η1,η2,...ηd);用 φnm=k(xm,xn)來表示貝葉斯矩陣的元素，則似然估計對第k個核參數(shù)的梯 度為：

　　$\frac{{\∂}_L}{{\∂}_{{\eta }_k}}=\underset{n=1}{\overset{N}{\Sigma }}\underset{m=1}{\overset{N}{\Sigma }}\frac{{\∂}_L}{{\∂}_{{\phi }_{\mathrm{nm}}}}\frac{{\∂}_{{\phi }_{\mathrm{nm}}}}{{\∂}_{{\eta }_k}}$

　　該式的第一部分與貝葉斯核參數(shù)無關(guān)，用來表示，得到矩陣：

　　D=(C-1ttTC-1-C-1)ΦA(chǔ)-1

　　=β[(t-y)uT-ΦΣ] (10)

　　似然估計對核參數(shù)求導(dǎo)為：$\frac{{\∂}_L}{{\∂}_{{\eta }_k}}=\underset{m=1}{\overset{N}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}-D_{\mathrm{nm}}{\Phi }_{\mathrm{nm}}{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2$

　　3)多高斯核函數(shù)核參數(shù)自優(yōu)化算法

　　為了避免核參數(shù)過大或過小引起過平滑和過適應(yīng)問題，增加限制條件從而 避免出現(xiàn)上述問題：

　　$\underset{k=1}{\overset{d}{\Sigma }}\log {\eta }_k=d\log \frac{1}{h^2}$

　　h是核參數(shù)幾何平均值，則似然估計模型變成：

　　$L^{-}=\log p\left(t\right|\alpha ,\beta )=-\frac{1}{2}(N\log \left(2\pi \right)+\log |C|+t^T{C}^{-1}t)+\lambda (\underset{k=1}{\overset{d}{\Sigma }}\log {\eta }_k-d\log \frac{1}{h^2})---\left(11\right)$該模型 對核參數(shù)求導(dǎo)為：

　　$\frac{\∂L^{-}}{\∂{\eta }_k}=\frac{\∂L}{\∂{\eta }_k}+\frac{\lambda }{{\eta }_k},k=1,...,d$

　　$\frac{\∂L^{-}}{\∂{\eta }_k}=\underset{m=1}{\overset{N}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}-D_{\mathrm{nm}}{\Phi }_{\mathrm{nm}}{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2+\frac{\lambda }{{\eta }_k},k=1,...,d$

　　當(dāng)上式第一部分對核參數(shù)求導(dǎo)時，所得梯度同號，為了保證所得核參數(shù)均大于 零且最大似然估計盡可能的大，可用如下公式更新核參數(shù)，

　　若不滿足同號，為了保證核參數(shù)均大于零，且最大似然估計盡可能的大，梯度 小于零的核參數(shù)其更新公式為：

　　ηinew=p kηi (13)

　　梯度大于零的核參數(shù)其更新公式為：

　　式中i表示梯度小于零的屬性列，j表示梯度大于零的屬性列，p表示大于零的 梯度個數(shù);

　　4)遺傳優(yōu)化算法對初始參數(shù)尋優(yōu)模塊

　　在建模過程中，多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型有兩類參數(shù)，一類屬 于核函數(shù)參數(shù)，核參數(shù)的個數(shù)由輸入屬性個數(shù)決定，核參數(shù)可通過上述算法中 介紹的自優(yōu)化方法來確定;另一類是相關(guān)向量機(jī)模型的初始參數(shù)，多高斯核函 數(shù)自優(yōu)化相關(guān)向量機(jī)的初始參數(shù)包括核參數(shù)幾何平均值h和pk，其中核參數(shù)幾 何平均值決定初始核參數(shù)的值，pk影響核參數(shù)的自優(yōu)化過程;提出采用遺傳優(yōu) 化算法，對多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型中的初始參數(shù)h,pk進(jìn)行優(yōu)化， 具體優(yōu)化算法的流程如下：

　　4.1)設(shè)定種群規(guī)模，遺傳進(jìn)化代數(shù)，染色體采用二進(jìn)制編碼，每個算子由 兩段編碼組成，兩段編碼分別代表兩個參數(shù)h,pk，并確定各參數(shù)取值范圍，生 成初始種群;

　　4.2)用初始種群訓(xùn)練多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型，目標(biāo)函數(shù)取測 試樣本的均方根誤差函數(shù)RMSE;

　　4.3)個體進(jìn)行選擇、重組、變異，終止條件若達(dá)到最大進(jìn)化數(shù)，則停止進(jìn) 化，輸出優(yōu)化參數(shù)，否則繼續(xù)尋優(yōu);

　　5)多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)軟測量模型建模

　　污水處理中與BOD出水水質(zhì)息息相關(guān)的輸入屬性為可降解固體濃度 RD-SED-G，懸浮固體濃度RD-SS-G，生化需氧量RD-DBO-G，化學(xué)需氧量 RD-DQO-G，初沉池中的生化需氧量RD-DBO-P，懸浮固體濃度RD-SS-P，二沉 池中的生化需氧量RD-DBO-S，化學(xué)需氧量RD-DQO-S，入水中的生化需氧量 DBO，化學(xué)需氧量DQO，二級處理中的化學(xué)需氧量DQO，生化需氧量DBO， 懸浮固體濃度SS，PH值PH-S，可降解固體濃度SED，出水的化學(xué)需氧量DQO-S， 可降解固體濃度SED-S，懸浮固體濃度SS-S，PH值PH-S;輸入xn∈RM，是第n個輸入值，tn是BOD的輸出值，則出水BOD的預(yù)測算法步驟如 下：

　　5.1)對上述輸入屬性的污水?dāng)?shù)據(jù)進(jìn)行歸一化，去誤差平滑處理，然后確定 訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù);

　　5.2)根據(jù)訓(xùn)練樣本中的污水?dāng)?shù)據(jù)建立初始化模型，初始化模型參數(shù): α=[1/N2,1/N2,...,1/N2]T，σ2=0.1var(t)，初始核參數(shù)η=[1/h2,1/h2,...,1/h2]T;

　　5.3)循環(huán)迭代

　　5.3.1)按上式(6),(7)更新u,Σ;

　　5.3.2)按上式(9)更新超參數(shù)α,β;

　　5.3.3)如果超參數(shù)αi大于給定的大值，則認(rèn)為該超參數(shù)趨于無窮，從而將相 應(yīng)的權(quán)值行設(shè)為零，并且忽略相應(yīng)的貝葉斯矩陣列;否則，訓(xùn)練數(shù)據(jù)的相應(yīng)訓(xùn) 練樣本則為相關(guān)向量;

　　5.3.4)如果最大似然估計值變大，連續(xù)兩代間的核參數(shù)最大變化值大于一 定的小值，則按上面公式(12)，(13)，(14)更新核參數(shù)η，并更新貝葉斯矩陣Φ， 否則停止更新;

　　5.3.5)如果連續(xù)兩代間的超參數(shù)α最大變化值小于給定的小值，則迭代結(jié)束;

　　5.4)輸出模型權(quán)值w，核參數(shù)η，相關(guān)向量機(jī)，噪聲方差σ2。

　　說明書

　　基于多高斯核自優(yōu)化相關(guān)向量機(jī)的污水水質(zhì)軟測量方法

　　技術(shù)領(lǐng)域

　　本發(fā)明涉及軟測量的技術(shù)領(lǐng)域，尤其是指一種基于多高斯核自優(yōu)化相關(guān)向 量機(jī)的污水水質(zhì)軟測量方法。

　　背景技術(shù)

　　隨著全球經(jīng)濟(jì)的增長和人們生活水平的提高，城市生活污水和工業(yè)污水的 排放量日益增大，有限水資源受到不同程度的污染，防止水污染保護(hù)人們賴以 生存的水環(huán)境是人類面臨的當(dāng)務(wù)之急。保護(hù)水資源的一個重要方面就是要提高 污水處理的技術(shù)水平和檢測手段。污水處理過程相當(dāng)復(fù)雜，具有參數(shù)時變，多 變量耦合、強(qiáng)非線性，嚴(yán)重滯后等特點(diǎn)。使得出水水質(zhì)不易在線測量，廢水處 理成本高。污水處理過程中一些自動化檢測設(shè)備、儀表的功能還不完善，處理 周期太長，遠(yuǎn)遠(yuǎn)達(dá)不到國家對環(huán)境保護(hù)的要求。同時國家對環(huán)境保護(hù)的投入加 大，污水處理技術(shù)越來越受到更多的關(guān)注。國家發(fā)展規(guī)劃中明確提出要研發(fā)并 推廣低能耗、有效的污水處理技術(shù)。解決污水生物處理過程中參數(shù)在線測量的 方法有兩種：一是改進(jìn)測量儀表，二是深入研究軟測量技術(shù)，這對于出水的優(yōu) 化排放有著重大的實際意義和應(yīng)用價值。由于在線儀表設(shè)備投資大，維護(hù)困難 以及分析周期長、準(zhǔn)確性不高，而軟儀表成本低廉，測量具有實時性，盡管IAWQ 推出ASMs和ADM1等機(jī)理模型，但實際的污水處理現(xiàn)場條件太多，過程太復(fù) 雜，很難建立精確的機(jī)理模型，而神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等非機(jī)理建模都存在 局限性。相關(guān)向量機(jī)具有解更稀疏、核函數(shù)選擇更自由，泛化能力更強(qiáng)，魯棒 性更好等優(yōu)點(diǎn)，使其在污水領(lǐng)域的應(yīng)用中越來越受重視。但是傳統(tǒng)高斯核函數(shù) 核參數(shù)均勻統(tǒng)一，限制了rvm模型的靈活性和預(yù)測精度。

　　污水排放標(biāo)準(zhǔn)中，衡量是否達(dá)標(biāo)的參數(shù)指標(biāo)有：化學(xué)需氧量COD、生化需 氧量BOD、氨氮、磷、固體懸浮物等。其中生化需氧量BOD和化學(xué)需氧量COD 反映水被有機(jī)污染的程序，BOD/COD的比率反映出了污水的生物降解能力。這 兩個參數(shù)的測量對控制污水處理具有非常重要的價值�；瘜W(xué)需氧量COD是指， 水樣在一定條件下，以氧化1升水樣中還原性物質(zhì)所消耗的氧化劑的量為指標(biāo)， 折算成每升水樣全部被氧化后，需要的氧的毫克數(shù)，以mg/L表示。生化需氧量 BOD是指微生物在一定的溫度和時間條件下分解氧化有機(jī)物所消耗的溶解氧 量，以mg/L表示。

　　現(xiàn)在的污水處理一般都采用稀釋法、傳感器等測量污水中BOD、COD的濃 度，但由于分析測定這兩個指標(biāo)的周期較長，測量中時常出現(xiàn)誤差，不能及時 反應(yīng)污水處理的現(xiàn)場情況，因而污水控制系統(tǒng)存在著較大的延時，不能發(fā)揮其 最佳的性能。

　　軟測量技術(shù)就是利用易測量過程變量，依據(jù)這些易測量的過程變量和難以 直接測量的待測過程變量之間的數(shù)學(xué)模型，通過各種數(shù)學(xué)計算和估計方法，用 計算機(jī)軟件實現(xiàn)待測量過程變量的測量。是近年在過程控制和檢測領(lǐng)域涌現(xiàn)的 一種新技術(shù)。軟測量作為現(xiàn)代復(fù)雜過程工業(yè)中較難甚至無法由硬件在線檢測參 量實時估計的有效手段，具有投資低、維護(hù)保養(yǎng)簡單等優(yōu)點(diǎn)。將軟測量技術(shù)用 于污水處理過程，能降低污水處理廠的能耗，節(jié)約成本，避免污水處理過程中 嚴(yán)重滯后等不足。但是污水過程非常復(fù)雜，傳統(tǒng)的機(jī)理建模無法適應(yīng)，而神經(jīng) 網(wǎng)絡(luò)、支持向量機(jī)等非機(jī)理建模都存在局限性，本發(fā)明提出多高斯核函數(shù)自優(yōu) 化相關(guān)向量機(jī)模型，打破了傳統(tǒng)高斯核函數(shù)參數(shù)均勻統(tǒng)一對預(yù)測精度的限制， 使模型更靈活。在保證模型收斂性和稀疏性的情況下，有效提高污水中BOD輸 出精度。該模型是對基本rvm的改進(jìn)，不僅離線情況下獲得良好效果，在此基 礎(chǔ)上展開基于多尺度高斯核自優(yōu)化相關(guān)向量機(jī)的污水出水在線軟測量研究也很 有意義。

　　發(fā)明內(nèi)容

　　本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于多高斯核自優(yōu)化相 關(guān)向量機(jī)的污水水質(zhì)軟測量方法，通過自優(yōu)化方法確定各尺度上的核參數(shù)，運(yùn) 用遺傳優(yōu)化算法對初始參數(shù)尋優(yōu)，建立最優(yōu)模型。在保證模型收斂性和稀疏性 的情況下，有效提高污水中BOD輸出精度。

　　為實現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于多高斯核自優(yōu)化相關(guān) 向量機(jī)的污水水質(zhì)軟測量方法，包括以下步驟：

　　1)剔除污水輸入和輸出的數(shù)據(jù)中的異常點(diǎn)，由于各輸入變量量綱的不同， 對其進(jìn)行歸一化處理，歸一化到[0,1]區(qū)間中;

　　2)多高斯核函數(shù)相關(guān)向量機(jī)軟測量模型模塊，其計算公式：

　　給定一組輸入和目標(biāo)值xn∈RM，且考慮目標(biāo)函數(shù)只 是一個標(biāo)量，根據(jù)概率方程式，假設(shè)目標(biāo)函數(shù)是模型的樣本并且?guī)в懈郊釉肼暎?/P>

　　tn=y(xn,w)+εn (1)

　　式中εn為附加噪聲，服從(0,σ2)的高斯分布，且彼此間相互獨(dú)立，因此 p(tn|y(xn),σ2)服從高斯分布，其分布由期望y(xn)和方差σ2決定，其中y(xn) 可由核函數(shù)的加權(quán)模型表示：

　　$y(x,w)=\underset{i=1}{\overset{N}{\Sigma }}{w}_{i}k(x,x_i)+w_0---\left(2\right)$

　　wi為模型權(quán)值，w=[w0,w1,w2,...,wn]T為(N+1)維列向量;k是核函數(shù)， φi=k(x,xi);t=[t1,t2,...tn]T為N維列向量，假設(shè)tn服從獨(dú)立分布，數(shù)據(jù)集的 似然估計概率為：

　　$p\left(t\right|w,{\sigma }^2)={\left(2\pi {\sigma }^2\right)}^{-N/2}\exp \{-\frac{1}{2{\sigma }^2}{\left|\right|t-\mathrm{\Phi w}\left|\right|}^2\}---\left(3\right)$

　　φ(xn)=[1,k(xn,x1),k(xn,x2),...k(xn,xn)]T為(N+1)*1維矩陣，貝葉斯矩陣表示 為：Φ=[φ(x1),φ(x2),...,φ(xn)]T，其是N*(N+1)維;為了約束rvm模型中 權(quán)值w，假設(shè)其服從(0,αi-1)高斯分布，且設(shè)各權(quán)值間相互獨(dú)立，其先驗概率表 示如下：

　　$p\left(w\right|\alpha )=\underset{i=0}{\overset{N}{\Pi }}N\left(w_i\right|0,{{\alpha }_i}^{-1})---\left(4\right)$

　　α為N+1維超參數(shù)，引入超參數(shù)導(dǎo)致算法的稀疏性;

　　根據(jù)貝葉斯準(zhǔn)則，可得到后驗概率公式：

　　給定新的測試樣本x，預(yù)測相應(yīng)的目標(biāo)t*，按照預(yù)測分布：

　　$p\left(t_{*}\right|t)=\∫p\left(t_{*}\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2|t)d_w{d}_{\alpha }{d}_{{\sigma }^2}$

　　無法計算后驗概率，因為無法計算$p\left(t\right)=\∫p\left(t\right|w,\alpha ,{\sigma }^2)p(w,\alpha ,{\sigma }^2|t)d_w{d}_{\alpha }{d}_{{\sigma }^2}$

　　所以將后驗概率分解：p(w,α,σ2|t)=p(w|t,α,σ2)p(α,σ2|t)

　　可得權(quán)重的后驗概率為：

　　$\begin{array}{c}p\left(w\right|t,\alpha ,{\sigma }^2)=\frac{p\left(t\right|w,{\sigma }^2)p\left(w\right|\alpha )}{p\left(t\right|\alpha ,{\sigma }^2)}\\ ={\left(2\pi \right)}^{-(N+1)/2}{\left|\Sigma \right|}^{-1/2}\exp \{-\frac{1}{2}{(w-u)}^T{\Sigma }^{-1}(w-u)\}\end{array}---\left(5\right)$

　　其后驗協(xié)方差和均值分別為：

　　Σ=(σ-2ΦTΦ+A)-1 (6)

　　u=σ-2ΣΦTt (7)

　　因為p(α,σ2|t)∝p(t|α,σ2)p(α)p(σ2)，所以可以用后者等價前者：

　　$\begin{array}{c}p(t,a,{\sigma }^2)=\∫p\left(t\right|w,\beta )p\left(w\right|\alpha )d_w\\ ={\left(2\pi \right)}^{-N/2}{|{\sigma }^{2}I+\Phi A^{-1}{\Phi }^T|}^{-1/2}\exp (-\frac{1}{2}{t}^T\mathrm{Ct})\end{array}$

　　其中矩陣C=(σ2I+ΦA(chǔ)-1ΦT)-1，對上述式子取對數(shù)得：

　　$L=\log p\left(t\right|\alpha ,\beta )=-\frac{1}{2}(N\log \left(2\pi \right)+\log |C|+t^T{C}^{-1}t)---\left(8\right)$

　　為了找到超參數(shù)的優(yōu)化值，我們對上述似然估計最大化得到超參數(shù)的更新公式：

　　$a_i=\frac{{\gamma }_i}{u_i},{\sigma }^2=\frac{{\left|\right|t-\mathrm{\Phi u}\left|\right|}^2}{N-{\Sigma }_{i=1}^N{\gamma }_i}---\left(9\right)$

　　式中γi=1-αiΣii

　　相較于線性核函數(shù)，多項式核函數(shù)，sigmoid核函數(shù)，高斯核函數(shù)使用得更 多;傳統(tǒng)高斯核函數(shù)核參數(shù)均勻統(tǒng)一，限制了rvm模型的靈活性和預(yù)測精度; 基于提高預(yù)測精度的考慮，且不破壞其它性能，提出使用如下多高斯核函數(shù)：

　　$k(x_m,x_n)=\exp (-\underset{k=1}{\overset{d}{\Sigma }}{\eta }_k{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2)$

　　其各個尺度上使用不同核參數(shù)，ηk是第k個核參數(shù)的平方的倒數(shù)，d是輸入向 量的屬性個數(shù)，則多尺度核參數(shù)可表示為：η=(η1,η2,...ηd);用 φnm=k(xm,xn)來表示貝葉斯矩陣的元素，則似然估計對第k個核參數(shù)的梯 度為：

　　$\frac{{\∂}_L}{{\∂}_{{\eta }_k}}=\underset{n=1}{\overset{N}{\Sigma }}\underset{m=1}{\overset{N}{\Sigma }}\frac{{\∂}_L}{{\∂}_{{\phi }_{\mathrm{nm}}}}\frac{{\∂}_{{\phi }_{\mathrm{nm}}}}{{\∂}_{{\eta }_k}}$

　　該式的第一部分與貝葉斯核參數(shù)無關(guān)，用來表示，得到矩陣：

　　D=(C-1ttTC-1-C-1)ΦA(chǔ)-1

　　=β[(t-y)uT-ΦΣ] (10)

　　似然估計對核參數(shù)求導(dǎo)為：$\frac{{\∂}_L}{{\∂}_{{\eta }_k}}=\underset{m=1}{\overset{N}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}-D_{\mathrm{nm}}{\Phi }_{\mathrm{nm}}{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2$

　　3)多高斯核函數(shù)核參數(shù)自優(yōu)化算法

　　為了避免核參數(shù)過大或過小引起過平滑和過適應(yīng)問題，增加限制條件從而 避免出現(xiàn)上述問題：

　　$\underset{k=1}{\overset{d}{\Sigma }}\log {\eta }_k=d\log \frac{1}{h^2}$

　　h是核參數(shù)幾何平均值，則似然估計模型變成：

　　$L^{-}=\log p\left(t\right|\alpha ,\beta )=-\frac{1}{2}(N\log \left(2\pi \right)+\log |C|+t^T{C}^{-1}t)+\lambda (\underset{k=1}{\overset{d}{\Sigma }}\log {\eta }_k-d\log \frac{1}{h^2})---\left(11\right)$該模型 對核參數(shù)求導(dǎo)為：

　　$\frac{\∂L^{-}}{\∂{\eta }_k}=\frac{\∂L}{\∂{\eta }_k}+\frac{\lambda }{{\eta }_k},k=1,...,d$

　　$\frac{\∂L^{-}}{\∂{\eta }_k}=\underset{m=1}{\overset{N}{\Sigma }}\underset{n=1}{\overset{N}{\Sigma }}-D_{\mathrm{nm}}{\Phi }_{\mathrm{nm}}{(x_{\mathrm{mk}}-x_{\mathrm{nk}})}^2+\frac{\lambda }{{\eta }_k}k=1,...,d$

　　當(dāng)上式第一部分對核參數(shù)求導(dǎo)時，所得梯度同號，為了保證所得核參數(shù)均大于 零且最大似然估計盡可能的大，可用如下公式更新核參數(shù)，

　　若不滿足同號，為了保證核參數(shù)均大于零，且最大似然估計盡可能的大，梯度 小于零的核參數(shù)其更新公式為：

　　ηinew=p kηi (13)

　　梯度大于零的核參數(shù)其更新公式為：

　　式中i表示梯度小于零的屬性列，j表示梯度大于零的屬性列，p表示大于零的 梯度個數(shù);

　　4)遺傳優(yōu)化算法對初始參數(shù)尋優(yōu)模塊

　　在建模過程中，多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型有兩類參數(shù)，一類屬 于核函數(shù)參數(shù)，核參數(shù)的個數(shù)由輸入屬性個數(shù)決定，核參數(shù)可通過上述算法中 介紹的自優(yōu)化方法來確定;另一類是相關(guān)向量機(jī)模型的初始參數(shù)，多高斯核函 數(shù)自優(yōu)化相關(guān)向量機(jī)的初始參數(shù)包括核參數(shù)幾何平均值h和pk，其中核參數(shù)幾 何平均值決定初始核參數(shù)的值，pk影響核參數(shù)的自優(yōu)化過程;提出采用遺傳優(yōu) 化算法，對多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型中的初始參數(shù)h,pk進(jìn)行優(yōu)化， 具體優(yōu)化算法的流程如下：

　　4.1)設(shè)定種群規(guī)模，遺傳進(jìn)化代數(shù)，染色體采用二進(jìn)制編碼，每個算子由 兩段編碼組成，兩段編碼分別代表兩個參數(shù)h,pk，并確定各參數(shù)取值范圍，生 成初始種群;

　　4.2)用初始種群訓(xùn)練多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)模型，目標(biāo)函數(shù)取測 試樣本的均方根誤差函數(shù)RMSE;

　　4.3)個體進(jìn)行選擇、重組、變異，終止條件若達(dá)到最大進(jìn)化數(shù)，則停止進(jìn) 化，輸出優(yōu)化參數(shù)，否則繼續(xù)尋優(yōu);

　　5)多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)軟測量模型建模

　　污水處理中與BOD出水水質(zhì)息息相關(guān)的輸入屬性為可降解固體濃度 RD-SED-G，懸浮固體濃度RD-SS-G，生化需氧量RD-DBO-G，化學(xué)需氧量 RD-DQO-G，初沉池中的生化需氧量RD-DBO-P，懸浮固體濃度RD-SS-P，二沉 池中的生化需氧量RD-DBO-S，化學(xué)需氧量RD-DQO-S，入水中的生化需氧量 DBO，化學(xué)需氧量DQO，二級處理中的化學(xué)需氧量DQO，生化需氧量DBO， 懸浮固體濃度SS，PH值PH-S，可降解固體濃度SED，出水的化學(xué)需氧量DQO-S， 可降解固體濃度SED-S，懸浮固體濃度SS-S，PH值PH-S;輸入xn∈RM，是第n個輸入值，tn是BOD的輸出值，則出水BOD的預(yù)測算法步驟如 下：

　　5.1)對上述輸入屬性的污水?dāng)?shù)據(jù)進(jìn)行歸一化，去誤差平滑處理，然后確定 訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù);

　　5.2)根據(jù)訓(xùn)練樣本中的污水?dāng)?shù)據(jù)建立初始化模型，初始化模型參數(shù): α=[1/N2,1/N2,...,1/N2]T，σ2=0.1var(t)，采用上面提到的遺傳優(yōu)化算法得到最佳 初始核參數(shù)幾何平均值h=24.3372,pk=0.2379,初始核參數(shù)η=[1/h2,1/h2,...,1/h2]T;

　　5.3)循環(huán)迭代

　　5.3.1)按上式(6),(7)更新u,Σ;

　　5.3.2)按上式(9)更新超參數(shù)α,β;

　　5.3.3)如果超參數(shù)αi大于給定的大值，則認(rèn)為該超參數(shù)趨于無窮，從而將相 應(yīng)的權(quán)值行設(shè)為零，并且忽略相應(yīng)的貝葉斯矩陣列;否則，訓(xùn)練數(shù)據(jù)的相應(yīng)訓(xùn) 練樣本則為相關(guān)向量;

　　5.3.4)如果最大似然估計值變大，連續(xù)兩代間的核參數(shù)最大變化值大于一 定的小值，則按上面公式(12)，(13)，(14)更新核參數(shù)η，并更新貝葉斯矩陣Φ， 否則停止更新;

　　5.3.5)如果連續(xù)兩代間的超參數(shù)α最大變化值小于給定的小值，則迭代結(jié)束;

　　5.4)輸出模型權(quán)值w，核參數(shù)η，相關(guān)向量機(jī)，噪聲方差σ2。

　　本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)與有益效果：

　　1、本發(fā)明建立了一種基于多高斯核函數(shù)自優(yōu)化相關(guān)向量機(jī)的軟測量模型， 模型通過自優(yōu)化方法確定各尺度上的核參數(shù)，同時運(yùn)用遺傳優(yōu)化算法對初始參 數(shù)尋優(yōu)，建立最優(yōu)模型，在保證模型收斂性和稀疏性的情況下，有效提高污水 中BOD輸出精度，該模型是對基本rvm的改進(jìn)，不僅離線情況下獲得良好效果， 在此基礎(chǔ)上展開基于多尺度高斯核自優(yōu)化相關(guān)向量機(jī)的污水出水在線軟測量研 究也很有意義。

　　2、本發(fā)明的核函數(shù)由多個高斯函數(shù)組成，具有多尺度核參數(shù)，打破了傳統(tǒng) 高斯核函數(shù)參數(shù)均勻統(tǒng)一對預(yù)測精度的限制，使模型更靈活。