聚星网址开户代理

本網站提供普刊和核心期刊職稱論文業務;提供實用新型專利、發明專利業務;提供個人出書業務、主編、副主編、參編掛名,獨著;提供國家級課題一條龍服務,課題上知網,歡迎各位客戶加微信、qq 在線咨詢。

聯系方式:QQ:1994174574 微信:18982547237 郵箱:ren0508@outlook.com

計算機論文:基于BP神經網絡的氣象云計算平臺技術研究

來源:未知 2020-08-16 10:26

摘要:

  為了充分挖掘氣象數據潛在價值,進一步提高氣象數據處理與傳輸能力、提升氣象數據的挖掘水平和挖掘效率,本文設計了一個基于BP神經網絡氣象云計算管理平臺,該平臺以設計的標準

  計算機論文:基于BP神經網絡的氣象云計算平臺技術研究

  摘要:為了充分挖掘氣象數據潛在價值,進一步提高氣象數據處理與傳輸能力、提升氣象數據的挖掘水平和挖掘效率,本文設計了一個基于BP神經網絡氣象云計算管理平臺,該平臺以設計的標準數據規范為基礎,以BP算法為基礎,通過整理、分析、預測來實現精準度高、魯棒性強的氣象分析預測服務。

  關鍵詞:氣象云計算平臺;BP神經網絡;分布式云存儲;關系型數據庫

  中圖分類號:TP399 文獻標識:A 青年科學基金項目批準號: 61602486

  1 引言

  隨著信息技術的發展,基于云計算平臺的海量數據處理已經成為各行各業的熱點研究問題。該平臺具有可靠性高、分布式計算性能好、設備可擴展性強。使用該平臺進行氣象數據管理,可以有效地對氣象局進行分析和預測。

  氣象云數據主要是指在氣象科學研究過程中,圍繞智慧氣象和智能預報等業務,從氣象數據收集、質控、傳輸、加工存儲、應用服務等關鍵環節所產生的數據及各類衍生產品的集合,這些集合包括以各種形式及格式存儲的元數據和應用集合,其特點是數據類型繁多、數據量巨大、數據更新快、數據質量高。目前,現有氣象數據量已經達到PB量級。其中氣象觀測數據、氣象產品數據和互聯網氣象數據占整個氣象數據的30%,雷達、衛星以及數值預報及其它數據占到了70%。這些海量數據蘊含著豐富的氣象數據,具有深度挖掘的數據價值。氣象云計算平臺通過神經網絡工具進行云數據分析預測,建立一個能夠根據影響因子對各種災害性天氣預警的氣象風險預測系統。通過神經網絡所具有的自適應和學習功能,不斷檢查預測結果是否與實況數據是否一致,使用與實況數據不匹配的輸入和輸出數據對作為新的樣本[4],不斷迭代,發揮大數據分析的優勢,即通過對大數據進行相對簡單的運算要比小數據進行復雜運算得出的結果更為準確,樣本數量越大,所蘊藏的真實信息越多,就更能做好提高預測準確率。

  BP(Back Propagation)網絡是Rinehart和McClelland于1986年領導的一組科學家提出的。作為由誤??差反向傳播算法訓練的多層前饋網絡,它是最廣泛使用的神經網絡模型之一[5]。本文提出一種基于BP神經網絡的氣象云數據分析方法,該方法以歷史數據為基礎,以動態變化的新數據為擾動,通過不斷地修正網絡參數實現對氣象數據的檢測和分析。在這種計算模式的幫助下,氣象部門可以對潛在的危害氣象信息和可能的氣象變化進行及時的預測。

  2 BP神經網絡算法

  基于BP網絡可以學習并存儲大量輸入—輸出模式的映射關系,該數學方程不需要提前確定其中所包含的各類映射關系,這種模型拓撲包括輸入層,隱藏層和輸出層(如圖1所示)。隨著誤差反向傳播校正的進行,輸入樣本網絡的相應正確率將變得越來越高[6]。

  圖1 BP神經網絡結構示意圖

  通用BP算法一般包括兩個過程:即數據流的正向計算(前向傳播)和誤差信號的反向傳播如圖2所示。在數據流正向計算時,傳輸是從輸入層到隱藏層,并且每一層的神經元狀態只對后一層的神經元產生影響。如果在輸出層獲得的輸出明顯偏離實際值, BP網絡轉換誤差信號的反向傳播過程,在權向量空間中采用誤差函數梯度下降模式,并且對可以獲得最優解的一組權重值進行動態迭代搜索。最后,網絡錯誤功能被最小化并且信息提取和存儲過程完成 [7] [8]。


圖2 三層神經網絡的拓撲結構

  正向計算

  在正向計算中,設 BP網絡的輸入層有個節點,隱層有個節點,輸出層有個節點,輸入層與隱層之間的權重為,隱藏層和輸出層之間的權重為。隱層的傳遞函數為,輸出層的傳遞函數為,則隱層節點的輸出為(將閾值寫入求和項中):

  (1)

  輸出層節點的輸出為:

  (2)

  到目前為止,BP網絡已經完成了維空間矢量到維空間的近似映射[7] [9]。

  反向傳播

  反向傳播比前向傳播復雜一點。為了獲取更加準確的答案,首先定義一個平方型誤差函數。假設輸入個學習樣本,用來表示。第個樣本輸入對應輸出。得到第個樣本的誤差:

  (3)

  其中預期輸出。對于個樣本,全局誤差:

  (4)

  其次,在得到全局誤差后,通過BP累計誤差算法調整縮小全局誤差,即

  (5)

  其中表示學習率。定義誤差信號為:

  (6)

  其中第一項為:

  (7)

  第二項為:

  (8)

  是輸出層傳遞函數的偏微分。

  于是:

  (9)

  由鏈定理得:

  (10)

  輸出層中不同神經元的權重調整公式由上式得出:

  (11)

  最后,改變隱層的權值。計算隱層的變化值:

  (12)

  定義誤差信號為:

  (13)

  其中第一項:

  (14)

  依據鏈定理有:

  (15)

  第二項:

  (16)

  是隱層傳遞函數的偏微分。

  于是:

  (17)

  由鏈定理得:

  (18)

  根據上述公式,隱藏層中每個神經元的權重調整公式如下:

  (19)

  3基于BP神經網絡的氣象云計算平臺設計

  3.1數據處理

  本平臺處理的原始數據都是從氣象部門相關數據平臺獲取的,這些數據包括遙感影像信息、數字文本信息。遙感影像則是從空間數據云平臺下載的當地遙感影像,適用于獲取風速定向、溫度、雨量等氣象數據。數字文本信息是個地方觀測站的設備記錄信息,是氣象研究的重要基礎數據。可以發現這些數據在形態上差異巨大,領域上也相距甚遠。氣象云平臺想從這些差異巨大的數據提取信息、計算相關性是一件比較困難的工作。為了使得這兩類數據可計算,我們采用了典型相關性分析方法對各個通道來源的數據進行計算,從而將不同維度的數據變化在同一個維度后進行計算。

  典型相關分析是由Harold Hotelling于1936年首次提出的。該方法主要用來計算兩組對應變量之間相關關系,目前該方法已經廣泛應用于各個統計領域。典型相關分析所解決的問題是如何尋找兩組對應的基向量,使得這些變量在對應基向量上的投影之間的相關性被同時最大化。假設兩個相互對應的樣本集,,典型相關性分析方法的目標就是計算兩組基向量和。X和Y中的樣本在基向量和上的投影可以表示為和。典型相關性分析的計算目標就是使得和之間具有最大的相關性,因此用于計算相關性的目標函數可以被表示為[9]:

  (3-1)

  其中表示變量的期望值。在進行計算之前,分別將這兩個樣本集中的樣本減去各自的均值向量,那么關于它們的總體協方差矩陣就可以表示為:

  (3-2)

  其中,,,。根據經驗期望和協方差之間的關系,公式(1-13)可以改寫為:

  (3-3)

  和的求解可以通過最大化1-14式得出,也就是通過求解下面的特征值問題獲得:

  (3-4)

  與和對應的特征值則可以根據下式進行求解:

  (3-5)

  有了各自對應的基向量后,就可以根據基向量矩陣計算不同維度的樣本在各自基向量空間的投影系數,并根據樣本的系數向量計算樣本之間的相關性。

  本文將不同維度的數據使用典型相關性分析方法進行變化,然后將這些數據投影在共的空間并進行計算。

  3.2基于BP神經網絡的氣象預測模型的構建

  在完成數據映射后,所有的規格化數據以隊列的形式輸入預測模型。具體運算過程如下:

  將分類到網絡輸入層的樣本數據分為BP模型標準數據,具體為,其中 表示的是從降雨信息中提取的降雨量;表示的是從氣象數據平臺獲取的日均溫度;表示的是風速風向;該模型中各參數具體為:表示的是BP網絡中輸入層到隱層的權值, 表示的是BP網絡中隱層到輸出層的權值;

  通過第一步的樣本數據取值,基本完成預測模型的初始建模,接下來就可以通過Map 函數將本文中選定的氣象樣本數據進行標準化處理,處理后就可開始基于 BP 神經網絡的訓練學習;

  通過迭代算法,優化計算新的連接權值與。

  依據迭代訓練學習后得到符合預期效果的權值與,將預測樣本數據輸入預測模型進行計算得出預測值,并通過輸出層輸出對后續天氣的預測結果。

  當 BP神經網絡用于處理大規模樣本數據時,大量的計算會導致模型難以收斂,訓練時間過長。為了解決這個問題,本文將氣象數據處理過程劃分為多個階段,對每個階段分別實施分段預測計算。這樣一方面可以繼續使用BP網絡的特性,另一方面又可以保證網絡的正常收斂。

  3.3 氣象云計算平臺的架構

  為了實施提出的預測計算,本文將云計算管理平臺的硬件資源和軟件資源實施了整體規劃,整體框架如圖1所示。云計算數據處理方面的數據處理層框架如圖2所示。


 

圖3 氣象云計算平臺的總體服務框架

圖4 氣象云計算平臺的數據處理層示意圖

  數據任務執行由每個任務處理節點獨立完成,可分為五個步驟:啟動任務,準備數據,執行任務,輸出產品,結束任務(圖5) [11]。在啟動任務中,任務執行管理服務器根據調度控制信息自動檢測觸發機制,并按照相關信使攜帶的信息執行下一階段任務;數據準備階段根據任務信使信息指向的氣象云數據平臺,從云平臺讀取元數據,標準化節點根據任務信息對元數據集進行數據同化;數據分析階段根據任務信息要求調用云計算服務器上的算法模型,并通過高性能計算平臺進行數據分析和運算;產品輸出階段將數據分析運算結果轉換為任務信息要求的數據格式,并生成相應的氣象應用產品。根據數據業務要求(氣象業務產品庫或服務產品庫)將數據產品存儲到氣象產品云平臺;結束任務自動生成該項計算任務的執行記錄,存儲相應的數據庫,同時向數據任務調度平臺回執任務結束的命令。

4 總結

  為了充分挖掘氣象大數據包含的豐富信息,提升氣象預測準確度,本文提出了基于BP神經網絡的氣象預測模型,并將該模型與云計算平臺想融合,有效地提升了氣象預測的準度和效率。

  氣象云計算平臺通過神經網絡工具進行云數據分析預測,建立一個能夠根據影響因子對各種災害性天氣預警的氣象風險預測系統。通過神經網絡所具有的自適應和學習功能,不斷檢查預測結果是否與實況數據是否一致,使用與實況數據不匹配的輸入和輸出數據對作為新的樣本[4],不斷迭代,發揮大數據分析的優勢,即通過對大數據進行相對簡單的運算要比小數據進行復雜運算得出的結果更為準確,樣本數量越大,所蘊藏的真實信息越多,就更能做好提高預測準確率。

  參考文獻

  樊宇虹,馮永祥,馬志強等.基于氣象應用的私有云存儲方案[J].計算機工程與設計, 2015, 36(2):426-430.

  王建民.領域大數據應用開發與運行平臺技術研究.軟件學報, 2017,28(6):1516-1528.

  劉森. 云計算技術的價值創造及作用機理研究[D]. 浙江大學,2014.

  王萬良.人工智能導論[M].高等教育出版社,2017.

  劉猛.云計算平臺下神經網絡方法研究[D]. 電子科技大學, 2011.

  張雯.云計算平臺支持下的BP神經網絡在洪災損失評估中的應用研究[D]. 江西理工大學,2017.

  閆妍.基于卷積神經網絡的體液細胞顯微圖像識別方法研究[D].湘潭大學, 2018

  蔡虹,葉水生,張永.一種基于模糊聚類的組合BP網絡挖掘方法[J]. 計算機工程與應用, 2005(36):83-85.


 

核心期刊推薦


体彩飞鱼开奖查询 25选7开奖结果90期 网信彩票平台登陆官方网站 浙江快乐彩12选5开奖结果查询结果 (*^▽^*)MG海豚礁_破解版下载 3d开机号试机号近100期千禧 下载福建快3开奖结果子 (★^O^★)MG秘密爱慕者奖金赔率 (★^O^★)MG火热KTV游戏 新快3预测软件 雷锋论坛论坛赛马会 (★^O^★)MG吉祥8爆分打法 上海天天彩选4包号 (*^▽^*)MG异域狂兽试玩网站 (-^O^-)MG凯蒂小屋送彩金 7星彩 (★^O^★)MG秘密爱慕者怎么玩容易爆分