數(shù)據(jù)處理論文

序論：寫作是一種深度的自我表達。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內(nèi)心深處的真相，好投稿為您帶來了一篇數(shù)據(jù)處理論文范文，愿它們成為您寫作過程中的靈感催化劑，助力您的創(chuàng)作。

數(shù)據(jù)處理論文:三維足部掃描系統(tǒng)中數(shù)據(jù)處理的基本設(shè)置

摘 要：三維激光掃描技術(shù)是近年來出現(xiàn)的新技術(shù)，在國內(nèi)越來越引起研究領(lǐng)域的關(guān)注。它是利用激光測距的原理，通過記錄被測物體表面大量的密集的點的三維坐標(biāo)、反射率和紋理等信息，可快速復(fù)建出被測目標(biāo)的三維模型及線、面、體等各種圖件數(shù)據(jù)。由于三維激光掃描系統(tǒng)可以密集地大量獲取目標(biāo)對象的數(shù)據(jù)點，三維激光掃描技術(shù)也被稱為從單點測量進化到面測量的革命性技術(shù)突破，具有高效率、高精度的獨特優(yōu)勢。三維激光掃描技術(shù)能夠提供掃描物體表面的三維點云數(shù)據(jù)，因此可以用于獲取高精度高分辨率的數(shù)字模型。

關(guān)鍵詞：三維激光掃描；數(shù)據(jù)；點云；模型

三維足部激光掃描系統(tǒng)的數(shù)據(jù)處理包括主控計算機、圖像識別、畸變差更正、建模。通過計算機控制平移采集圖像，采用黑白棋盤格標(biāo)定靶和張正友算法，標(biāo)定圖像中心坐標(biāo)（Cx，Cy），畸變系數(shù)（k1、k2、p1、p2）等攝像機內(nèi)部參數(shù)，研制適于足部激光掃描系統(tǒng)標(biāo)定的細(xì)絲標(biāo)定靶，并在攝像機標(biāo)定的基礎(chǔ)上，采用直接線性變換方法，得到像素坐標(biāo)（Xf，Yf）與世界坐標(biāo)（Xw，Yw）的映射關(guān)系矩陣，進而通過高斯濾波等除去雜點，最后建模，完成三維足部激光掃描系統(tǒng)的數(shù)據(jù)處理。

一、主控計算機的基本配置

針對于長度方向的掃描范圍是290mm的足部掃描系統(tǒng)，考慮余量，需要行程大于300mm的移動平臺。運動分辨率應(yīng)優(yōu)于本系統(tǒng)長度方向的分辨率：20μm。同時，本系統(tǒng)需要在平臺的臺面中軸線下方安裝下光機模組（包括CCD和激光器），在臺面兩側(cè)安裝兩個支撐臂用來支撐左右光C模組，同時，考慮到成年人的一般體重，這就要求臺面允許的承載大于lO0kg（估計值）。隨后根據(jù)電機的相關(guān)參數(shù)選擇驅(qū)動器對電機進行控制。根據(jù)圖像采集速率，計算得到在不細(xì)分的情況下，每秒需要的脈沖數(shù)為1500pulse，在上述情況下，分辨率為0.025mm。若采用最大的256細(xì)分，每秒需要脈沖數(shù)變?yōu)?84000個，因此需要控制卡能提供的脈沖頻率大于該參數(shù)。

基于上述計算，選擇單軸步進電機控制器。它是一塊多軸運動控制卡，可驅(qū)動步進/伺服系統(tǒng)，可實現(xiàn)單軸運行或兩軸聯(lián)動插補控制，并由硬件實現(xiàn)機械裝置的超限保護。其功能特點有：32位PCI總線（PCI2.1標(biāo)準(zhǔn)）；最高速可達1 MHz（即每秒1000000個脈沖）；自動回原點功能，可讀回運動中實際位置。整個系統(tǒng)除了計算機、平移臺自身有配套的電源，還需要給運動控制器、CCD攝像機以及激光器配備直流電源。

二、圖像的采集和識別處理

圖像采集系統(tǒng)由接口、CCD攝像機和控制軟件組成，通過控制軟件編程實現(xiàn)對圖像信號的采集和保存。接口有USB、Net、1394等，根據(jù)系統(tǒng)使用要求設(shè)置采集參數(shù)，采集時先將圖像保存在緩存中，最后再將采集到的圖像從緩存中以不同的命名保存到文件中以便于后續(xù)的處理和重建。

對圖像進行識別時需要首先進行光帶中心提取，對灰度圖像進行光帶提取時采用質(zhì)心法，分兩步來實現(xiàn)：首先對作二值化圖像每一列的像素點的進行掃描，對灰度值為1的點（即白像素點）進行質(zhì)心運算，即可得到當(dāng)前列的光帶中心像素坐標(biāo)，然后逐列移動，即可得到所有列上的光帶中心坐標(biāo)，此時得到的光帶中心坐標(biāo)只是一個近似值；在第一步得到的像素坐標(biāo)近似值的基礎(chǔ)上，從原始灰度圖像上尋找這一坐標(biāo)在列方向上的一個鄰域，然后利用質(zhì)心法重新計算每一列的光帶中心，即可得到更為精確的光帶中心坐標(biāo)。

攝像機標(biāo)定是從二維圖像獲取三維空間信息的關(guān)鍵和必要步驟，如基于圖像的物體重建，基于圖像的測量等?，F(xiàn)有的攝像機標(biāo)定方法大致可以分成兩類：傳統(tǒng)的攝像機標(biāo)定方法和攝像機自標(biāo)定方法。傳統(tǒng)的攝像機標(biāo)定方法是在一定的攝像機模型下，基于特定的實驗條件，如形狀、尺寸己知的標(biāo)定參照物，經(jīng)過對其圖像進行處理，利用一系列數(shù)學(xué)變換和計算方法，求取攝像機模型的內(nèi)部參數(shù)和外部參數(shù)。但在很多情況下，由于存在經(jīng)常性調(diào)整攝像機的要求，且設(shè)置己知的標(biāo)定參數(shù)也不現(xiàn)實，這時就需要一種不依賴標(biāo)定參照物的攝像機自標(biāo)定方法。用二維平面靶標(biāo)和張正友算法對攝像機進行標(biāo)定。

其中為了獲得己知的精確的世界坐標(biāo)，需要設(shè)計精密標(biāo)定靶。標(biāo)定靶作用是為各視覺傳感器提供相應(yīng)的標(biāo)定控制點對：即精確的世界坐標(biāo)和像素坐標(biāo)。它應(yīng)滿足：標(biāo)定點的空間范圍應(yīng)該能夠近似覆蓋整個測量范圍，才能保證測量精度；在標(biāo)定過程中，要對多個傳感器進行標(biāo)定，因此標(biāo)定靶的設(shè)計應(yīng)該使得標(biāo)定過程盡量簡單，減少標(biāo)定過程中的工作量。

三、標(biāo)定方法選取與標(biāo)定實驗

如何實現(xiàn)攝像機和激光器組成的傳感器的標(biāo)定，即標(biāo)定光平面與攝像機之間的位置關(guān)系；如何實現(xiàn)系統(tǒng)全局的標(biāo)定，即標(biāo)定各組傳感器之間的位置關(guān)系。這就要考慮全局標(biāo)定方法。全局標(biāo)定要把各個視覺傳感器的測量數(shù)據(jù)統(tǒng)一到一個總體世界坐標(biāo)系中，也就是確定各個視覺傳感器坐標(biāo)系相對這一總體世界坐標(biāo)系的位置與方向，即旋轉(zhuǎn)矢量和平移矢量。主要有以下三種常用的全局標(biāo)定方法同名坐標(biāo)統(tǒng)一法、中介坐標(biāo)統(tǒng)一法和世界坐標(biāo)唯一法。

其中世界坐標(biāo)唯一法的基本思想是直接利用世界總體坐標(biāo)系下的標(biāo)定點對處于測量狀態(tài)的各個視覺傳感器單元進行局部標(biāo)定，從而將局部標(biāo)定和全局標(biāo)定統(tǒng)一到了一起。其優(yōu)點在于：實現(xiàn)了在測量現(xiàn)場視覺傳感器局部標(biāo)定和全局標(biāo)定的統(tǒng)一；減少了坐標(biāo)轉(zhuǎn)換次數(shù)，從而減少了由坐標(biāo)系轉(zhuǎn)換所帶來的精度損失；減少了標(biāo)定點的采集次數(shù)，降低了勞動強度。因此采用世界坐標(biāo)唯一法對系統(tǒng)進行全局標(biāo)定。

利用平面靶標(biāo)對攝像機進行標(biāo)定的關(guān)鍵是含有坐標(biāo)信息的特征點也稱控制點的檢測。常用的特征點是黑白棋盤格靶標(biāo)上的角點。目前的檢測方法可以分為兩大類：一類是基于圖像邊緣的特征，通過用輪廓點來擬合直線或計算邊緣曲率、夾角，從而判定角點。概括來說，圖像處理的整體步驟是：

1.讀入拍攝的棋盤格圖像，利用Canny算子進行邊緣檢測；

2.利用BW算子求出邊緣區(qū)域的CBW響應(yīng)值，并設(shè)置閩值取出前M個；

3.設(shè)置角點鄰域閾值，將同一角點鄰域內(nèi)的點取均值，最終得出與實際角點數(shù)量相同的N個角點的圖像坐標(biāo)。

準(zhǔn)確檢測了一幅圖像的角點像素坐標(biāo)之后，就能利用張正友算法進行標(biāo)定，該方法基于以下思想：標(biāo)定過程中，攝像機的內(nèi)部參數(shù)始終保持不變，發(fā)生變化的只是外部參數(shù)。所以要求攝像機在兩個以上不同的位置對同一平面靶標(biāo)進行拍攝，攝像機或靶標(biāo)兩者之一可以自由移動，不需要知道它們之間的相互位置關(guān)系和運動參數(shù)等。像機的標(biāo)定完成之后，就能將角點的世界坐標(biāo)結(jié)合攝像機內(nèi)外參數(shù)矩陣，將各點投影到圖像坐標(biāo)系中，比較重投影點與實際檢測出的角點之g的誤差。為了說明角點檢測的準(zhǔn)確性，對于直線擬合和BW算子檢測出的角點也按照張正友方法求解攝像機內(nèi)外參數(shù)，之后投影到圖像坐標(biāo)系中。

四、模型構(gòu)建

建模需要依次進行以下步驟，進行以下步驟：首先進行機械調(diào)整。調(diào)整玻璃平臺與導(dǎo)軌面平行，即與掃描方向平行；調(diào)整兩個掃描臂平面與導(dǎo)軌平行，且等高、等間距；然后進行傳感器調(diào)試。保證腳底面與玻璃平面相交的位置不會超出CCD相機的視場并留有一定余量，保證數(shù)據(jù)的完整性?？梢酝ㄟ^調(diào)整CCD安裝座的俯仰角度實現(xiàn)。因為圖像亮度、對比度的設(shè)置如果太低，會使光帶的亮度降低，不易于黑暗的背景區(qū)分；如果設(shè)置太高，會使得噪聲點亮度增加，產(chǎn)生誤差和多余點云。隨后進行運動控制調(diào)試。保證CCD在電機勻速運動階段采集圖像。在平臺運動過程中，若人為碰觸近端的零位開關(guān)和遠(yuǎn)端的限位開關(guān)，電機將立即停止運動，這就保證了系統(tǒng)的安全。其次進行激光平面調(diào)試。通過調(diào)整激光器安裝座的俯仰、平移，將三個激光平面調(diào)整到完全重合且與掃描方向垂直的狀態(tài)。最后通過點云真實地還原腳模的外形輪廓變化，多個角度視圖清晰。用高斯濾波濾除雜點，進而得到更為完善的模型。

數(shù)據(jù)處理論文:TTC與LGO在GPS工程控制網(wǎng)數(shù)據(jù)處理中的應(yīng)用

摘 要：對兩種商業(yè)LGO和TTC進行了簡要介紹，以GPS工程控制網(wǎng)為基礎(chǔ)，采用兩種軟件處理了基線數(shù)據(jù)，基線處理后均采用后處理軟件CosaGPS進行平差，對兩種解算方式的結(jié)果進行對比分析，對類似的工程控制網(wǎng)解算有一定借鑒意義。

關(guān)鍵詞：GPS 基線；數(shù)據(jù)處理；工程控制網(wǎng)

1 引言

GPS測量數(shù)據(jù)的處理是研究GPS定位技術(shù)的一個重要內(nèi)容，選用好的數(shù)據(jù)處理方法和軟件對結(jié)果影響很大。在GPS靜態(tài)定位領(lǐng)域里，幾十千米以下的定位應(yīng)用已經(jīng)較為成熟，接收機廠商提供的隨機軟件可滿足大部分的應(yīng)用需要[1]。

目前測繪單位大都采用進口的隨機軟件解算基線、國產(chǎn)平產(chǎn)軟件進行網(wǎng)平差的方式來進行GPS網(wǎng)數(shù)據(jù)處理[2]。TTC和LGO作為目前工程應(yīng)用中兩種進口的隨機商業(yè)軟件，均能夠進行GPS和常規(guī)地形測量數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量保證和質(zhì)量控制[3]。本文結(jié)合該工程實例，采用兩種軟件進行GPS工程控制網(wǎng)的基線處理，基線處理后，采用國產(chǎn)平差軟件CosaGPS進行網(wǎng)平差，并圍繞兩種處理結(jié)果展開討論。

2 軟件介紹

LGO，全稱Leica Geo Office，是瑞士徠卡測量有限公司開發(fā)的用來進行數(shù)據(jù)傳輸、數(shù)據(jù)編輯、瀏覽及質(zhì)量控制等的辦公軟件。一般與該公司的全站儀、GPS等相互配合使用。該軟件以統(tǒng)一的方式管理TPS、GPS和水準(zhǔn)數(shù)據(jù)，功能強大，而且對于GNSS的基線解算，在同類軟件中處于上等水平[4]。

TTC，全稱Trimble total control，是Trimble公司為高端客戶定制的集空間信息采集、存儲、分析、顯示和數(shù)據(jù)檢索于一體的產(chǎn)品，與Trimble公司退出的TGO出具處理軟件類似，但不同之處在于TTC軟件可以進行上百公里至幾千公里長距基線的高精度解算，TTC操作過程簡單，近乎傻瓜化，可滿足中低檔客戶掌握高精度GPS數(shù)據(jù)處理的需求[5]。

3 實例分析

某工程控制網(wǎng)共7個控制點，按《全球定位系統(tǒng)（GPS）測量規(guī)范》要求進行D級GPS布網(wǎng)和觀測，基線長度0.9～6.0km，數(shù)據(jù)采集采用leica GX1230，采樣間隔30秒，衛(wèi)星高度截止角15°[6]。控制網(wǎng)圖形如下圖1所示。分別以TTC和LGO對觀測結(jié)果進行基線數(shù)據(jù)處理，下表1為兩種軟件基線平差結(jié)果。

LGO由于軟件本身采用的基線精度評定標(biāo)準(zhǔn)與其他軟件不同，因此不能直接與其他軟件的RMS進行比較[7]。從上表可以看出，兩種軟件處理的15條基線，二者基線長度差值最小為0mm，最大為17mm。若按基線精度要求及復(fù)測基線長度較差進行比對，結(jié)果均滿足規(guī)范要求，說明兩種軟件解算的基線結(jié)果是相吻合的。

CosaGPS軟件是武漢大學(xué)編寫的一套測量控制網(wǎng)通用數(shù)據(jù)處理軟件包。完成任意測量控制網(wǎng)的平差解算和精度評定等工作。該系統(tǒng)最大特點是自動化程度高，通用性強，處理速度快，解算容量大，成果報表自動化輸出[8]。本例中利用CosaGPS自動讀取TTC/LGO軟件輸出的基線向量文件，進行三維無約束平差，三維向量無約束平差基線分量改正數(shù)結(jié)果見表2。

從三維向量無約束平差結(jié)果來看，基線分量改正數(shù)絕對值均滿足規(guī)范要求。兩種解算方式得到的最弱邊相對中誤差分別為：TTC/CosaGPS（1/307000））、LGO /CosaGPS（1/664000），這說明基線向量沒有明顯系統(tǒng)誤差和粗差，該控制網(wǎng)內(nèi)符合精度較高，數(shù)據(jù)處理質(zhì)量可靠。從兩種解算方式得到的結(jié)果對比來看，LGO輸出的基線分量改正數(shù)整體性優(yōu)于TTC，說明LGO軟件處理的基線結(jié)果優(yōu)于TTC軟件處理的結(jié)果。

接下來，在三維向量網(wǎng)無約束平差的基礎(chǔ)上，為獲取控制點在工程控制網(wǎng)下的平面坐標(biāo)，進行二維約束平差。二維約束平差后，兩種解算方式得到的控制點間最弱邊相對中誤差分別為：TTC/CosaGPS（1/204000）、LGO/CosaGPS（1/322000），滿足平面控制網(wǎng)最弱邊相對中誤差要求。二維平差平面坐標(biāo)結(jié)果見表3。

從上表二維約束平差的點位誤差方面可以看出，兩種解算方式的坐標(biāo)分量X方向最大差值為9mm，Y方向最大差值為13mm，點位最大差值為15mm。從兩種解算方式處理的精度對比來看，LGO/CosaGPS相較TTC/CosaGPS處理的結(jié)果，點位誤差較小，精度較高，從《工程測量規(guī)范》[9]施工控制點±20mm限差要求來看，兩者結(jié)果均能夠滿足需要。

4 結(jié)語

本文以某GPS工程控制網(wǎng)為例，通過LGO與TTC兩種軟件進行基線處理，后處理均采用CosaGPS網(wǎng)平差，對其解算結(jié)果進行比較分析。結(jié)果表明：LGO軟件較TTC軟件在數(shù)據(jù)處理方面占優(yōu)，但二者處理數(shù)據(jù)結(jié)果相一致，均滿足規(guī)范要求。在工程應(yīng)用中，二者均具有操作方便、快捷、處理速度快、結(jié)果直觀清晰等優(yōu)點，兩種軟件均可以用于類似GPS工程控制網(wǎng)的數(shù)據(jù)處理。

數(shù)據(jù)處理論文:高中物理實驗數(shù)據(jù)處理中誤差理論的應(yīng)用研究

摘 要：本文主要分析了誤差理論在高中物理實驗數(shù)據(jù)中的重要性，闡述了誤差理論的具體應(yīng)用，最后總結(jié)了誤差理論對物理實驗的作用，旨在加強誤差理論在物理實驗數(shù)據(jù)中的應(yīng)用，促進學(xué)生對物理的真正認(rèn)識和理解。

關(guān)鍵詞：高中物理實驗；數(shù)據(jù)處理；誤差理論；應(yīng)用

一、誤差理論應(yīng)用的重要性

首先，高中物理實驗中的實驗是真實存在于現(xiàn)實生活中的，但是仍然必須經(jīng)過一些嚴(yán)謹(jǐn)?shù)牟僮鞑襟E才能夠完成驗證。為了確保實驗的正確性，通常會采用大量的數(shù)據(jù)來證明，數(shù)據(jù)的可靠性必須達到一定的標(biāo)準(zhǔn)。然而在實驗過程中，由于一些不確定因素的影響，常常會讓實驗數(shù)據(jù)產(chǎn)生誤差，這種誤差通常是不可避免的，但是對于實驗又有一定的影響。為了讓實驗準(zhǔn)確性更高，必須在實驗原理沒問題的情況下，科學(xué)地使用誤差理論的原理來解決這個問題。在物理實驗中，誤差的存在有其必然性，而實驗者對誤差的分析也是實驗的一個重要環(huán)節(jié)。

其次，誤差理論在物理實驗數(shù)據(jù)處理中有著重要作用。誤差理論和實驗數(shù)據(jù)處理屬于考試高頻考點，但是實驗數(shù)據(jù)處理相對而言不容易被忽視，而誤差理論往往容易被忽略，教師在講解相關(guān)理論知識和題目時，對誤差理論知識一筆帶過，學(xué)生掌握得也不夠透徹，處于似懂非懂的狀態(tài)。因此當(dāng)實驗過程中出現(xiàn)誤差時，學(xué)生容易將誤差歸結(jié)到偶然性的誤差和系統(tǒng)的誤差上，沒有深入研究和探索實驗真正存在的問題，對學(xué)生處理物理實驗數(shù)據(jù)并沒有幫助。另外，在高中物理學(xué)習(xí)階段，學(xué)生對誤差的理解停留在“誤差的存在是正常的，不需要對誤差進行研究和計算”，這是因為學(xué)生對于誤差理論沒有進行定量分析，從而將誤差理論和實驗數(shù)據(jù)理論分割開，實際上這二者是緊密聯(lián)系的。

最后，誤差理論實際包含了許多物理實驗數(shù)據(jù)的處理方法，不僅是對誤差的分析，也有嚴(yán)密的法則方便對數(shù)據(jù)進行處理，主要被廣泛應(yīng)用于工業(yè)生產(chǎn)中。而在考慮和處理問題的方法中，誤差理論也常常被用到，尤其是處理高級數(shù)據(jù)，可見誤差理論與物理實驗數(shù)據(jù)處理有著不可分割的關(guān)系，合理、科學(xué)地運用誤差理論，能夠在高中物理實驗數(shù)據(jù)處理中發(fā)揮重要的作用。

二、高中物理實驗數(shù)據(jù)處理中誤差理論的具體應(yīng)用

1.力的平行四邊形定則驗證實驗

力的平行四邊形定則驗證實驗是高中階段一項重要的基本實驗，在實驗過程中，需要獲得的是：兩個共點分力相同作用效果和實際的測量數(shù)據(jù)的合力，是否和這兩個共點力構(gòu)建的理論合力符合，兩個共點力應(yīng)用的原理是平行四邊形定則。這個實驗涉及實驗的測量數(shù)據(jù)和理值之間的誤差，在合理的誤差范圍內(nèi)，兩者的合力相同，那么印證了平行四邊形的定則。這個實驗需要的材料有木板、橡皮、白紙等，原理是如果兩個作用力F1和F2的作用效果和一個力F的作用效果一樣，那么力F就是F1和F2的合力。實驗過程中，由于誤差的存在，F(xiàn)1和F2與合力F很難完全相同，數(shù)值甚至可能相差甚遠(yuǎn)，此時教師需要及時引導(dǎo)學(xué)生，觀察實驗過程中的小細(xì)節(jié)，爭取將誤差降到最低，確保實驗的準(zhǔn)確性，完成實驗的驗證過程。

經(jīng)過研究分析，誤差的來源可能有以下三個方面：第一，運用平行四邊形的定則進行作圖時，由于作圖不準(zhǔn)確產(chǎn)生的誤差；第二，彈簧測力計沒有調(diào)零；第三，在使用彈簧測力計時，彈簧外殼與紙張的摩擦以及彈簧與外殼的摩擦造成的誤差。

2.探究勻變速直線運動的實驗

實驗中，勻變速直線運動涉及測量加速度的方法，加速度是一個極為抽象的概念，如果教師簡單地通過理論教學(xué)，學(xué)生不能夠?qū)⑵涓拍罾斫獾煤芡笍?。因此教師可以通過直觀的方式進行實驗教學(xué)，如通過打點計時器和紙帶，將加速度轉(zhuǎn)化為較直觀和可以進行測量的具體數(shù)值。在實驗過程中，教師應(yīng)該引導(dǎo)學(xué)生在加速度實驗設(shè)計中分析誤差，選擇合適的實驗參數(shù)，從而降低誤差。誤差理論的應(yīng)用在一定程度上能夠培養(yǎng)學(xué)生對待實驗嚴(yán)謹(jǐn)和細(xì)心的態(tài)度。教師在這個過程中，通過誤差理論教學(xué)，提高學(xué)生分析問題和誤差的能力。在勻變速直線運動實驗中，小車帶著紙帶在軌道上做加速運動，穿過打點計時器會留下一連串的數(shù)據(jù)點。通過逐差法計算出小車運動的加速度

T是打點計數(shù)器的周期，為了讓學(xué)生處理數(shù)據(jù)更方便，這里一個周期為五個時間間隔。S1、S2、S3…是紙帶上相鄰的點的距離，學(xué)生可以通過測量得出相鄰距離。實驗的誤差主要有兩個部分：第一，測量位移；第二，測量時間。降低紙帶測量的誤差，能有效提高小車加速度的準(zhǔn)確性。

綜上所述，誤差理論應(yīng)該廣泛應(yīng)用于高中物理實驗數(shù)據(jù)處理中，讓實驗的結(jié)果和過程更加合理化、科學(xué)化，準(zhǔn)確性更高，讓學(xué)生徹底明白誤差理論知識的概念，增強學(xué)生分析物理實驗數(shù)據(jù)的能力，提高學(xué)生處理數(shù)據(jù)的能力，以后能夠以嚴(yán)謹(jǐn)?shù)膽B(tài)度對待相關(guān)物理實驗。

數(shù)據(jù)處理論文:正點地面觀測數(shù)據(jù)維護中異常數(shù)據(jù)處理

摘 要：調(diào)整地面氣象觀測資料報文傳輸方式后，值班人員應(yīng)將逐時觀測的氣象要素數(shù)據(jù)信息在正點后借助地面測報業(yè)務(wù)軟件“正點地面觀測數(shù)據(jù)維護”來檢查觀測數(shù)據(jù)，一旦有異常或錯誤出現(xiàn)，應(yīng)及時分析和處理疑誤數(shù)據(jù)，做好自動氣象站觀測數(shù)據(jù)質(zhì)量控制。

關(guān)鍵詞：地面觀測；數(shù)據(jù)維護；異常數(shù)據(jù)；處理對策

科學(xué)技術(shù)水平快速提升推動了我國氣象事業(yè)發(fā)展和進步，對觀測資料完整性、實用性和時效性提出了更高要求。在實際觀測工作中，采集的各個氣象要素數(shù)據(jù)質(zhì)量受外界因素影響較大，降低了自動臺站觀測資料使用價值。一旦發(fā)現(xiàn)觀測數(shù)據(jù)異常，可憑借日常工作經(jīng)驗及時分析處理疑誤信息，以增強自動氣象站觀測數(shù)據(jù)可用性，提升地面氣象觀測業(yè)務(wù)質(zhì)量。

1 基本操作要領(lǐng)

為方便正點時刻進行地面觀測工作，在維護軟件中設(shè)置正點觀測值和小時內(nèi)分鐘觀測值實時對比功能。當(dāng)焦點經(jīng)過當(dāng)前時次相對濕度、氣溫、降水量和本站氣壓等氣象要素對應(yīng)單元格時，工作人員按住“Shift”鍵，右擊對應(yīng)單元格，該時次內(nèi)相關(guān)氣象要素逐分鐘觀測數(shù)據(jù)信息和對應(yīng)曲線圖就會顯示在“分鐘降水量”窗口上方。

臺站整點時刻會編發(fā)加密天氣報和天氣報，應(yīng)在正點時刻點擊OSSMO軟件對應(yīng)整點地面觀測數(shù)據(jù)維護功能，在正點5min內(nèi)將人工觀測氣象要素數(shù)據(jù)信息輸入系統(tǒng)內(nèi)，還要認(rèn)真檢查錄入數(shù)據(jù)信息是否完整，若自動臺站不能正常運行，應(yīng)第一時間實施科學(xué)合理人工干預(yù)。在非天氣報或加密天氣報時次，觀察自動站逐時采集數(shù)據(jù)情況，當(dāng)軟件運行中有異常，認(rèn)真分析并針對性處理，同時保存，控制質(zhì)量完成后會生成新的長Z文件。

取消天氣報后，當(dāng)新型自動氣象站觀測氣象要素值異常時可通過人工方法來干預(yù)，單擊“數(shù)據(jù)維護”下拉菜單中“正點地面觀測數(shù)據(jù)維護”，進入界面后在OSSMO窗口中同時點擊“Ctrl+T”鍵，在“正點地面觀測數(shù)據(jù)維護”中查看人工觀測數(shù)據(jù)和本時次相關(guān)統(tǒng)計、自動氣象站觀測數(shù)據(jù)、應(yīng)急加密觀測、累積降水量值，以滾動表格方式將與本時次統(tǒng)計值相關(guān)所有觀測資料信息羅列。

2 正點地面觀測數(shù)據(jù)維護中異常數(shù)據(jù)處理

2.1 數(shù)據(jù)輸入異常

2.1.1 降水量輸入

通過人工方法錄入降水量數(shù)據(jù)信息，若“正點地面觀測數(shù)據(jù)維護”窗口上有“降水天氣現(xiàn)象無編報降水量”信息提示，此時無法錄入降水量數(shù)據(jù)信息，刪除對應(yīng)天氣現(xiàn)象編碼信息后根據(jù)正確順序錄入即可。

2.1.2 云的輸入

可以正確輸入云量數(shù)據(jù)信息，但不能輸入云狀態(tài)時，應(yīng)檢查輸入模式是否為英文；如果有“云高不能為空！”提示信息，應(yīng)在現(xiàn)有云高欄中輸入正確云高數(shù)據(jù)后刪除編報欄中云量信息，結(jié)合本站實際決定是否刪除云高信息。因輸入方式錯誤引起的軟件異常也可關(guān)閉軟件不保存數(shù)據(jù)信息，再重啟業(yè)務(wù)軟件，按正確方法輸入氣象要素數(shù)據(jù)信息，有效避免異常。

2.2 記錄超出歷史極值

2.2.1 觀測數(shù)據(jù)超過極值

在正點地面觀測數(shù)據(jù)維護中，一旦發(fā)現(xiàn)氣溫、氣壓、相對濕度、降水量數(shù)據(jù)超過極限值，要通過人工方法J真審核氣象要素數(shù)據(jù)信息，將正點觀測氣象要素數(shù)據(jù)和逐時分鐘內(nèi)觀測數(shù)據(jù)信息進行比較，借助操作軟件判斷氣象要素合理性，若發(fā)現(xiàn)氣象要素值變化與客觀規(guī)律相符的正常數(shù)據(jù)信息，在發(fā)送數(shù)據(jù)信息后并做好保存。

2.2.2 地溫等其它要素超過極值

若地溫等要素值超過極值，應(yīng)查看逐分地面觀測數(shù)據(jù)文件，分析分鐘內(nèi)數(shù)據(jù)文件是否合理，如果分鐘數(shù)據(jù)跳變異常而不能使用或超過氣候?qū)W界限值時，可按缺測處理。要科學(xué)合理設(shè)置軟件中地面審核規(guī)則庫數(shù)據(jù)，預(yù)審人員可結(jié)合預(yù)審報表中超過歷史極值可疑信息，在審核規(guī)則庫中設(shè)置合適極值。

3 降低地面正點觀測數(shù)據(jù)異常的對策

3.1 做好觀測儀器設(shè)備維護

做好觀測儀器設(shè)備保養(yǎng)和維護，確保新型自動氣象站長時間穩(wěn)定運行。新型自動站儀器設(shè)備為較敏感元器件制成，在建站選址時，應(yīng)選擇在電磁干擾程度較小區(qū)域，避免電磁信號干擾影響地面觀測工作。

3.2 做好惡劣天氣下地面測報工作

新型自動氣象站觀測儀器設(shè)備運行過程中受惡劣天氣影響較大，可借助于先進觀測儀器設(shè)備加強對特殊天氣掌握程度，了解惡劣天氣條件對觀測儀器設(shè)備的危害，采取有針對性防御對策。

3.3 升級測報軟件

應(yīng)做好備份工作并及時保存相關(guān)數(shù)據(jù)信息，詳細(xì)了解升級后測報軟件內(nèi)容，通過可靠軟件網(wǎng)站進行升級，做好補丁安裝，防止因軟件升級失敗造成觀測數(shù)據(jù)信息丟失。

3.4 數(shù)據(jù)備份

應(yīng)高度重視數(shù)據(jù)備份工作，做好新型自動站正點地面觀測數(shù)據(jù)維護，防止觀測氣象要素數(shù)據(jù)信息異常。做好人工監(jiān)測工作，真實、全面記錄氣象要素數(shù)據(jù)信息。將20h作為1周期，由測報人員將備份工作做好，一旦發(fā)現(xiàn)觀測數(shù)據(jù)異常，可錄入備份數(shù)據(jù)信息。

數(shù)據(jù)處理論文:大數(shù)據(jù)時代下的電力自動化系統(tǒng)數(shù)據(jù)處理

摘 要：我國電力市場發(fā)展度較快，電力系統(tǒng)也正逐步向自動化邁進，并且在運行過程中產(chǎn)生了大量數(shù)據(jù)，我們將其稱之為"大數(shù)據(jù)時代"。本文主要闡述了電力自動系統(tǒng)在運行過程中產(chǎn)生的具體數(shù)據(jù)情況，并分析了基于大數(shù)據(jù)時代背景下如何做好電力數(shù)據(jù)處理工作。

關(guān)鍵詞：大數(shù)據(jù)時代；電力自動化系統(tǒng)；數(shù)據(jù)處理

電力自動化數(shù)據(jù)的處理工作中，要針對不同的數(shù)據(jù)類型以及系統(tǒng)不同部分對數(shù)據(jù)的不同要求建立起對應(yīng)的系統(tǒng)數(shù)據(jù)資源處理體系。通過建立并整合綜合數(shù)據(jù)庫、完成電力系統(tǒng)安全防護規(guī)范、形成完善的調(diào)度數(shù)據(jù)體現(xiàn)功能等實現(xiàn)對電力自動化系統(tǒng)中數(shù)據(jù)的有效處理。

一、電力自動化系統(tǒng)的類型分類

1.基礎(chǔ)型數(shù)據(jù)：主要是與電力自動化系統(tǒng)中的電力設(shè)施設(shè)備屬性相關(guān)的數(shù)據(jù)，如，發(fā)電機、變壓器等電力設(shè)施設(shè)備的基礎(chǔ)數(shù)據(jù)。對于這些數(shù)據(jù)一般是電力單位根據(jù)相關(guān)的數(shù)據(jù)規(guī)劃各自進行管理，并通過相關(guān)數(shù)據(jù)服務(wù)器對其數(shù)據(jù)進行數(shù)據(jù)同步，便于調(diào)度中心對這些數(shù)據(jù)進行集中存儲、整理和相關(guān)計算。

2.實時數(shù)據(jù)：大多數(shù)是在電力系統(tǒng)運行過程中進行實時采集的數(shù)據(jù)，其數(shù)據(jù)量很大，對存儲空間的要求比較高。這些數(shù)據(jù)是在電力系統(tǒng)運行過程中產(chǎn)生的，通過對其進行糾錯處理后，能夠為調(diào)度部門或市場運營提供決策參考依據(jù)。目前，我國電力自動化系統(tǒng)在實時數(shù)據(jù)處理方面比較成熟，對收集到的實時數(shù)據(jù)不需要進行相關(guān)的處理，只需要在數(shù)據(jù)輸入、輸出過程中建立一個穩(wěn)定的接口即可。

3.日常管理的數(shù)據(jù)：主要是在電力系統(tǒng)運行過程中對各種相關(guān)數(shù)據(jù)進行統(tǒng)計，各部門對在工作中遇到的問題進行相關(guān)處理后的數(shù)據(jù)信息。一般情況下，這些數(shù)據(jù)只需要在特定的范圍內(nèi)進行同步和共享即可。在電力系統(tǒng)運行過程中，建立這一類型數(shù)據(jù)同步和共享的數(shù)據(jù)平臺是十分必要的。主要原因表現(xiàn)在以下幾個方面：①這些日常管理的數(shù)據(jù)在某種程度上反映電力系統(tǒng)中電力設(shè)施設(shè)備的運行情況；②方便電力系統(tǒng)中各個部門對日常管理數(shù)據(jù)的獲取，以便更好的開展部門工作。

4.市場經(jīng)濟數(shù)據(jù)：隨著市場經(jīng)濟的發(fā)展，電力系統(tǒng)的經(jīng)濟效益越來越突出，電力系統(tǒng)運行中的相關(guān)數(shù)據(jù)對電力單位的發(fā)展具有重要影響，將其作為經(jīng)濟性數(shù)據(jù)十分有必要。市場經(jīng)濟數(shù)據(jù)對城市建設(shè)規(guī)劃中的電力規(guī)劃有很重要的決策參考依據(jù)。市場經(jīng)濟數(shù)據(jù)具有非常大的擴展空間，其數(shù)據(jù)規(guī)劃的重點將是實時數(shù)據(jù)。

二、電力系統(tǒng)化系統(tǒng)中數(shù)據(jù)的獲取

電力系統(tǒng)化系統(tǒng)中數(shù)據(jù)的獲取就是整個數(shù)據(jù)的采集過程。在電力自動化系統(tǒng)中，主要包括了數(shù)據(jù)采集、數(shù)據(jù)處理以及數(shù)據(jù)轉(zhuǎn)發(fā)三個環(huán)節(jié)。在電力系統(tǒng)中，實現(xiàn)數(shù)據(jù)傳輸是進行數(shù)據(jù)獲取與采集的重要目的。在進行數(shù)據(jù)傳輸過程中，可以采用有限傳輸與無線傳輸兩種方式進行。在采用有限傳輸?shù)倪^程中，主要通過使用電纜或者光纖進行傳輸。而在無線傳輸過程中，則可以使用微波或者無線擴頻的方式進行傳送。由于有限傳輸信號穩(wěn)定可靠，因此，在電力自動化系統(tǒng)當(dāng)中主要是使用有線傳輸方式。但是，由于無線傳輸方式能夠減少線路的鋪設(shè)工作量，而且在較為偏遠(yuǎn)的地區(qū)能夠方便的采集數(shù)據(jù)，而使得其在部分地區(qū)得到廣泛應(yīng)用。

三、電力自動化系統(tǒng)中的數(shù)據(jù)處理

3.1數(shù)據(jù)共享

數(shù)據(jù)共享的主要方式主要包括以下幾種：（1）內(nèi)存數(shù)據(jù)庫。利用內(nèi)存數(shù)據(jù)庫有著安全性高、訪問速度快和結(jié)構(gòu)靈活的特點，但是也存在著一些問題，那就是其開放性較低。（2）利用網(wǎng)絡(luò)進行通訊。網(wǎng)絡(luò)通訊的方式有UDP、TCP、IP等，在對數(shù)據(jù)進行打包發(fā)送的過程中，網(wǎng)絡(luò)通訊的方式相應(yīng)速度較快，而且數(shù)據(jù)在處理的過程中，使用的是二進制的方式，這種方式在編程的時候較為復(fù)雜。（3）直接內(nèi)存訪問。利用直接內(nèi)存訪問的方式進行共享，有著傳輸速度較高、進入的速度較快的特點，但是在數(shù)據(jù)處理的過程中，對于整個系統(tǒng)的安全性會造成一定的影響。電力自動化系統(tǒng)使用的是DCOM技術(shù)來進行內(nèi)存數(shù)據(jù)庫的訪問的，例如，遠(yuǎn)程主機在進行數(shù)據(jù)共享的過程中，可以使用網(wǎng)絡(luò)映射的方式將遠(yuǎn)程主機進行映射，使其映射到本地的磁盤中，這樣是便于數(shù)據(jù)的下載與更新的。

3.2數(shù)據(jù)流

數(shù)據(jù)流也是電力自動化系統(tǒng)運行中十分重要的組成部分，在數(shù)據(jù)處理中扮演著關(guān)鍵性得角色。隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，數(shù)據(jù)流呈現(xiàn)出了連續(xù)性、順序性和實時性，整個過程的起點是在數(shù)據(jù)進入到了系統(tǒng)中開始，而數(shù)據(jù)在流動的過程中，那么信息的流動策略就會與整個系統(tǒng)的功能有著緊密的聯(lián)系。隨著電力自動化技術(shù)的不斷提高，電力系統(tǒng)在運行的過程中，數(shù)據(jù)量在逐漸的增加，整個系統(tǒng)結(jié)構(gòu)也變得越來越復(fù)雜，必須要對相應(yīng)的數(shù)據(jù)量進行科學(xué)的分析，這樣才能夠合理的部署，提高數(shù)據(jù)傳輸?shù)男?，使?shù)據(jù)流在運行的過程中，能夠充分的保證其可靠性、安全性和實時性。數(shù)據(jù)流技術(shù)在處理的過程中，一定要將接口的統(tǒng)一性進行相應(yīng)的處理，在這樣的情況下，就要充分的解決各個子系統(tǒng)之間的在接口統(tǒng)一性上的問題。

3.3電力自動化系統(tǒng)中的數(shù)據(jù)整合

電力自動化系統(tǒng)的建立及發(fā)展是基于“建立調(diào)度綜合數(shù)據(jù)應(yīng)用與交換平臺，規(guī)范和整合調(diào)度系統(tǒng)數(shù)據(jù)”的基本要求，通過數(shù)據(jù)讓你過河、功能完善等方式使得不同的專業(yè)技術(shù)以及信息安全技術(shù)在系統(tǒng)中得到應(yīng)用和體現(xiàn)。同時，電力自動化系統(tǒng)的整合工作必須基于國家電網(wǎng)調(diào)度系統(tǒng)的數(shù)據(jù)整合原則及基本工作框架進行。當(dāng)前，系統(tǒng)建設(shè)的主要目標(biāo)在于建立一個綜合數(shù)據(jù)庫、形成一個與電力二次系統(tǒng)安全防護要求相一致的信息交換體系，實現(xiàn)通用調(diào)度數(shù)據(jù)的體現(xiàn)。在具體的實施過程中，可以采取如下步驟進行：（1）基于既有系統(tǒng)開發(fā)多種分散數(shù)據(jù)的采集與整合工具，形成統(tǒng)一數(shù)據(jù)規(guī)格的管理規(guī)范，建立一個基于對象的數(shù)據(jù)處理數(shù)學(xué)模型，進而實現(xiàn)系統(tǒng)信息的相互關(guān)聯(lián)，實現(xiàn)信息區(qū)域的管理中心。（2）利用通用調(diào)度數(shù)據(jù)展現(xiàn)技術(shù)給電力自動化系統(tǒng)用戶提供便捷的數(shù)據(jù)分析、加工及理途徑。同時，開發(fā)并實現(xiàn)基于用戶自定義規(guī)則的調(diào)度數(shù)據(jù)綜合處理信息系統(tǒng)，實現(xiàn)對數(shù)據(jù)的重復(fù)利用。（3）開發(fā)橫向調(diào)度數(shù)據(jù)接口技術(shù)，通過完善并統(tǒng)一對外調(diào)度接口的方式，避免出現(xiàn)數(shù)據(jù)多重交叉的以及重復(fù)輸出問題。（4）形成上、下級縱向調(diào)度數(shù)據(jù)的標(biāo)準(zhǔn)接口，構(gòu)建起廣域范圍中的金字塔式形式的立體數(shù)據(jù)體系。

四、智能電網(wǎng)

1.智能電網(wǎng)中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

智能電網(wǎng)中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)具有堅強、靈活的特點，能夠有效的解決電力系統(tǒng)中能源和生產(chǎn)力分布不均勻的問題，滿足電力企業(yè)大規(guī)模生產(chǎn)運輸過程中產(chǎn)生大規(guī)模數(shù)據(jù)的處理功能，實現(xiàn)資源的優(yōu)化配置，減少電能損耗。同時，智能電網(wǎng)中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能夠有效的應(yīng)對一些自然災(zāi)害，如雨、雪等。

2.開放、標(biāo)準(zhǔn)、集成的通信系統(tǒng)

智能電網(wǎng)能夠?qū)﹄娏ψ詣踊到y(tǒng)進行及時有效的監(jiān)控，主要在其具有識別故障早期征兆的預(yù)測能力和對故障做出相關(guān)的相應(yīng)的能力。智能電網(wǎng)是電力自動化企業(yè)的發(fā)展方向，能夠為電網(wǎng)規(guī)劃、建設(shè)和運行管理提供全面的數(shù)據(jù)信息，有利于大數(shù)據(jù)時代下電力自動化運行系統(tǒng)的穩(wěn)定、安全和高效的運行。

結(jié)語

自動化系統(tǒng)的正常運行，一定要充分考慮到系統(tǒng)運行中數(shù)據(jù)信息的數(shù)量信息，便于數(shù)據(jù)的維修和存儲空間的無限擴展。文章主要是分析了自動化系統(tǒng)的數(shù)據(jù)類型，并且對其進行了詳盡的分析，對于相關(guān)問題進行了闡述，給電力自動化系統(tǒng)提供了更加廣闊的空間，并探究了智能電網(wǎng)在電力自動化運行系統(tǒng)中運行的優(yōu)勢和未來的發(fā)展方向。

數(shù)據(jù)處理論文:大數(shù)據(jù)處理平臺比較研究

摘要：大數(shù)據(jù)環(huán)境下，傳統(tǒng)的數(shù)據(jù)處理方式不再適用，以云計算技術(shù)為支撐的大數(shù)據(jù)處理平臺應(yīng)運而生。比較了開源Hadoop和Spark平臺各自的優(yōu)缺點，發(fā)現(xiàn)各自的適用范圍：Hadoop適用于數(shù)據(jù)密集型任務(wù)，并廣泛應(yīng)用于離線分析；Spark因其基于內(nèi)存計算，在迭代計算和實時分析領(lǐng)域占據(jù)優(yōu)勢。二者在功能上有較強的互補性，協(xié)同使用可以發(fā)揮更大效益。

關(guān)鍵詞：大數(shù)據(jù)平臺；Hadoop； Spark；比較研究

1大數(shù)據(jù)處理平臺

1.1大數(shù)據(jù)特點

目前，大數(shù)據(jù)還沒有一個標(biāo)準(zhǔn)定義，但是把握大數(shù)據(jù)的特征，有助于加深對大數(shù)據(jù)內(nèi)涵的理解。數(shù)據(jù)具有的3V特征，即規(guī)模大（Volume）、種類多（Variety）、速度快（Velocity）。規(guī)模大，意味著數(shù)據(jù)量不斷擴張，數(shù)據(jù)量級從現(xiàn)在的GB、TB增長到PB、EB甚至ZB級；種類多，指數(shù)據(jù)類型有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，其中文字、圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)占很大比例；速度快，表示大數(shù)據(jù)有強時效性，數(shù)據(jù)快速產(chǎn)生，需要及時處理及分析才能實現(xiàn)大數(shù)據(jù)的經(jīng)濟價值。 大數(shù)據(jù)的處理過程為數(shù)據(jù)抽取與集成、數(shù)據(jù)分析以及數(shù)據(jù)解釋 [1]。巨量的數(shù)據(jù)往往也意味著噪聲較多，這給數(shù)據(jù)清洗工作造成困難。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫處理對象單位通常為MB，適合處理存儲結(jié)構(gòu)化數(shù)據(jù)，而面向大數(shù)據(jù)的數(shù)據(jù)庫技術(shù)能夠解決海量的非結(jié)構(gòu)數(shù)據(jù)存儲問題。傳統(tǒng)的數(shù)據(jù)分析方法以算法的準(zhǔn)確率作為重要的衡量指標(biāo)，而大數(shù)據(jù)的高速性要求算法必須犧牲一部分準(zhǔn)確性以更高效地處理數(shù)據(jù)。

1.2大數(shù)據(jù)處理平臺

為從規(guī)模巨大、種類繁多、生成快速的數(shù)據(jù)集中挖掘價值[2]，針對大數(shù)據(jù)的技術(shù)和方法應(yīng)運而生。GFS、NoSQL、ITHbase、MapReduce等云計算技術(shù)發(fā)展，使大數(shù)據(jù)有效存儲、管理和分析成為可能。但從眾多復(fù)雜的大數(shù)據(jù)技術(shù)中進行選擇，并搭建完備的大數(shù)據(jù)處理框架難度很高，不利于挖掘大數(shù)據(jù)中的經(jīng)濟價值。大數(shù)據(jù)平臺能在用戶不了解架構(gòu)底層細(xì)節(jié)的情況下，開發(fā)大數(shù)據(jù)應(yīng)用程序。全球領(lǐng)先的科技巨頭紛紛提出了建設(shè)與應(yīng)用大數(shù)據(jù)處理平臺：IBM公司推出了云端版InfoSphere BigInsights[3]；HP推出了HP Vertica6.1分析平臺[4]；Google提出的GFS、MapReduce等云計算技術(shù)催生了大數(shù)據(jù)處理平臺的事實標(biāo)準(zhǔn)Hadoop。目前，Google使用的是自己開發(fā)的Caffeine[2]；Facebook結(jié)合自身需求實現(xiàn)了Corona、Prism。完備、高效的大數(shù)據(jù)處理平臺為大數(shù)據(jù)應(yīng)用提供一站式基礎(chǔ)服務(wù)，支持應(yīng)用系統(tǒng)從清洗、集成、分析到結(jié)果可視化展現(xiàn)全過程建設(shè)，降低了用戶技術(shù)門檻[5]。

2大數(shù)據(jù)處理平臺比較

Hadoop的支撐技術(shù)（MapReduce等）成熟，實現(xiàn)了海量數(shù)據(jù)分布式存儲和批量處理，應(yīng)用廣泛，成為大數(shù)據(jù)處理平臺的事實標(biāo)準(zhǔn)。Spark以其近乎實時的性能和相對靈活易用而受到歡迎，它同Hadoop一樣都是Apache旗下的開源集群系統(tǒng)，是目前發(fā)展最快的大數(shù)據(jù)處理平臺之一。

2.1Hadoop與Spark比較

2.1.1Hadoop及特c Hadoop是由Apache開發(fā)的開源云計算平臺，實現(xiàn)在大量計算機組成的集群中進行分布式存儲和計算。Hadoop框架最核心的技術(shù)是HDFS和MapReduce。HDFS是可部署在廉價機器上的分布式文件系統(tǒng)，采用主/從結(jié)構(gòu)，將大文件分割后形成大小相等的block復(fù)制3份，分別存儲在不同節(jié)點上，實現(xiàn)了海量數(shù)據(jù)存儲。MapReduce編程模型實現(xiàn)大數(shù)據(jù)處理，它的核心是“分而治之”[1]。Map任務(wù)區(qū)將輸入數(shù)據(jù)源分塊后，分散給不同的節(jié)點，通過用戶自定義的Map函數(shù)，得到中間key/Value集合，存儲到HDFS上。Reduce任務(wù)區(qū)從硬盤上讀取中間結(jié)果，把相同K值數(shù)據(jù)組織在一起，再經(jīng)過用戶自定義的Reduce函數(shù)處理，得到并輸出結(jié)果；將巨量資料的處理并行運行在集群上，實現(xiàn)對大數(shù)據(jù)的有效處理。 Hadoop具有如下優(yōu)點[69]： （1）高擴展性。Hadoop的橫向擴展性能很好，海量數(shù)據(jù)能橫跨幾百甚至上千臺服務(wù)器，而用戶使用時感覺只是面對一個。大量計算機并行工作，對大數(shù)據(jù)的處理能在合理時間內(nèi)完成并得以應(yīng)用，這是傳統(tǒng)單機模式無法實現(xiàn)的。 （2）高容錯性。從HDFS的設(shè)計可以看出它通過提供數(shù)據(jù)冗余的方式提供高可靠性。當(dāng)某個數(shù)據(jù)塊損壞或丟失，NameNode就會將其它DataNode上的副本進行復(fù)制，保證每塊都有3份。所以，在數(shù)據(jù)處理過程中，當(dāng)集群中機器出現(xiàn)故障時計算不會停止。 （3）節(jié)約成本。首先，Hadoop本身是開源軟件，完全免費；其次，它可以部署在廉價的PC機上；“把計算推送給數(shù)據(jù)”的設(shè)計理念，節(jié)省了數(shù)據(jù)傳輸中的通信開銷。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫將所有數(shù)據(jù)存儲起來，成本高昂，這不利于大數(shù)據(jù)產(chǎn)業(yè)發(fā)展。 （4）高效性。Hadoop以簡單直觀的方式解決了大數(shù)據(jù)處理中的儲存和分析問題。數(shù)據(jù)規(guī)模越大，相較于單機處理Hadoop的集群并行處理優(yōu)勢越明顯。 （5）基礎(chǔ)性。對于技術(shù)優(yōu)勢企業(yè)，可以根據(jù)基礎(chǔ)的Hadoop結(jié)合應(yīng)用場景進行二次開發(fā)，使其更適合工作環(huán)境。比如，F(xiàn)acebook從自身應(yīng)用需求出發(fā)，構(gòu)建了實時Hadoop系統(tǒng)。 Hadoop系統(tǒng)局限性 [1011]：①不適合迭代運算。MapReduce要求每個運算結(jié)果都輸出到HDFS，每次初始化都要從HDFS讀入數(shù)據(jù)。在迭代運算中，每次運算的中間結(jié)果都要寫入磁盤，Hadoop在執(zhí)行每一次功能相同的迭代任務(wù)時都要反復(fù)操作I/O，計算代價很大。而對于常見的圖計算和數(shù)據(jù)挖掘等，迭代計算又是必要的；②實時性差。Hadoop平臺由于頻繁的磁盤I/O操作，大大增加了時間延遲，不能勝任快速處理任務(wù)；③易用性差。Hadoop只是一個基礎(chǔ)框架，精細(xì)程度有所欠缺，如果要實現(xiàn)具體業(yè)務(wù)還需進一步開發(fā)。MapReduce特定的編程模型增加了Hadoop的技術(shù)復(fù)雜性。

2.1.2Spark及特點 Spark的整個生態(tài)系統(tǒng)稱為BDAS（伯克利數(shù)據(jù)分析棧），包括Tachyon、Spark Streaming、Spark Core、MLlib等。其核心框架Spark是為了實現(xiàn)大數(shù)據(jù)的快速處理而設(shè)計的，可以用來構(gòu)建低延遲應(yīng)用。Spark以RDD（彈性分布數(shù)據(jù)集）為基礎(chǔ)，實現(xiàn)了基于內(nèi)存的大數(shù)據(jù)計算。RDD是對數(shù)據(jù)的基本抽象，實現(xiàn)了對分布式內(nèi)存的抽象使用。由于RDD能緩存到內(nèi)存中，因此避免了過多的磁盤I/O操作，大大降低了時延。Tachyon是分布式內(nèi)存文件系統(tǒng)，類似于內(nèi)存中的HDFS，基于它可以實現(xiàn)RDD或文件在計算機集群中共享。Spark沒有自己的文件系統(tǒng)，通過支持Hadoop HDFS、HBase等進行數(shù)據(jù)存儲。Spark更專注于計算性能，其特點如下[1113]： （1）高速性。Spark通過內(nèi)存計算減少磁盤I/O開銷，極大縮小了時間延遲，能處理Hadoop無法應(yīng)對的迭代運算，在進行圖計算等工作時表現(xiàn)更好。高速數(shù)據(jù)處理能力使得Spark更能滿足大數(shù)據(jù)分析中實時分析的要求。 （2）靈活性。較之僅支持map函數(shù)和reduce函數(shù)的Hadoop，Spark支持map、reduce、filter、join、count等近80多種操作類型。Spark的交互模式使用戶在進行操作時能及時獲得反饋，這是Hadoop不具備的。Spark SQL能直接用標(biāo)準(zhǔn)SQL語句在Spark上進行大數(shù)據(jù)查詢，簡單易學(xué)。盡管在Hadoop中有Hive，可以不用Java來編寫復(fù)雜的MapReduce程序，但是Hive在MapReduce上的運行速度卻達不到期望程度。

2.1.3Hadoop與Spark特點比較分析 Hadoop具有高擴展性、高容錯性、成本低、高效性、不適合迭代運算、實時性差、易用性差等特點，與之相比，Spark最突出的特點是高速性和靈活性，基于這些特點分析總結(jié)如下：Hadoop更注重存儲性能，而Spark更專注于計算，可以形象地將二者的處理方式比作“大砍刀”和“剔骨刀”，前者可以勝任更加繁重的任務(wù)，但難免粗糙，后者則勝在快速、靈巧上。

2.2Hadoop與Spark應(yīng)用場景比較

2.2.1Hadoop應(yīng)用場景 Hadoop的高擴展性、高容錯性、基礎(chǔ)性等優(yōu)點，決定了其適用于龐大數(shù)據(jù)集控制、數(shù)據(jù)密集型計算和離線分析等場景。針對Hadoop的局限性，為提高Hadoop性能，各種工具應(yīng)運而生，已經(jīng)發(fā)展成為包括Hive、Pig、HBase、Cassandra、YARN等在內(nèi)的完整生態(tài)系統(tǒng)。HBase新型NoSQL數(shù)據(jù)庫便于數(shù)據(jù)管理，Hive提供類似SQL的操作方式進行數(shù)據(jù)分析，Pig是用來處理大規(guī)模數(shù)據(jù)的高級腳本語言……這些功能模塊在一定程度上彌補了Hadoop的不足，降低了用戶使用難度，擴展了應(yīng)用場景。

2.2.2Spark應(yīng)用場景 與Hadoop不同，Spark高速、靈活的特點，決定了它適用于迭代計算、交互式查詢、實時分析等場景，比如，淘寶使用Spark來實現(xiàn)基于用戶的圖計算應(yīng)用[11]。但是，其RDD特點使其不適合異步細(xì)粒度更新狀態(tài)的應(yīng)用[1]，比如，增量的Web抓取和索引。RDD的特點之一是“不可變”，即只讀不可寫，如果要對RDD中的數(shù)據(jù)進行更新，就要遍歷整個RDD并生成一個新RDD，頻繁更新代價很大。

2.2.3Hadoop與Spark的互補競爭關(guān)系 Hadoop與Spark同櫬笫據(jù)處理平臺，必然在市場中存在一定的競爭替代關(guān)系，二者在功能上有較強的互補性。Hadoop解決了如何將大數(shù)據(jù)儲存起來的問題，Spark在此基礎(chǔ)上考慮的是更快速、易用地實現(xiàn)大數(shù)據(jù)分析，這點從Spark仍采用HDFS作為文件系統(tǒng)就可看出。它們適用于不同的應(yīng)用場景，有時協(xié)同工作會達到更理想的效果，在Spark和Hadoop的許多發(fā)行版（如CDH、MapR、InfoSphere BigInsights）中，它們都已經(jīng)互相支持實現(xiàn)。

3結(jié)語

本文分析了大數(shù)據(jù)的3V特點，論述了大數(shù)據(jù)處理與傳統(tǒng)數(shù)據(jù)處理的不同，指出了傳統(tǒng)處理方式在大數(shù)據(jù)環(huán)境下的局限性。通過分析常用的大數(shù)據(jù)處理平臺，并分析Hadoop和Spark的核心技術(shù)，對其優(yōu)缺點進行了歸納。Hadoop實現(xiàn)了海量異構(gòu)數(shù)據(jù)的存儲和處理，雖然在處理速度和易用性方面存在缺陷，但由于它的基礎(chǔ)性還是得到廣泛應(yīng)用，企業(yè)可根據(jù)自身應(yīng)用特點進行改進。雖然Spark不適合異步細(xì)粒度更新狀態(tài)的應(yīng)用，但在處理性能和易用程度上較Hadoop優(yōu)勢顯著，發(fā)展也十分迅速。通過比較兩者的優(yōu)缺點，可以發(fā)現(xiàn)它們在功能上有較強的互補性，協(xié)同使用可以帶來效益優(yōu)化。目前Spark和很多Hadoop發(fā)行版都已經(jīng)互相支持。期望本文對大數(shù)據(jù)處理平臺的選擇、利用和研發(fā)有所啟發(fā)。

數(shù)據(jù)處理論文:公路工程試驗檢測的數(shù)據(jù)處理與分析

[摘要]為了確保公路工程的質(zhì)量，需要在施工的各個環(huán)節(jié)實行試驗檢測工作，在材料、施工工藝和技術(shù)、工程驗收等方面進行檢查，形成的數(shù)據(jù)資料經(jīng)過分析和處理，是公路工程質(zhì)量的重要保障。本文著重分析介紹試驗檢測的數(shù)據(jù)處理以及相關(guān)分析。

[關(guān)鍵詞]公路工程；數(shù)據(jù)；試驗檢測；分析和處理

在施工中要保證建筑材料不使用劣質(zhì)產(chǎn)品，施工工藝和技術(shù)是否符合工程建設(shè)標(biāo)準(zhǔn)，工程的實用性是否滿足投入使用后的需求，都需要專業(yè)的試驗檢測來驗證和把關(guān)。在我國大多數(shù)公路工程中，試驗檢測在其中都發(fā)揮重要的監(jiān)督和鞭策作用。對于試驗檢測的數(shù)據(jù)要進行科學(xué)客觀的處理和分析，得到最公正的檢測試驗報告，工作人員要認(rèn)真履行試驗檢測職責(zé)，為公路工程的質(zhì)量負(fù)起責(zé)任。

1.公路工程試驗檢測數(shù)據(jù)分析

在進行公路工程試驗檢測數(shù)據(jù)的相關(guān)分析時，要注意選擇正確有效的分析方法。數(shù)據(jù)分析需要大量的精密運算、繪圖與建立表格來開展數(shù)據(jù)的分析。工作人員要掌握專業(yè)的W科知識，并靈活運用于試驗檢測工作當(dāng)中。根據(jù)精密運算和解析得到的重要參數(shù)以及圖表等分析依據(jù)，才能為工程的各項施工技術(shù)和功能去粗存精，找出問題發(fā)生所在以及制定整改措施。

1.1圖示法

概括來講，圖示法就是應(yīng)用圖形具體表現(xiàn)檢測數(shù)據(jù)，能夠使人們清晰的看出函數(shù)的變化趨勢和規(guī)律。但圖示法仍有它的缺點，在圖形中不能很清晰的表現(xiàn)函數(shù)關(guān)系，使得無法進行精確的科學(xué)分析。如果用圖示法對數(shù)據(jù)進行處理，首先要準(zhǔn)確把分度值、名稱和有效數(shù)字的位數(shù)等重要數(shù)據(jù)標(biāo)注在坐標(biāo)軸上，在書寫過程中，要盡量將文字的書寫方向和坐標(biāo)軸保持平行。第二點值得注意的是，要讓測量數(shù)據(jù)的精度和記錄分度相對應(yīng)，作圖時一定要采用平滑曲線的連接方法，堅決杜絕繪制成一條沒有任何意義的工程折線，而是要使其成為一條平滑曲線。

1.2表格法

表格是一種直觀、全面的工具，對于試驗檢測工作來說，表格法是通常在實際工作中使用的方式，企業(yè)的報表、工程各項參數(shù)以及各項試驗數(shù)據(jù)都可以轉(zhuǎn)化為表格的形式表現(xiàn)出來，讓人一目了然，清晰陜速的了解事物的屬性和重要數(shù)據(jù)分析。但是，在表格法的使用過程中我們發(fā)現(xiàn)了一些問題：表格是一種標(biāo)準(zhǔn)設(shè)計，其內(nèi)容和重要的數(shù)據(jù)都放置于規(guī)定的方格內(nèi)，空間有限，如果有其他重要的數(shù)據(jù)，就會出現(xiàn)遺漏或者錯漏，導(dǎo)致試驗檢測的數(shù)據(jù)分析出現(xiàn)問題，精確度下降，對于事物的了解雖然迅速高效，但是只能做到初步粗淺的理解，深入的反映事物的關(guān)聯(lián)和內(nèi)在聯(lián)系是很難通過表格呈現(xiàn)出來的，在施工中就無法進行很好的銜接，會造成施工環(huán)節(jié)的不連貫，給施工進度造成一定的影響。表格法所呈現(xiàn)的數(shù)據(jù)雖然簡易明了，通俗易懂，但數(shù)據(jù)都是孤立性的存在，表格無法體現(xiàn)我們通常需要的一般線性規(guī)律，其重要程度大打折扣，雖然通過表格數(shù)據(jù)分析可以知道工程檢測的結(jié)果，但相關(guān)的具體分析和前因后果都無法做到全面的了解和補充。

1.3經(jīng)驗公式法

我們在繪制完成曲線后，可以很直觀的發(fā)現(xiàn)它與一些特定函數(shù)有相似之處，我們把這種與曲線對應(yīng)的函數(shù)稱之為經(jīng)驗公式。實際上，要想簡明扼要的表達所有數(shù)據(jù)之間的關(guān)系，最簡單的方法就是用一個公式來表達，這樣可以直接得到自變量和應(yīng)變量的關(guān)系。

2.公路工程試驗檢測的誤差處理

2.1誤差的來源

公路工程的試驗檢測數(shù)據(jù)要求精確精準(zhǔn)，但是在實際檢測工作中，工作人員發(fā)現(xiàn)誤差是無法避免的，專業(yè)知識扎實、檢測經(jīng)驗豐富的工作人員也會發(fā)生一定概率的誤差，再精密的檢測設(shè)備和儀器都會發(fā)生理論上的誤差，更何況是人了，所以數(shù)據(jù)誤差的來源是由于工作人員或者設(shè)備儀器的本身誤差造成的。而在大多數(shù)試驗檢測數(shù)據(jù)分析和處理工作中，出現(xiàn)一定范圍內(nèi)被允許的誤差是正常的。但是檢測人員要全力避免誤差的擴大，避免對檢測結(jié)果造成不良影響，延誤施工進度。

2.2誤差的表示

誤差有兩種最基本的表達方式，即絕對誤差和相對誤差。絕對誤差指的就是實際測量值和真實值之差。在具體工作中，我們通常把用精度較高的儀器設(shè)備測量得到的數(shù)據(jù)稱為實際值。實際值比較接近真實值，所以用它來替代真實值。絕對誤差要有單位，要與被測值的單位保持一致，然后是用絕對誤差表示實際偏差，但是卻不能夠得到誤差的精確程度。所以，相對誤差不單能夠表示絕對誤差，還能表示精度，同時還可以表示誤差的方向。

2.3誤差的處理與分析

盡管誤差很可能出現(xiàn)或者已經(jīng)存在于檢測結(jié)果中，也是有辦法可以進行補救的，最常用的辦法就是多次進行重復(fù)的試驗檢測，將每次的檢測結(jié)果進行對比和整理，依靠數(shù)學(xué)中的統(tǒng)計學(xué)原理進行取值，以此方法得到的數(shù)據(jù)就會更加可靠和準(zhǔn)確。在一般情況下誤差是普遍存在的，而很有可能是人為過失的因素釀成的，而不是檢測設(shè)備或者儀器本身存在的誤差率造成的，因此，要進行重復(fù)試驗，找出錯誤所在，排除第一次錯誤的數(shù)據(jù)，然后進行多次試驗驗證，直到滿足檢測需求的準(zhǔn)確結(jié)果。在檢測工作中應(yīng)該全力避免人為失誤或犯錯導(dǎo)致的數(shù)據(jù)誤差，這就要求檢測人員不斷提高自身素質(zhì)和檢測水平，檢測機構(gòu)也要加大對硬件設(shè)備和先進儀器的維護保養(yǎng)，創(chuàng)造更加專業(yè)和適合檢測工作的環(huán)境氛圍。

3.結(jié)語

試驗檢測的數(shù)據(jù)處理與分析是檢測結(jié)果的基礎(chǔ)和來源，而數(shù)據(jù)分析的準(zhǔn)確度關(guān)系到檢測結(jié)果的公正性與客觀性，在工作中要避免誤差，保證準(zhǔn)確度，從公路工程施工的角度考量，也需要一份專業(yè)精準(zhǔn)的檢測數(shù)據(jù)來衡量施工技術(shù)水平和工程質(zhì)量的高低，所以，檢測機構(gòu)和人員要不斷提升檢測能力，增強業(yè)務(wù)素質(zhì)和專業(yè)技能。

數(shù)據(jù)處理論文:大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域中的應(yīng)用研究

【摘要】 文章首先對智能電網(wǎng)和大數(shù)據(jù)處理技術(shù)進行了簡介，進而分析了智能電網(wǎng)的大數(shù)據(jù)特點，最后提出了大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域中的具體應(yīng)用。

【關(guān)鍵詞】 大數(shù)據(jù)處理技術(shù) 智能電網(wǎng) 具體 應(yīng)用

前言：隨著我國工業(yè)的高速發(fā)展以及居民生活的豐富化，目前我國的電力行業(yè)取得了巨大的發(fā)展，跨區(qū)聯(lián)網(wǎng)的規(guī)模處于不斷擴大中。而就電網(wǎng)結(jié)構(gòu)而言，也處于不斷復(fù)雜的趨勢下，存在的不穩(wěn)定因素也越來越多，使用中的風(fēng)險以及故障的機率特增加了很多。進而大數(shù)據(jù)分析處理技術(shù)得以在電網(wǎng)中使用，實現(xiàn)了電網(wǎng)管理的智能化，提升了電網(wǎng)使用的穩(wěn)定性和安全性?；诖耍恼聡@大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域的應(yīng)用為中心，分三部分展開了細(xì)致的分析探討，旨在提供一些該方面的理論參考，以下是具體內(nèi)容。

一、智能電網(wǎng)和大數(shù)據(jù)處理技術(shù)簡介

1.1智能電網(wǎng)

所為智能電網(wǎng)指的是以基本的物理電網(wǎng)為基礎(chǔ)，通過應(yīng)用目前的現(xiàn)代信息技術(shù)、通信技術(shù)以及計算機處理技術(shù)等技術(shù)，同時和傳感測量技術(shù)一控制技術(shù)進行結(jié)合，進而形成的一種高度集成的新型電網(wǎng)。智能電網(wǎng)在電網(wǎng)運輸?shù)陌踩院涂煽啃陨隙加诤艽蟮谋Ｕ希瑫r從功能上觀察，也具備電網(wǎng)實時信息的處理、分析、集成、安全以及顯示等諸多功能[1]。

1.2大數(shù)據(jù)處理技術(shù)

所謂大數(shù)據(jù)處理技術(shù)就是對數(shù)量龐大的數(shù)據(jù)進行分析和處理的技術(shù)。目前主要使用的大數(shù)據(jù)處理技術(shù)都是基于互聯(lián)網(wǎng)的云處理技術(shù)的，在社會中的各行各業(yè)中均有得到了廣泛的應(yīng)用。

二、智能電網(wǎng)的大數(shù)據(jù)特點

2.1規(guī)模大

就智能電網(wǎng)所產(chǎn)生的大數(shù)據(jù)而言，其首先存在的一個特點即規(guī)模大。在電網(wǎng)的不斷發(fā)展過程中，其負(fù)荷節(jié)點和電機節(jié)電會不斷增加，再加之電網(wǎng)和負(fù)荷之間的雙向交互因素的影響，就會大大增加電網(wǎng)數(shù)據(jù)的量，M而所產(chǎn)生和需要儲備的數(shù)據(jù)也就隨之大量增加[2]。

2.2速度快

因為在電網(wǎng)的運作過程中，負(fù)荷的波動具有極大的隨機性，因此在電網(wǎng)的隨時監(jiān)測工作上所產(chǎn)生的隨機性就很大。而電網(wǎng)一旦出現(xiàn)故障，導(dǎo)致的進一步事故發(fā)展的速度很快，并且造成的事故損失也會很大，因此智能電網(wǎng)的大數(shù)據(jù)也具有速度快的特點。

2.3多樣性

多樣性也是電網(wǎng)所具備的一個特點之一。因為智能電網(wǎng)在運作過程中，所涉及到的面很多，因此其所產(chǎn)生的數(shù)據(jù)，包括內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)等多個方面的數(shù)據(jù)，其種類十分繁多。

三、大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域中的具體應(yīng)用

3.1支持基建決策

首先大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)的基建決策中起著十分重要的作用。例如可以通過大數(shù)據(jù)處理技術(shù)對電網(wǎng)基建地的天氣系統(tǒng)數(shù)據(jù)進行細(xì)致的剖析，并且和電網(wǎng)企業(yè)的發(fā)電機數(shù)據(jù)進行綜合分析。進而根據(jù)企業(yè)所累積的數(shù)據(jù)以及天氣系統(tǒng)所提供的風(fēng)速、風(fēng)向以及氣溫、氣壓濕度等數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)，并采用數(shù)據(jù)建模技術(shù)，對這些因素可能導(dǎo)致的對電力的影響，進行模式運算，最后得出電網(wǎng)基建的最佳位置[3]。

3.2進行客戶分析

其次在智能電網(wǎng)中，大數(shù)據(jù)處理技術(shù)還被廣泛的應(yīng)用于對客戶的分析工作中在電網(wǎng)的運作過程中會產(chǎn)生大量的用戶數(shù)據(jù)，而通過對這些數(shù)據(jù)的分析和歸類可以對電網(wǎng)用戶群體有一個清晰的認(rèn)識，進而就可以展開針對性營銷，對于提升電網(wǎng)企業(yè)的市場競爭力具有重要的意義。

3.3實現(xiàn)協(xié)同化管理

從整體上觀察，對于電網(wǎng)企業(yè)而言，其在市場中的運作并不僅僅只涉及到電網(wǎng)企業(yè)一家，和市場的諸多行業(yè)均有一定的涉及，因此要保障電力企業(yè)的發(fā)展就必須和其他行業(yè)的企業(yè)做好協(xié)同工作。通過大數(shù)據(jù)處理技術(shù)的應(yīng)用可以提升行業(yè)之間的聯(lián)系，進而可對行業(yè)的前景有一個動態(tài)的了解。而這不僅僅局限于電力企業(yè)一家，同時對其他和電力行業(yè)密切相關(guān)的企業(yè)也有十分巨大的影響，可促進電力企業(yè)的內(nèi)外共同發(fā)展。

結(jié)束語：綜上所述，智能電網(wǎng)指的是以基本的物理電網(wǎng)為基礎(chǔ)，通過應(yīng)用目前的現(xiàn)代信息技術(shù)、通信技術(shù)以及計算機處理技術(shù)等技術(shù)，同時和傳感測量技術(shù)一控制技術(shù)進行結(jié)合，進而形成的一種高度集成的新型電網(wǎng)。其在自身的大數(shù)據(jù)上具有規(guī)模大、速度快以及種類多樣的特點。而大數(shù)據(jù)處理技術(shù)在智能電網(wǎng)領(lǐng)域支持基建決策、進行客戶分析、提升智能控制以及實現(xiàn)協(xié)同化管理等多個方面都有十分廣泛的應(yīng)用，是保障智能電網(wǎng)運作穩(wěn)定性和安全性的一個基本技術(shù)。

數(shù)據(jù)處理論文:檢重機稱重信號的數(shù)據(jù)處理研究

[摘 要]動態(tài)稱重是指通過稱重設(shè)備獲得商品的重量。靜態(tài)稱重是固定在稱重設(shè)備除了商品本身沒有其他干擾，所以更容易得到準(zhǔn)確的稱重值，而動態(tài)稱重設(shè)備更適合快節(jié)奏的稱重需求。本文首先簡要介紹了動態(tài)稱重的原理，對稱重設(shè)備的信號采集與數(shù)據(jù)處理進行了分析研究。

[關(guān)鍵詞]稱重機；信號；數(shù)據(jù)處理；研究

使用重型機器設(shè)備有：預(yù)輸送機，稱重輸送機，剔除下輸送機的三部分。稱重輸送機稱重，稱重輸送機由支撐稱重輸送機的傳感器輸送和稱重。稱重系統(tǒng)收到傳感器的稱重信號后，得到商品的重量值，然后根據(jù)袋裝商品的允許誤差，對位于剔除輸送機上的商品進行剔除或者不剔除處理。

1 動態(tài)稱重系統(tǒng)工作原理

商品放置在稱重平臺上時，稱重傳感器由于壓力而變形，傳感器內(nèi)部的電橋平衡被破壞，輸出的mv信號和承載的壓力與接收到的信號結(jié)束時成正比，稱重傳感器收到收尾信號時說明商品稱重完畢，稱重設(shè)備將信號傳輸給電子稱重儀器并放大傳感器信號，通過A/D芯片將轉(zhuǎn)換為數(shù)字模擬量，稱量儀器后數(shù)字濾波器得到商品的實際值，然后通過串口到IPC機主機程序。

1.1 動態(tài)系統(tǒng)硬件組成

動態(tài)稱重系統(tǒng)的組成包括：稱重傳感器（中航ZEMIC稱重傳感器）、稱重儀表、光電開關(guān)、PLC控制儀、數(shù)據(jù)對比設(shè)備等。其部分彼此之間的融合，分別負(fù)責(zé)將自己的信息傳送給PLC控制器，然后由儀器和工業(yè)計算機連接確定相關(guān)信息。原理圖如圖1所示。

1.2 PLC控制儀

電子稱重儀器是動態(tài)稱重系統(tǒng)的核心部件，相當(dāng)于動態(tài)稱重系統(tǒng)的“大腦”。 主要負(fù)責(zé)接收傳感器數(shù)據(jù)和其他部件的信息以及控制?；竟ぷ髁鞒虨椋弘娮臃Q重儀器接收稱重傳感器信號、稱重傳感器信號放大、A / D轉(zhuǎn)換為中央處理器進行刻度轉(zhuǎn)換等；傳輸給PLC控制器；若合格氣缸停止；若不合格傳動鏈停止氣缸動作。

2 動態(tài)稱重設(shè)備信號采集

有效信號處理的前提是信號采集準(zhǔn)確，信號采集的重要性非常顯著，與計算機和傳感器蛄接。在稱重傳感器中使用的動態(tài)稱重系統(tǒng)，時間軸和振幅軸的輸出是連續(xù)的模擬量，電子稱重儀器在接收模擬信號時需要先對信號進行調(diào)節(jié)處理，即0-10mv的信號轉(zhuǎn)換為0 -5mv電壓信號，然后將模擬負(fù)載信號轉(zhuǎn)換為數(shù)字信號，這就要求電子稱重儀表A/D模塊進行處理。

該系統(tǒng)采用EPC系列PC/104嵌入式工業(yè)主板，具有接口完整、功耗低、可靠性高、資源豐富等優(yōu)點，采用8/16位PC/104擴展總線，可穩(wěn)定運行寬溫度范圍廣泛的工業(yè)應(yīng)用。用于信號采集的模塊采用PCM-8208BE，它是基于PC/ 104總線的高精度模擬輸入數(shù)字輸入和輸出。主要功能是：8條模擬輸入通道；內(nèi)置6個可調(diào)PGA；輸入范圍為±10V至+0.25 V可選；高達4KHZ采樣率；內(nèi)置1024深度FIFO；具有AD轉(zhuǎn)換中斷；可以直接讀取單個采集數(shù)據(jù)組，并具有8個隔離數(shù)字輸入和8個隔離隔離數(shù)字輸出的形式。

PCM-8208BE廣泛應(yīng)用于工業(yè)現(xiàn)場傳感器多通道信號高精度采集。該系統(tǒng)采用PCM-8208BE可以捕獲現(xiàn)場的模擬信號功能，實時檢測稱重傳感器信號，通過簡單的過濾器對電子稱重儀進行進一步的信號分析。

3 稱重信號數(shù)據(jù)處理方法

3.1 加權(quán)平均值算法

對于傳感器信號的n次連續(xù)采樣，分別由大到小的加權(quán)系數(shù)的系列，然后加上有效采樣值，這種方法稱為加權(quán)平均法。每個加權(quán)因子要求小于1，所有加權(quán)系數(shù)的累積值為256，加權(quán)運算結(jié)果除以256可以很容易地計算出來。假設(shè)從數(shù)據(jù)依次開始，將總共8個采樣存儲在存儲器單元中，所有加權(quán)因子都存儲在ROM表中，濾波結(jié)果保留在累加器A中。

加權(quán)平均算法簡單，應(yīng)用范圍廣泛，但不適用于動態(tài)稱重傳感器信號的處理。當(dāng)待處理信號被振動擾亂時，結(jié)果不能表示商品重量信號的真實值。而加權(quán)因子選擇不能固定，每次計算都必須根據(jù)實際情況選擇適當(dāng)?shù)募訖?quán)因子，無人值守動態(tài)稱重系統(tǒng)顯然不適用。

3.2 平均值算法

算術(shù)平均值濾波方法基于從稱重傳感器收集的數(shù)據(jù)。該算法的特征在于，當(dāng)采樣次數(shù)少時，波形平穩(wěn)度不夠好；采樣次數(shù)大時，波形靈敏度降低，系統(tǒng)參數(shù)趨勢不明顯。假設(shè)共有8個樣本，樣本值從DATA開始存儲在連續(xù)地址單元中，濾波結(jié)果存儲在累加器A中。在實際應(yīng)用中，商品通過的時間段很短，因為自身的振動或外部干擾因素的影響，這種算法不能信號的時頻域來解決，這讓該信號處理方法已不能滿足我們的要求。

3.3 傅立葉變換濾波法

傳統(tǒng)信號分析的基礎(chǔ)是傅立葉變換，這種方法被廣泛應(yīng)用，尤其是信號處理方面和量子物理。假設(shè)是的周期函數(shù)且滿足化里赫利條件：

（1）在任意區(qū)間內(nèi)連續(xù)或只有有限個第一類間斷點；

（2）在一個周期內(nèi)，只有有限個極大值或者極小值點；

（3）在單個周期內(nèi)絕對可積。

由于主要研究了動態(tài)稱重系統(tǒng)的振動，所以收集的信號是非線性的，非周期性的信號，這就需要在信號分析過程中對頻域信息進行分析，但傅立葉變換算法完全沒有波形中的時域信息，為了滿足動態(tài)負(fù)載信號處理的需要，可以使用可翻譯的窗口函數(shù)到原始信號窗口，刪除我們稱為短時傅里葉變換。傅立葉變換的思想即選擇一個窗口函數(shù)來獲取一段原始信號，如果截獲信號是穩(wěn)定的，則使用傅立葉變換來確定窗口內(nèi)信號的頻率。沿著波形曲線移動窗口函數(shù)會給出信號頻率隨時間的變化，即我們需要的時域分布。STFT算法有兩個困難：一是窗口函數(shù)的選擇，一個是窗口函數(shù)長度問題的選擇，因為動態(tài)稱重信號是非線性非平穩(wěn)信號。

傅立葉變換將概念從一個空間域建立到另一個空間域，從時域或頻域的角度對信號進行分析，但也是由于時域和頻域信息不能有機地結(jié)合的特征，這不是適用于動態(tài)稱重信號的非平穩(wěn)信號分析。我們使用短時傅里葉變換來分析頻域信息，而不會丟失時域平面中的信號信息。短時傅里葉變換計算簡單，可以有效分析非平穩(wěn)信號。

3.4 小波變換法

小波變換是基于短時傅里葉變換定位思想的新算法。小波變換不僅可以避免不能跟隨頻率變化的窗口大小的缺點，還可以提供頻率變化的“時頻”窗口。 小波算法可以分析和處理諸如稱重信號的復(fù)雜非平穩(wěn)信號的時間和頻率。WT變換中的小波可以是具有有限持續(xù)時間的函數(shù)，以及突變的頻率和幅度，平均值在有限時間范圍內(nèi)。小波變換是基本的小波函數(shù)位移，然后在不同的尺度a中用測量信號XW做內(nèi)積，即：

式五中，稱為尺度因子，其作用是對基本小波做伸縮，是位移值。通過調(diào)整的該值可用于觀察不同時間段的本地信息。 通過調(diào)整比例因子a，假設(shè)a的調(diào)整較大，則視野寬分辨率低，適合觀察信號的一般情況。假設(shè)a值的調(diào)整相對較小，視野窄且分辨率高，適合信號局部信息觀察，這種粗細(xì)信號分析方法稱為多分辨率分析法。

4 結(jié)語

本文介紹了信號處理模塊的硬件結(jié)構(gòu)，信號采集和處理。然后，通過描述幾種常用的信號處理算法來提出稱重傳感器的非平穩(wěn)信號數(shù)據(jù)處理方法，為尋求更高精度，更具成本效益，更可靠的動態(tài)稱重設(shè)備提供借鑒。

數(shù)據(jù)處理論文:MAPGIS在地質(zhì)填圖及化探數(shù)據(jù)處理中的應(yīng)用

[摘 要]在本文中，筆者以MAPGIS技術(shù)的應(yīng)用特點與可實現(xiàn)功能為論述切入點，詳細(xì)分析了該技術(shù)在地質(zhì)填圖與化探數(shù)據(jù)處理工作中的實際應(yīng)用情況，旨在為后續(xù)的地質(zhì)工作提供科學(xué)參考依據(jù)。

[關(guān)鍵詞]MAPGIS技術(shù)；地質(zhì)填圖；化探數(shù)據(jù)處理；應(yīng)用

前言

在當(dāng)前我國城市化進程持續(xù)推進的時代背景下，地質(zhì)工作的重要性日益凸顯，地質(zhì)工作的環(huán)境也日趨復(fù)雜，此時，地質(zhì)技術(shù)人員所要應(yīng)對的地質(zhì)填圖、化探數(shù)據(jù)處理等具體工作的難度會隨之提高，而傳統(tǒng)的地質(zhì)工作技術(shù)已遠(yuǎn)不能滿足實際工作的發(fā)展需求[1]。為了提高地質(zhì)工作質(zhì)量、優(yōu)化地質(zhì)填圖及化探數(shù)據(jù)處理準(zhǔn)確性，同時進一步加快實際成圖速度，相關(guān)技術(shù)人員則應(yīng)積極將現(xiàn)代化的MAPGIS技術(shù)用到地質(zhì)填圖及化探數(shù)據(jù)處理中，以數(shù)字化、信息化處理手段全面促進地質(zhì)工作效率的提升。

1.MAPGIS技術(shù)的應(yīng)用特點與可實現(xiàn)功能

MAPGIS技術(shù)屬于當(dāng)前最為先進、前沿的地質(zhì)測繪技術(shù)，在該項技術(shù)的應(yīng)用過程中，相關(guān)技術(shù)人員可輕松實現(xiàn)地質(zhì)測繪工作的自動化或半自動化，同時，其測繪數(shù)據(jù)主要以數(shù)字化形式呈現(xiàn)，其測繪結(jié)果較為規(guī)范、測繪精度高且作業(yè)速度快誤差小相對較小。MAPGIS技術(shù)還集成了定位、導(dǎo)航、測量的綜合功能，可以將實際工作中所收獲的地質(zhì)數(shù)據(jù)進行高效的分析、計算、存儲等，有效提升了數(shù)據(jù)管理的工作效率。此外，MAPGIS技術(shù)中最為鮮明的特點就是融入了MAPCAD成圖功能，技術(shù)人員可以利用這一功能輕松實現(xiàn)圖幅快速提取、多源圖像處理以及圖庫建立修改等復(fù)雜操作。從操作系統(tǒng)上說，MAPGIS技術(shù)具有優(yōu)良的開放性與多層次性，技術(shù)人員可以通過編輯ActiveX、VC++、VB、Delphi以及API等函數(shù)實現(xiàn)DC Server、RSP、TDE、IG Server以及EMS操作平臺的運行在系統(tǒng)輔助工具方面，MAPGIS技術(shù)也具有十分強大的特性功能，嵌入式工具、GIS工具、矢量數(shù)據(jù)處理工具、遙感數(shù)據(jù)處理工具均能在實際地質(zhì)工作起到重要的輔助服務(wù)作用[2]。與傳統(tǒng)的地質(zhì)測繪技術(shù)相比，MAPGIS技術(shù)可有效克服地質(zhì)工作量繁重的難度，并在有效保障數(shù)據(jù)處理與地質(zhì)填圖質(zhì)量的同時最大程度地滿足當(dāng)前地質(zhì)工作需求。

2.MAPGIS技術(shù)在地質(zhì)填圖中的運用

地質(zhì)工作中的地質(zhì)填圖主要是指運用一定的比例尺、按照統(tǒng)一的規(guī)范技術(shù)要求，將各種地質(zhì)體以及相關(guān)的地質(zhì)現(xiàn)象在地理地圖上進行填充描繪，最終再進行一定的整理加工使之形成地理地質(zhì)圖。地質(zhì)填圖不僅關(guān)系這地質(zhì)圖的準(zhǔn)確性與信息質(zhì)量，更會影響到實際的地質(zhì)找礦工作，但由于填圖區(qū)地質(zhì)地貌情況往往相對復(fù)雜，所有收集的地質(zhì)資料較為繁瑣，因此，在技術(shù)人員的實際地質(zhì)填D工作中，其工作量與復(fù)雜性也相對較高[3]。相關(guān)工作實際表明，在地質(zhì)填圖工作中積極應(yīng)用MAPGIS技術(shù)，便可實現(xiàn)對上述問題的輕松解決。具體來說，在應(yīng)用MAPGIS技術(shù)時，技術(shù)人員應(yīng)先以GPS對所觀察的地質(zhì)進行定位，再將具體的觀察點投放指矢量地圖中進行填圖操作。通常情況下，GPS定位形成的文件數(shù)據(jù)可以存放在EXCEL文件里，當(dāng)要運用到GPS定位數(shù)據(jù)后，技術(shù)人員則可以通過文本轉(zhuǎn)換實現(xiàn)對數(shù)據(jù)的即時編輯，此后，數(shù)據(jù)編輯完成后則可以利用文件批量生成功能講GPS點位添加到已經(jīng)矢量化的地形圖中。其中，在進行GPS數(shù)據(jù)轉(zhuǎn)換操作時，所處理的第一行數(shù)據(jù)一般定性為定位屬性字段，這一字段并不能夠作為數(shù)據(jù)轉(zhuǎn)換的起始位置，因此，技術(shù)人員一般會將第二行作為數(shù)據(jù)起始位置，同時，根據(jù)具體的情況適當(dāng)?shù)卦O(shè)置分隔符，并以工作設(shè)置合適的讀取方式，設(shè)定詳細(xì)的圖元參數(shù)并生成圖像結(jié)構(gòu)。值得注意的是，所應(yīng)用到的GPS數(shù)據(jù)必須要符合相應(yīng)地理地質(zhì)信息的實際情況，在選取適當(dāng)讀取方式以及合理設(shè)置分隔符的情況下保障所生成地質(zhì)填圖的結(jié)構(gòu)質(zhì)量與數(shù)據(jù)準(zhǔn)確性。

3.MAPGIS技術(shù)在化探數(shù)據(jù)處理中的應(yīng)用

化探數(shù)據(jù)處理屬于地質(zhì)工作中的重要組成內(nèi)容，更是地質(zhì)研究中不可或缺的一個重要環(huán)節(jié)，在這一工作中，相關(guān)技術(shù)人員可以完成對地球化學(xué)數(shù)據(jù)的分析、解釋以及加工等重要工作，并為地質(zhì)找礦、資源勘探等諸多地質(zhì)工作提供準(zhǔn)確而科學(xué)的參考依據(jù)。由于化探數(shù)據(jù)處理難度相對較大，在進行相關(guān)數(shù)據(jù)處理過程中又極易出現(xiàn)分析偏差事故，傳統(tǒng)的地質(zhì)信息處理技術(shù)已經(jīng)難以滿足化探數(shù)據(jù)處理工作中復(fù)雜性與專業(yè)性需求，此時，積極應(yīng)用更為先進、高效處理技術(shù)的重要性也不言而喻[4]。對于MAPGIS技術(shù)而言，其融入的DTM模塊與GRD模塊對提升系統(tǒng)化探數(shù)據(jù)處理性能具有極大的促進作用，技術(shù)人員只需要在原始的化探數(shù)據(jù)背景值上確定好相關(guān)的化學(xué)異常分布圖后，就能夠通過DTM模塊實現(xiàn)地形模型的自動繪制與形成，同時，DTM模塊還能自動進行量測值計算，無論是地質(zhì)化學(xué)元素含量值還是地質(zhì)特征信息都能夠依靠該模塊的數(shù)據(jù)處理功能得以全面反映。具體來說，技術(shù)人員可以先對采樣點文本文件進行批量生產(chǎn)收集，利用“投影轉(zhuǎn)換”使得點位文件轉(zhuǎn)換為點位投影文件，此時，將點位數(shù)據(jù)文件通過DTM模塊打開后以GRD模塊進行離散數(shù)據(jù)分析，最后實現(xiàn)成圖輸出這一化探數(shù)據(jù)處理效果。

4.結(jié)語

MAPGIS技術(shù)是未來地質(zhì)工作發(fā)展主流方向，該技術(shù)集成了前沿的地理信息處理系統(tǒng)軟件平臺，含括GPS、GIS、數(shù)字制圖以及數(shù)據(jù)庫管理等一系列功能，在地質(zhì)勘查、地質(zhì)測繪、地質(zhì)找礦、城市規(guī)劃以及建筑測量等諸多領(lǐng)域均具有優(yōu)良應(yīng)用價值。此外，在地質(zhì)工作中應(yīng)用MAPGIS技術(shù)不僅能夠有效提升地質(zhì)工作效率與工作水平，更能夠為地質(zhì)工程項目提供勘察誤差低、準(zhǔn)確性高的優(yōu)質(zhì)地質(zhì)信息。

數(shù)據(jù)處理論文:一種面向航天領(lǐng)域的實時數(shù)據(jù)處理框架研究

【摘 要】提出一種面向航天領(lǐng)域的實時數(shù)據(jù)處理框架，采用插件式框架設(shè)計方法，實現(xiàn)行業(yè)數(shù)據(jù)的高效實時處理。

【關(guān)鍵詞】實時；數(shù)據(jù)處理；框架

1 引言

信息與通信技術(shù)的飛速發(fā)展，已深刻影響到航空、航天、能源、鋼鐵、電力等工業(yè)領(lǐng)域的生產(chǎn)模式與流程，促使行業(yè)生產(chǎn)模式由傳統(tǒng)的粗放式的以人工為主向精確化、自動化、智能化方向轉(zhuǎn)變。通過信息系統(tǒng)對工業(yè)生產(chǎn)過程中產(chǎn)生的大量數(shù)據(jù)進行實時處理分析，實時監(jiān)控，為生產(chǎn)決策提供自動化智能化的數(shù)據(jù)支撐。

航天領(lǐng)域的實時數(shù)據(jù)處理一般以實時傳感與實時采集的數(shù)據(jù)為數(shù)據(jù)源，包括各類傳感器采集的數(shù)據(jù)、現(xiàn)場各類控制終端的數(shù)據(jù)等，數(shù)據(jù)量大，數(shù)據(jù)采集的頻率高。特別是隨著物聯(lián)網(wǎng)概念的出現(xiàn)與技術(shù)的應(yīng)用，航天領(lǐng)域?qū)崟r產(chǎn)生的數(shù)據(jù)量在成倍增加。隨著云計算與大數(shù)據(jù)等IT技術(shù)的出現(xiàn)與發(fā)展， 互聯(lián)網(wǎng)領(lǐng)域中產(chǎn)生了諸多數(shù)據(jù)處理框架，如Hadoop、Spark等，此類框架采用批處理方式的MapReduce技術(shù)，實現(xiàn)海量數(shù)據(jù)的實時處理，數(shù)據(jù)處理的延時一般為秒級，能夠滿足互聯(lián)網(wǎng)領(lǐng)域大部分?jǐn)?shù)據(jù)實時處理需求。但在工業(yè)領(lǐng)域，由于監(jiān)測與控制的精度更高，一般要求在毫秒級完成數(shù)據(jù)的實時處理，現(xiàn)有批處理方式的MapReduce大規(guī)模數(shù)據(jù)處理技術(shù)難以滿足此類計算需求。本文提出一種面向行業(yè)應(yīng)用的實時數(shù)據(jù)處理框架，實現(xiàn)滿足多種數(shù)據(jù)源、多種數(shù)據(jù)類型的實時數(shù)據(jù)處理。

2 數(shù)據(jù)處理方法

在航天領(lǐng)域中，測量系統(tǒng)作為飛行器、航天測控系統(tǒng)中的重要組成部分，用于獲取飛行器內(nèi)部各系統(tǒng)的工作狀態(tài)參數(shù)和環(huán)境數(shù)據(jù)，為評定飛行器的性能和故障分析提供依據(jù)[1]。而數(shù)據(jù)處理是測量過程中的一個重要環(huán)節(jié)，其任務(wù)是將接收到的原始信息，經(jīng)過挑路、拼接和運算，完成各類參數(shù)的處理，處理結(jié)果以時間函數(shù)值表或時間函數(shù)曲線提供[1]。數(shù)據(jù)處理包括從數(shù)據(jù)塊中提取數(shù)據(jù)幀、對數(shù)據(jù)幀進行后處理、處理數(shù)據(jù)幀中的參數(shù)、輸出處理結(jié)果。

3 實時處理框架設(shè)計

3.1 軟件框架的概念

軟件框架是整個系統(tǒng)或系統(tǒng)的一部分的可重用性設(shè)計，由一組抽象出來的類及其實例間的相互作用方式組成?？蚣馨岩粋€系統(tǒng)有機地分解成一組相對獨立的構(gòu)件，并定義了各個構(gòu)件間的接口和作用關(guān)系，符合軟件工程中設(shè)計的模塊化、獨立化和信息隱藏等特征?？蚣芴峁┝艘粋€大粒度的重用技術(shù)，即不僅支持源代碼級的重用，而且支持分析和設(shè)計以及體系結(jié)構(gòu)的重用，因而被認(rèn)為是一種最有前途的面向?qū)ο蠹夹g(shù)。

框架必須是健壯的、可擴展的、靈活的，它要求基于開放或共享標(biāo)準(zhǔn)?？蚣艿脑O(shè)計要力求做到完備性、靈活性、可擴展性、可理解性，同時抽象能用于不同的場合；用戶能輕松地添加和修改功能，定制框架；用戶和框架的交互清晰，文檔齊全?？蚣茉O(shè)計的一個核心問題就是發(fā)現(xiàn)可重用的設(shè)計和“熱點”，以保證框架具備充分的靈活性，使用戶能在已有構(gòu)件的基礎(chǔ)上生成應(yīng)用程序，實現(xiàn)“零代碼編寫”的理想目標(biāo)。

3.2 實時處理框架設(shè)計原則

實時處理框架設(shè)計采用框架與插件相結(jié)合的設(shè)計方式，把數(shù)據(jù)處理各功能從框架中剝離出來，降低框架的復(fù)雜度，讓框架更容易實現(xiàn)。數(shù)據(jù)處理功能與框架以一種很松的方式耦合，兩者在保持接口不變的情況下，可以獨立變化和。采用該設(shè)計原則，具有以下好處：

①無需更改或編譯程序就可以擴展程序的功能；

②可以在不需要源代碼的環(huán)境下擴展程序的功能；

③在一個程序的業(yè)務(wù)邏輯在不斷發(fā)生變化仍能靈活適應(yīng)。

4 實時處理框架實現(xiàn)

4.1 框架接口

框架對各插件進行統(tǒng)一管理，軟件啟動時，自動識別并加載指定目錄下的所有插件?？蚣芄渤橄蟪鰯?shù)據(jù)提取器、幀提取器、數(shù)據(jù)處理器、輸出器共4類插件接口，各類插件需要實現(xiàn)相應(yīng)類型的插件接口，才能被框架正確的調(diào)用。框架與插件之間的關(guān)系如下圖所示。

4.2 框架實現(xiàn)

程序框架包括主程序模塊、數(shù)據(jù)源模塊、緩沖區(qū)管理模塊、數(shù)據(jù)處理模塊、狀態(tài)管理模塊、配置管理模塊、插件管理模塊與日志管理模塊共8個模塊。主程序模塊負(fù)責(zé)管理各模塊中的對象，并完成各對象的創(chuàng)建與初始化工作。通過調(diào)用數(shù)據(jù)源與數(shù)據(jù)處理模塊的啟動與停止接口實現(xiàn)對兩個模塊的控制。數(shù)據(jù)源模塊通過調(diào)用緩沖區(qū)管理模塊的寫入數(shù)據(jù)接口向緩沖區(qū)中寫入數(shù)據(jù)，數(shù)據(jù)處理模塊調(diào)用緩沖區(qū)管理模塊的讀取數(shù)據(jù)接口從緩沖區(qū)中讀取數(shù)據(jù)進行數(shù)據(jù)處理。各模塊均可調(diào)用日志記錄模塊的記錄日志接口寫操作日志或錯誤信息。

主框架模塊類關(guān)系如下圖所示，main函數(shù)是整個軟件的入口函數(shù)，調(diào)用日志錄模塊中的相應(yīng)接口完成日志初始化工作，并將命令行參數(shù)傳遞給CMainApp類，調(diào)用CMainApp類的Execute接口啟動軟件。

CMainApp類通過ProgramOption對象解析命令行參數(shù)，獲得命令行中設(shè)置的各個選項，創(chuàng)建插件管理模塊中的CPluginManager對象，完成所有插件的加載工作，并將CPluginManager對象傳遞給CMultiAddrDataSource類，調(diào)用CProgressTimer類的對象實現(xiàn)程序計時工作。

4.3 插件實現(xiàn)

數(shù)據(jù)處理軟件總體框架采用插件式架構(gòu)，抽象出數(shù)據(jù)提取器、幀提取器、數(shù)據(jù)處理器、輸出共4類插件接口，插件采用統(tǒng)一接口設(shè)計，每一個插件均是實現(xiàn)了標(biāo)準(zhǔn)接口的動態(tài)鏈接庫（Windows平臺為.dll文件、Linux平臺位.so文件），由插件管理器進行統(tǒng)一管理，實現(xiàn)自動識別與加載。實時處理框架根據(jù)系統(tǒng)配置創(chuàng)建若干個數(shù)據(jù)處理線程，根據(jù)配置中插件的類別，數(shù)據(jù)處理線程對象向插件管理器請求創(chuàng)建插件服務(wù)，生成所需的各插件，各插件相互協(xié)作，完成數(shù)據(jù)處理與輸出的功能。