基于大數(shù)據(jù)的煙葉質(zhì)量評估平臺的設(shè)計與應(yīng)用

　　摘 要：煙葉質(zhì)量受多種因素的影響，為實現(xiàn)煙葉質(zhì)量分析、預測和預警的平臺，設(shè)計并實現(xiàn)了基于大數(shù)據(jù)分析和云計算技術(shù)的Web大數(shù)據(jù)挖掘平臺，通過采集抓取互聯(lián)網(wǎng)上涵蓋煙葉的整個種植周期的煙葉種植區(qū)氣候、環(huán)境、土壤、病蟲害等信息，輔以其他檢測數(shù)據(jù)，利用大數(shù)據(jù)分析技術(shù)評估和預測煙葉的質(zhì)量。應(yīng)用效果表明，利用大數(shù)據(jù)算法對影響煙葉質(zhì)量的互聯(lián)網(wǎng)數(shù)據(jù)進行挖掘分析，不僅可以用較小的人力物力完成更大覆蓋區(qū)域的全面的煙葉質(zhì)量評估，還可實現(xiàn)質(zhì)量預測預警，為卷煙生產(chǎn)提供保障。
　　關(guān)鍵詞：煙葉質(zhì)量評估；大數(shù)據(jù)；Web數(shù)據(jù)挖掘
　　中圖分類號：TS46
　　煙葉是卷煙工業(yè)企業(yè)生存和發(fā)展的基礎(chǔ)，是對卷煙產(chǎn)品的發(fā)展具有制約作用的重要資源。煙葉的品質(zhì)、產(chǎn)量水平受氣溫、大氣環(huán)境條件、土壤以及病蟲害等生態(tài)條件和生產(chǎn)措施因素的影響，而煙葉原料的采購又具有范圍廣、數(shù)量大、種類多、結(jié)構(gòu)寬等特點。為保證煙葉的質(zhì)量，需要對煙葉種植的整個周期進行監(jiān)控。傳統(tǒng)的方式需要依靠現(xiàn)場實地抽檢、監(jiān)測，有著耗費人力物力比較大、收集到的信息量比較少、覆蓋的種植區(qū)域比較小、最終數(shù)據(jù)匯總和處理比較困難、企業(yè)之間數(shù)據(jù)互通比較困難等缺點。
　　隨著全球信息化和互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)上出現(xiàn)了海量的數(shù)據(jù)信息。大量的非結(jié)構(gòu)化的天氣信息、溫濕度信息、病蟲害的預報、土壤情況等信息都可以直接從互聯(lián)網(wǎng)上采集到，利用這些數(shù)據(jù)來進行分析和預測，就是大數(shù)據(jù)處理技術(shù)的應(yīng)用。建立基于大數(shù)據(jù)的煙葉種植質(zhì)量評估平臺，可以避免傳統(tǒng)監(jiān)控方式的缺點，更快速、有效、準確的實現(xiàn)煙葉質(zhì)量分析、預測、預警，從而為卷煙生產(chǎn)提供更好的保障和條件。
　　1 系統(tǒng)架構(gòu)
　　1.1 大數(shù)據(jù)分析與云計算技術(shù)
　　大數(shù)據(jù)分析是從種類繁多的海量數(shù)據(jù)中，快速獲得有價值信息的一種技術(shù)，它是商業(yè)智能的演進，正在改變世界的各個領(lǐng)域，從商業(yè)到醫(yī)療衛(wèi)生、政府機構(gòu)、農(nóng)業(yè)和經(jīng)濟領(lǐng)域、人文以及社會的各個領(lǐng)域。大數(shù)據(jù)分析的特點在于能夠利用全部數(shù)據(jù)，而不是僅僅依靠隨機采樣的一小部分樣本數(shù)據(jù)[1-2]，因為可以收集、存儲和分析所有的相關(guān)數(shù)據(jù)信息，就不會受到樣本集小、樣本有偏差或者隨機性不夠所帶來的分析誤差的影響，從而可以獲得更準確合理的分析結(jié)果。目前已經(jīng)出現(xiàn)了很多利用大數(shù)據(jù)進行分析和預測的例子。例如，谷歌利用聚合搜索數(shù)據(jù)對流感進行跟蹤，可達到接近實時的效率和非常高的準確度[3]。后面探討如何利用從互聯(lián)網(wǎng)采集到的各種非結(jié)構(gòu)化信息，結(jié)合企業(yè)自有的煙葉檢測、采購數(shù)據(jù)，分析和預測收獲時煙葉質(zhì)量的方法。
　　大數(shù)據(jù)分析通�；�于云計算平臺實現(xiàn)，因為實時的大型數(shù)據(jù)集的分析需要非常強有力而又彈性可擴展的計算能力，云計算平臺正好適應(yīng)了這種需求。云計算是一種成本低的分布式并行計算環(huán)境，可以適應(yīng)規(guī)模不同的數(shù)據(jù)，開發(fā)方便，向用戶屏蔽了底層的技術(shù)細節(jié)，節(jié)點加載、數(shù)據(jù)的劃分和任務(wù)調(diào)度無需用戶考慮。使用云計算可以在不增加現(xiàn)有設(shè)備的情況下大幅度提高數(shù)據(jù)處理的規(guī)模和效率，節(jié)點的擴充非常方便，系統(tǒng)可以自動處理失敗的節(jié)點，容錯性能比較好。
　　1.2 平臺框架
　　設(shè)計并實現(xiàn)了一個統(tǒng)一的基于云計算的可以靈活擴展的大數(shù)據(jù)處理平臺（BDAP，Big-Data Analysis Platform），能夠?qū)崿F(xiàn)數(shù)據(jù)采集、實時分析，批量處理和數(shù)據(jù)導出等功能。平臺具有以下特性：
　　（1）可從不同的數(shù)據(jù)源（Web數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)庫等等）以很高的吞吐能力把數(shù)據(jù)存儲在基于Hadoop的大數(shù)據(jù)中心中；
　　（2）可對實時數(shù)據(jù)做流分析；
　　（3）支持工作流管理，工作流支持與標準的企業(yè)信息系統(tǒng)或者是Hadoop操作進行交互；
　�。�4）支持高效率的數(shù)據(jù)導出，可以把數(shù)據(jù)導出到NoSQL數(shù)據(jù)庫或者關(guān)系數(shù)據(jù)庫；
　�。�5）支持不同數(shù)據(jù)源數(shù)據(jù)的協(xié)同分析。
　　該平臺框架如圖1所示：
　　整個平臺由數(shù)據(jù)層、大數(shù)據(jù)處理層、管理層三部分組成，平臺由數(shù)據(jù)流驅(qū)動，數(shù)據(jù)層負責將各種數(shù)據(jù)來源以流的方式提供給中間的大數(shù)據(jù)處理層；大數(shù)據(jù)處理層是建立在云計算平臺之上的，負責對數(shù)據(jù)層傳入的數(shù)據(jù)流進行分析處理，處理之后的數(shù)據(jù)由管理層展現(xiàn)給終端用戶。
　　在BDAP平臺的基礎(chǔ)上，結(jié)合煙葉種植質(zhì)量評估的需求，設(shè)計了具體的實施方案和關(guān)鍵算法，形成了基于大數(shù)據(jù)的煙葉種植質(zhì)量評估平臺（BDAP-TQ，Big-Data Analysis Platform for Tobacco Quality），下面將介紹該平臺的技術(shù)實現(xiàn)細節(jié)。
　　2 技術(shù)實現(xiàn)
　　2.1 數(shù)據(jù)層實現(xiàn)
　　數(shù)據(jù)層實現(xiàn)數(shù)據(jù)采集和清理的功能，采用web界面的調(diào)度平臺，實時監(jiān)控云平臺上的爬蟲運行狀況。獲取的數(shù)據(jù)分類存入Hadoop分布式文件系統(tǒng)（HDFS）中或者數(shù)據(jù)庫中，可以采集到瀏覽器能瀏覽的結(jié)構(gòu)化和非結(jié)構(gòu)化的內(nèi)容，支持各種頁面類型。數(shù)據(jù)層基于云計算平臺，可以根據(jù)數(shù)據(jù)抓取的資源需求進行彈性擴展，具有高效的信息處理技術(shù)，可以準確獲取系統(tǒng)所需求的內(nèi)容。數(shù)據(jù)層的實現(xiàn)框架如圖2所示：
　　關(guān)于采集數(shù)據(jù)的選擇過濾，主要是對氣象、大氣、土壤、病蟲害等信息進行提取，這是因為：
　�。�1）煙葉的質(zhì)量和產(chǎn)量受環(huán)境條件和生產(chǎn)措施的影響，從煙草品質(zhì)來看，對氣溫條件的要求是前期較低，中期較高，氣溫過高和過低對煙葉質(zhì)量影響都很大[4]。
　�。�2）大氣環(huán)境條件也是影響煙葉質(zhì)量的重要條件之一，重金屬鉛在環(huán)境中容易污染植物葉片，作物中鉛的含量富集程度以葉最高。作物中鉛含量的調(diào)查表明，靠近公路兩側(cè)的作物的鉛含量遠遠高于遠離公路的作物，大氣中的鉛含量決定了農(nóng)作物中的鉛含量水平[5]。
　　（3）土壤是優(yōu)質(zhì)煙葉生產(chǎn)的基礎(chǔ)，土壤因素與煙葉的品質(zhì)和產(chǎn)量密切相關(guān)。隨著吸煙與健康研究的深入開展，人們越來越關(guān)注煙葉含有重金屬的問題，煙葉重金屬的含量和其他作物有一定的相關(guān)性，因此可以通過互聯(lián)網(wǎng)上大量的其他作物的重金屬情況結(jié)合GIS進行關(guān)聯(lián)性分析，可以得出種植區(qū)域煙葉重金屬含量情況。

相關(guān)熱詞搜索：煙葉 評估 質(zhì)量 數(shù)據(jù) 設(shè)計