基于Hadoop的分布式社區(qū)教育學(xué)習(xí)云平臺(tái)的設(shè)計(jì)

　　[摘 要]文章闡述了基于社區(qū)教育的學(xué)習(xí)云平臺(tái)系統(tǒng)的設(shè)計(jì)，是實(shí)踐開展社區(qū)教育的有效嘗試。首先通過分析社區(qū)教育對(duì)學(xué)習(xí)云平臺(tái)的應(yīng)用需求，結(jié)合云計(jì)算 Hadoop 平臺(tái)技術(shù)，采用 B/S 架構(gòu)，融合 HDFS 和 MySQL 數(shù)據(jù)庫，設(shè)計(jì)出分布式的基于云計(jì)算的學(xué)習(xí)、教育平臺(tái)。
　　[關(guān)鍵詞]Hadoop ；云計(jì)算；分布式；學(xué)習(xí)平臺(tái)
　　[中圖分類號(hào)]G434 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1008-7656（2017）06-0041-04
　　一、Hadoop及相關(guān)技術(shù)介紹
　　（一）云計(jì)算及其特點(diǎn)
　　云計(jì)算是基于 Internet 技術(shù)通過服務(wù)的方式提供虛擬化資源的計(jì)算模式，能夠整合網(wǎng)絡(luò)中多種類型的資源共同提供數(shù)據(jù)存儲(chǔ)和訪問功能。云計(jì)算主要分為軟件即服務(wù)（SaaS），平臺(tái)即服務(wù)（PaaS），基礎(chǔ)架構(gòu)即服務(wù)（IaaS）三種服務(wù)模式。
　　云計(jì)算的主要特點(diǎn)為：設(shè)備利用率高，云計(jì)算整合計(jì)算資源對(duì)用戶開放，提高了主機(jī)的運(yùn)行和使用效率；可靠性高，云計(jì)算用戶的數(shù)據(jù)存儲(chǔ)在云端，數(shù)據(jù)由集群的節(jié)點(diǎn)保存，數(shù)據(jù)冗余通過集群來處理，以此來保證數(shù)據(jù)讀取的穩(wěn)定性；運(yùn)行成本低，擴(kuò)展性強(qiáng)[1]。
　　（二）Hadoop簡介
　　Hadoop 是由 Apache 開發(fā)的一個(gè)開源的分布式云計(jì)算平臺(tái)， Hadoop 的核心是分布式文件系統(tǒng) HDFS、分布式平行計(jì)算框架MapReduce 和分布式數(shù)據(jù) HBase， Hadoop平臺(tái)為用戶提供大量透明的服務(wù)，使得用戶可以輕松利用 Hadoop 整個(gè)計(jì)算資源來搭建起自己的云計(jì)算平臺(tái)。 Hadoop 具有的優(yōu)勢為：高性能， Hadoop 的處理對(duì)象可以使數(shù)量級(jí)在 PB 以上的非結(jié)構(gòu)化數(shù)據(jù)，得到的結(jié)構(gòu)能夠以通用的形式提供給用戶；可拓展性， Hadoop 的會(huì)隨著集群規(guī)模的增加，計(jì)算能力也會(huì)不斷增強(qiáng)， Hadoop 可以拓展到上萬臺(tái)服務(wù)器節(jié)點(diǎn)來完成數(shù)據(jù)的存儲(chǔ)和計(jì)算，有利于系統(tǒng)的后續(xù)完善。
　　二、基于Hadoop的分布式學(xué)習(xí)云平臺(tái)需求分析 Hadoop 平臺(tái)的設(shè)計(jì)基于兼容共享原則和開放原則，設(shè)計(jì)的主要內(nèi)容包括系統(tǒng)的整體結(jié)構(gòu)設(shè)計(jì)和依據(jù)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)。通過對(duì)文獻(xiàn)調(diào)研，師生訪問，確定云教學(xué)和自主學(xué)習(xí)平臺(tái)需求分析。
　　通過云計(jì)算技術(shù)對(duì)柳州市社區(qū)數(shù)字化學(xué)習(xí)資源進(jìn)行開發(fā)和應(yīng)用推廣，實(shí)現(xiàn)社區(qū)分布式的網(wǎng)絡(luò)化學(xué)習(xí)，使用者能夠無縫訪問云服務(wù)學(xué)習(xí)資源的各種應(yīng)用，并保證系統(tǒng)安全、穩(wěn)定運(yùn)行。需求分析如下。
　�。�1）依托柳州市城市職業(yè)學(xué)院，實(shí)現(xiàn)柳州市社區(qū)數(shù)字化學(xué)習(xí)資源云平臺(tái)的建設(shè)，建立面向社區(qū)終身學(xué)習(xí)的“私有云”服務(wù)中心，整合電大、職校、培訓(xùn)機(jī)構(gòu)的學(xué)習(xí)資源實(shí)現(xiàn)提供服務(wù)的后臺(tái)數(shù)據(jù)云。
　　（2）開發(fā)SOA架構(gòu)模式的學(xué)習(xí)資源管理信息系統(tǒng)，實(shí)現(xiàn)系統(tǒng)管理、知識(shí)管理、動(dòng)態(tài)學(xué)習(xí)跟蹤處理等功能。
　�。�3）面向柳州市城市職業(yè)學(xué)院地理布局上分散的特點(diǎn)，設(shè)計(jì)分布式的平臺(tái)技術(shù)架構(gòu)，滿足學(xué)生的分布式學(xué)習(xí)需求，借助平臺(tái)學(xué)生能夠異地查看和使用學(xué)習(xí)資源，實(shí)現(xiàn)學(xué)生和教師的互動(dòng)，從平臺(tái)上獲取學(xué)習(xí)資源。滿足教師使用需求，教師能夠通過學(xué)習(xí)平臺(tái)查看和修改教師的信息，實(shí)現(xiàn)師生交流互動(dòng)，借助平臺(tái)發(fā)布信息和學(xué)習(xí)資料，獲取和分發(fā)學(xué)習(xí)資源。
　　（4）實(shí)現(xiàn)整個(gè)系統(tǒng)的硬件安全、數(shù)據(jù)安全、網(wǎng)絡(luò)安全、系統(tǒng)安全。
　　（5）課題研究與將與中國移動(dòng)、電信等運(yùn)營商合作，邀請(qǐng)他們參與建設(shè)社區(qū)數(shù)字化教育云服務(wù)資源中心的建設(shè)，由他們投入網(wǎng)絡(luò)的線路的租用、移動(dòng)通信設(shè)備建設(shè)的費(fèi)用，計(jì)劃二年內(nèi)投入試運(yùn)行。
　　三、基于Hadoop的分布式學(xué)習(xí)云平臺(tái)的設(shè)計(jì)
　　云平臺(tái)的設(shè)計(jì)按照系統(tǒng)的職責(zé)劃分主要可以分為文件系統(tǒng)，數(shù)據(jù)訪問系統(tǒng)和 Web 控制系統(tǒng)三部分。
　　基于基于Hadoop的分布式學(xué)習(xí)云平臺(tái)體系架構(gòu)模型，系統(tǒng)體系架構(gòu)模型分為三級(jí)： 第一級(jí)是服務(wù)請(qǐng)求及操作（serviceclent）； 第二級(jí)是基礎(chǔ)架構(gòu)和服務(wù)應(yīng)用容器（Web service）提供； 第三級(jí)是數(shù)據(jù)創(chuàng)建、數(shù)據(jù)訪問及存儲(chǔ)。其中核心部分是第二級(jí)。通常云計(jì)算劃分為IaaS、PaaS及SaaS三層。其中底層（IaaS）的物理資源主要包括服務(wù)提供者所提供的網(wǎng)絡(luò)資源、服務(wù)器資源、數(shù)據(jù)庫資源及軟件資源等。而虛擬資源池則是通過不同的技術(shù)將相同類型的資源構(gòu)成同構(gòu)或接近同構(gòu)的虛擬資源池。例如， 使用虛擬化軟件VMWARE分別在兩臺(tái)基于Power架構(gòu)的高端服務(wù)器上虛擬出20臺(tái)虛擬機(jī)， 動(dòng)態(tài)分配相應(yīng)的虛擬CPU、內(nèi)存、硬盤、I /O 設(shè)備及網(wǎng)絡(luò)資源，分別在這些虛擬機(jī)上部署一套虛擬的硬件環(huán)境、不同的操作系統(tǒng)、數(shù)據(jù)庫及其他相應(yīng)的應(yīng)用程序， 進(jìn)而在這兩臺(tái)服務(wù)器上虛擬出來的40臺(tái)服務(wù)器組建成一個(gè)虛擬資源池，從而在這個(gè)小型的數(shù)據(jù)中心中設(shè)計(jì)實(shí)施虛擬化和構(gòu)建云計(jì)算環(huán)境[2]。
　　基于Hadoop的分布式學(xué)習(xí)云平臺(tái)屬于中間層，也就是PaaS層，則主要負(fù)責(zé)對(duì)云計(jì)算的學(xué)習(xí)資源進(jìn)行管理， 并對(duì)眾多的訪問管理進(jìn)行負(fù)載均衡優(yōu)化、調(diào)度， 從而為上一層（SaaS）的應(yīng)用提供可靠安全的服務(wù)。通過分布式的基于多租戶技術(shù)的管理服務(wù)主要是通過將相應(yīng)的業(yè)務(wù)封裝成標(biāo)準(zhǔn)的Web Service服務(wù)， 使得任何一個(gè)用戶能夠按照自己的需求對(duì)服務(wù)進(jìn)行定制，多層結(jié)構(gòu)的軟件架構(gòu)設(shè)計(jì)使得系統(tǒng)具有很大靈活性，不同的種類的SaaS接入以及對(duì)SaaS 軟件進(jìn)行個(gè)性化配置不影響其他用戶的使用， 其基本特征有兩點(diǎn)： 一是能夠服務(wù)于大量的用戶并針對(duì)每個(gè)用戶的使用需求，具備很強(qiáng)的可伸縮性；二是能夠按照要求提供附加的業(yè)務(wù)邏輯，使得用戶能夠?qū)�SaaS應(yīng)用本身進(jìn)行擴(kuò)展， 從而滿足用戶對(duì)硬件資源、軟件資源的更大需求。
　�。ㄒ唬┕δ苣�塊及其說明
　　項(xiàng)目由7個(gè)模塊構(gòu)成（見表1），其中：
　�。�1）AppworksCommon模塊提供了一些基礎(chǔ)的公共設(shè)施，如日志記錄器、配置文件、加密工具、JSON工具等，以及在云存儲(chǔ)業(yè)務(wù)中所需的一些基礎(chǔ)實(shí)體類。

相關(guān)熱詞搜索：分布式 教育學(xué) 設(shè)計(jì) 平臺(tái) 社區(qū)