基于學(xué)習(xí)分析線學(xué)習(xí)測評綜合建模與應(yīng)用,學(xué)習(xí)者綜合評價參考模型研究
發(fā)布時間:2020-09-07 來源: 演講稿 點(diǎn)擊： 
[摘要]學(xué)習(xí)分析技術(shù)為提升學(xué)習(xí)質(zhì)量提供了新的思路，而從學(xué)習(xí)分析實(shí)際應(yīng)用的學(xué)習(xí)評價、診斷、預(yù)測、干預(yù)來看，評價模型的建立是重要的基礎(chǔ)。本研究以學(xué)生綜合評價為目標(biāo)，通過理論演繹和專家訪談構(gòu)建了以投入度、完成度、調(diào)控度、聯(lián)通度和主動性為核心的五維度綜合評價參考理論模型，并通過學(xué)習(xí)行為數(shù)據(jù)聚合特征變量，構(gòu)建了相應(yīng)的計(jì)算模型。在此基礎(chǔ)上，進(jìn)行了相應(yīng)的工具設(shè)計(jì)和研發(fā)，從而通過實(shí)踐應(yīng)用驗(yàn)證學(xué)生綜合評價參考模型的科學(xué)性和可用性。研究為學(xué)生的綜合測評提供了理論上的參考，為學(xué)習(xí)分析技術(shù)的實(shí)踐應(yīng)用提供了方法和思路上的借鑒。
[關(guān)鍵詞]學(xué)習(xí)分析技術(shù);學(xué)生綜合評價參考模型;S-SERI;學(xué)習(xí)評價 一引言
教育發(fā)展的目標(biāo)是通過改革提升教育服務(wù)能力，能夠?yàn)樗杏袑W(xué)習(xí)意愿的人提供教育服務(wù);同時提升教育服務(wù)水平，能夠?yàn)槊恳粋�學(xué)習(xí)者提供個性化的教育服務(wù)，即構(gòu)建面向全體受眾的大規(guī)模個性化開放教育體系。要實(shí)現(xiàn)這種大規(guī)模個性化教育體系，我們認(rèn)為解決的思路有兩個方向 [1] ，一類是發(fā)揮互聯(lián)網(wǎng)的社會交互特性，鼓勵學(xué)習(xí)者建立自己的學(xué)習(xí)空間，使用自己想用的互聯(lián)網(wǎng)服務(wù)建立連接、分享內(nèi)容、貢獻(xiàn)內(nèi)容、合作學(xué)習(xí)或者擴(kuò)展自己的個人網(wǎng)絡(luò)和專業(yè)網(wǎng)絡(luò)。交互尤其是社會交互是這種教與學(xué)的核心，學(xué)習(xí)者通過交互建構(gòu)自己的數(shù)字身份，貢獻(xiàn)自己的智慧，通過持續(xù)不斷的創(chuàng)新推動課程的進(jìn)化與發(fā)展，并不斷發(fā)展自己的概念網(wǎng)絡(luò)、技術(shù)網(wǎng)絡(luò)和社會網(wǎng)絡(luò)，注重問題的解決和創(chuàng)新。此時實(shí)現(xiàn)的是在線教育在社會性交互方面的潛力，主要是利用技術(shù)促進(jìn)人與人之間的通信，改善師生之間、生生
之間的交互 [2] 。另一類是充分利用大規(guī)模學(xué)習(xí)者在平臺中的學(xué)習(xí)和交互行為產(chǎn)生的海量數(shù)據(jù)，這些數(shù)據(jù)的應(yīng)用和挖掘?qū)⒊蔀槠脚_價值的更大發(fā)源地。對于機(jī)構(gòu)來說，最有價值的是通過數(shù)據(jù)挖掘?yàn)閷W(xué)習(xí)者提供有針對性的教育服務(wù)，而這類教育服務(wù)并不是學(xué)習(xí)者“自有價值”的天然獲得，而是在此之上為提高個體學(xué)習(xí)效率和績效而進(jìn)行的增值服務(wù)。按照美國教育部教育技術(shù)辦公室(U.S. Department of Education，Office of Educational Technology)2012 年簡報中的提法來進(jìn)行概括，這些增值服務(wù)主要包括用戶知識模擬、用戶行為分析、用戶經(jīng)驗(yàn)分析;用戶分類、分組;知識域模擬如學(xué)習(xí)課題分類排序，知識元素與相應(yīng)的教學(xué)原則分析;趨勢分析;自適應(yīng)和個性化學(xué)習(xí)。其中，對學(xué)習(xí)者最有價值的就是自適應(yīng)和個性化學(xué)習(xí)，平臺能夠根據(jù)已記錄的學(xué)習(xí)者在線學(xué)習(xí)活動的行為數(shù)據(jù)、交互內(nèi)容數(shù)據(jù)以及相應(yīng)的績效表征文本，對學(xué)習(xí)者的行為和經(jīng)驗(yàn)進(jìn)行建模和分類，從而提供最直接、最有效的學(xué)習(xí)診斷和預(yù)測，進(jìn)而給學(xué)習(xí)者提升學(xué)習(xí)效率和效果提出有價值的建議。
學(xué)習(xí)分析技術(shù)強(qiáng)調(diào)基于數(shù)據(jù)的學(xué)習(xí)描述、診斷、預(yù)測和干預(yù)。第一個關(guān)鍵節(jié)點(diǎn)就是對于學(xué)生學(xué)習(xí)狀態(tài)的綜合性描述，這種描述不是類似于傳統(tǒng)商業(yè)智能的特征提取，而應(yīng)該基于教育教學(xué)理論，從評估和發(fā)展兩個方面構(gòu)建在線學(xué)習(xí)者的綜合評價模型。本研究以在線學(xué)習(xí)者的綜合評價為主題，嘗試通過完整的學(xué)習(xí)分析技術(shù)，構(gòu)建基于學(xué)習(xí)行為數(shù)據(jù)的綜合評價參考模型，從而為學(xué)習(xí)者的個性化學(xué)習(xí)服務(wù)提供智能化決策支持。之所以選擇評價作為切入點(diǎn)，是因?yàn)閷W(xué)習(xí)分析技術(shù)所期待的個性化學(xué)習(xí)服務(wù)，來源都在
于有一個科學(xué)的評價模型，只有建立了評價基準(zhǔn)，才能夠做出相應(yīng)的預(yù)警和預(yù)測服務(wù)，從而為有效的干預(yù)提供支持。
正如所有的傳統(tǒng)教育評價一樣，在線教育中學(xué)習(xí)者的綜合測評一直存在著科學(xué)性和可行性之間的矛盾。從科學(xué)性的角度來說，如何全面、正確評價學(xué)生的學(xué)習(xí)績效和個體發(fā)展，目前主要寄希望于終結(jié)性評價和形成性評價結(jié)合的思路進(jìn)行考量。形成性考核是“為激發(fā)、提高學(xué)生的學(xué)習(xí)所設(shè)計(jì)的所有活動，并且要為學(xué)生提供他們學(xué)習(xí)過程中進(jìn)步、發(fā)展的標(biāo)志”。終結(jié)性評價是用于“對學(xué)生所取得的成就作出評估的記錄或報告”。
[3] 在我國的教學(xué)評價中，考核類型的劃分往往是根據(jù)時間段來進(jìn)行，形成性考核是指平時成績，終結(jié)性考核則是指期末成績。雖然我們形成了這種綜合評價，但終結(jié)性考核主要考察的是認(rèn)知績效，而形成性考核的基本形式有：平時作業(yè)、階段性學(xué)習(xí)測驗(yàn)、課程實(shí)踐教學(xué)、專題討論、合作學(xué)習(xí)、學(xué)習(xí)記錄等 [4] ，主要的考察點(diǎn)仍然是學(xué)生學(xué)習(xí)的認(rèn)知結(jié)果。如今，對人才培養(yǎng)的定位越來越指向綜合性，尤其是在線教育領(lǐng)域，我們一直提出的是應(yīng)用型人才的培養(yǎng)目標(biāo)。這又涉及到一個可行性的問題，因?yàn)槿绻麤]有合適的評價維度和指標(biāo)體系，以及相應(yīng)的數(shù)據(jù)采集方法，這種理想的綜合性評價，缺失可操作的具體方法和工具，難以為繼。
因此，如何在評價方面切實(shí)體現(xiàn)人才培養(yǎng)目標(biāo)，就需要對目標(biāo)本身進(jìn)行綜合建模，從更充分的維度綜合形成科學(xué)、可操作的評價目標(biāo)體系�；诖�，本研究重點(diǎn)回答以下兩個問題，一是如何構(gòu)建全面衡量學(xué)習(xí)質(zhì)量的綜合評價模型，二是在學(xué)習(xí)分析技術(shù)使用中，如何根據(jù)平臺記錄的有效教
與學(xué)行為數(shù)據(jù)聚合到綜合評價模型，從而為可操作的自動化參考性評價提供基礎(chǔ)。
二學(xué)生綜合評價參考模型的理論研究
學(xué)生綜合評價參考模型的提出主要依賴于理論演繹和專家訪談�！督逃u價辭典》中將教育評價定義為“根據(jù)一定的教育價值觀或教育目標(biāo)，運(yùn)用可行的科學(xué)手段，通過系統(tǒng)地搜集信息資料和分析整理，對教育活動、教育過程和教育結(jié)果進(jìn)行價值判斷，從而使評價對象不斷自我完善和為教育決策提供依據(jù)的過程。” [5] 學(xué)生評價作為教育評價中的核心內(nèi)容之一，可以將基于學(xué)習(xí)分析的學(xué)生評價界定為：根據(jù)一定的教學(xué)目標(biāo)，運(yùn)用可行的科學(xué)手段，通過對學(xué)生學(xué)習(xí)產(chǎn)生數(shù)據(jù)的分析和整理，對學(xué)生的學(xué)習(xí)活動、學(xué)習(xí)過程和學(xué)習(xí)結(jié)果進(jìn)行價值判斷，從而使學(xué)生不斷自我完善的過程。
從教育評價和學(xué)生評價的界定可以看出，進(jìn)行學(xué)生評價，需要以教學(xué)目標(biāo)作為價值判斷依據(jù)和準(zhǔn)繩。對于教學(xué)目標(biāo)，布魯姆將其分為認(rèn)知領(lǐng)域、情感領(lǐng)域和動作技能領(lǐng)域三大領(lǐng)域;加涅將教學(xué)目標(biāo)按照學(xué)習(xí)結(jié)果分為言語信息、智力技能、認(rèn)知策略、動作技能和態(tài)度五個大類，由于在線學(xué)習(xí)基本不涉及動作技能的目標(biāo)習(xí)得，因此，我們主要在加涅的目標(biāo)分類基礎(chǔ)上，結(jié)合在線教育自身的特點(diǎn)以及在線學(xué)習(xí)者(主要是成人學(xué)習(xí)者)的特點(diǎn)，我們構(gòu)建了如下的五維度理論模型。
從智力技能方面，我們在構(gòu)建評價模型的時候，引入了完成度這一維度來反映這類教學(xué)目標(biāo)的具體完成情況。所謂的完成度，指的是學(xué)習(xí)者按照教師的教學(xué)設(shè)計(jì)，所完成的相應(yīng)的學(xué)習(xí)活動的情況。需要特別說明的是，我們的前提是教師的在線課程教學(xué)設(shè)計(jì)是完整而合理的，這樣完成度能夠較好地表達(dá)學(xué)生的在線學(xué)習(xí)的結(jié)果情況。
從態(tài)度和情感方面，我們認(rèn)為，不同的學(xué)習(xí)動機(jī)和學(xué)習(xí)需求是在線學(xué)習(xí)者的重要屬性，是評價學(xué)生在學(xué)習(xí)準(zhǔn)備的態(tài)度方面的重要指標(biāo)。為此，我們引入主動性這一評價維度，綜合判斷學(xué)生學(xué)習(xí)的態(tài)度準(zhǔn)備，從而保證評價的全面性。
進(jìn)一步，由于在線學(xué)習(xí)者的受教育背景、學(xué)習(xí)需求和興趣不同，其學(xué)習(xí)動機(jī)、學(xué)習(xí)風(fēng)格、認(rèn)知策略等相應(yīng)也會有相當(dāng)大的差異，并且由于在線學(xué)習(xí)大多數(shù)情況下是由學(xué)生自主進(jìn)行，因此對學(xué)生的自主學(xué)習(xí)能力也有較高的要求。這些能力、方法上的差異對學(xué)生的在線學(xué)習(xí)效果有著重要的影響，因此需要進(jìn)行全面的評價，以幫助教師針對不同類型的學(xué)習(xí)者采取有針對性的教學(xué)策略和教學(xué)干預(yù)，由此我們構(gòu)建了調(diào)控度的維度。
其次，在在線學(xué)習(xí)中，學(xué)生學(xué)習(xí)的投入水平也是我們關(guān)注的重點(diǎn)，如果說完成度主要考慮的學(xué)生學(xué)習(xí)的質(zhì)量評價，那么投入度考慮的就是學(xué)生學(xué)習(xí)的過程數(shù)量指標(biāo)。在線教育相較傳統(tǒng)課堂教學(xué)有其特殊性，由于教與學(xué)的時空分離，教師、管理者僅僅通過作業(yè)、單元測驗(yàn)、考試等一些傳統(tǒng)的評價手段很難實(shí)時掌握學(xué)生的學(xué)習(xí)過程和學(xué)習(xí)狀態(tài)，及時做出針對性的調(diào)控和干預(yù)。學(xué)習(xí)分析基于學(xué)生的學(xué)習(xí)行為數(shù)據(jù)進(jìn)行評價，在對在線學(xué)習(xí)
的過程監(jiān)控方面有其天然的優(yōu)勢，構(gòu)建學(xué)生評價模型時需要發(fā)揮這方面長處，彌補(bǔ)在線教育過程性評價方面的短板，由此我們引入了投入度作為表征學(xué)生在線學(xué)習(xí)過程的評價維度。
最后，在信息資源呈幾何級數(shù)增長的今天，學(xué)生的在線學(xué)習(xí)的目的不再僅僅是從固化的課程資源中獲取知識或技能，更重要的是培養(yǎng)在海量信息資源中發(fā)現(xiàn)、獲取乃至創(chuàng)造知識的能力。聯(lián)通主義學(xué)習(xí)理論認(rèn)為，網(wǎng)絡(luò)時代的學(xué)習(xí)者需要具備從更大范圍發(fā)現(xiàn)和組織信息資源的能力，具備辨析信息資源內(nèi)容和發(fā)現(xiàn)信息間關(guān)聯(lián)性的能力，具備建立社會化連接以交流共享信息的能力以及通過創(chuàng)造內(nèi)容與他人聯(lián)通的能力。[6] 在聯(lián)通主義學(xué)習(xí)中連接的建立和網(wǎng)絡(luò)的形成都依賴于交互的開展，整個網(wǎng)絡(luò)以交互為核心。學(xué)習(xí)者參與到與實(shí)踐者、其他學(xué)習(xí)者、教師和導(dǎo)師的交互之中，這種社會交互對學(xué)習(xí)者了解課程內(nèi)容并在空間中進(jìn)行定向至關(guān)重要 [7] 。從在線學(xué)習(xí)的發(fā)展趨勢和對學(xué)習(xí)者的學(xué)習(xí)素養(yǎng)要求的角度出發(fā)，我們構(gòu)建了聯(lián)通度這一維度來評價網(wǎng)絡(luò)時代學(xué)習(xí)者所需要具備的能力素養(yǎng)。
初步模型構(gòu)建后，研究者邀請了在線教育領(lǐng)域、學(xué)習(xí)分析領(lǐng)域和教學(xué)評價領(lǐng)域的 7 位專家進(jìn)行了半結(jié)構(gòu)化訪談，獲得了相應(yīng)認(rèn)可后，我們最終以在線教育人才培養(yǎng)目標(biāo)為核心，結(jié)合教育評價理論和遠(yuǎn)程教育相關(guān)理論，提煉構(gòu)建了學(xué)生綜合評價參考模型，稱為 S-SERI 模型(Student-Systematically Evaluation Reference Indicator)。
S-SERI 模型由維度和指標(biāo)構(gòu)成，其中維度滿足對學(xué)生的某方面評價需求，具有一定概括度和抽象層次，可能包含多個指標(biāo)，指標(biāo)則是對維度的
具體分解。例如衡量學(xué)生在線學(xué)習(xí)投入的“投入度”維度，包括“行為投入”、“認(rèn)知投入”、“情感投入”等一級指標(biāo)，在“行為投入”指標(biāo)下又包括“活躍度”、“持續(xù)度”等二級指標(biāo)。維度和指標(biāo)確立主要基于以下兩個原則：①典型性原則。評價指標(biāo)應(yīng)選取最能反映學(xué)生在該評價目標(biāo)上發(fā)展水平的典型特征，并不需要將所有反映評價目標(biāo)的指標(biāo)一個不漏地堆積起來，評價模型最終應(yīng)用于在線教育教學(xué)實(shí)踐，過多的指標(biāo)可能反而讓教師和學(xué)生難以解讀、無所適從;②可操作性原則。維度一級級分解成的最終指標(biāo)應(yīng)該是具體的、可以觀察、描述和測量的。構(gòu)成 S-SERI 模型的五個維度具體如下：
圖 1 學(xué)生綜合評價參考模型
1.投入度
從活躍性、持續(xù)性等方面對學(xué)生在線學(xué)習(xí)的投入程度進(jìn)行評價。對投入度的評價除了行為投入以外，還包括更深層次的認(rèn)知以及情感投入。投入度是對學(xué)生學(xué)習(xí)過程進(jìn)行表征的重要維度。
2.主動性
包括完成自主學(xué)習(xí)任務(wù)的主動性、參與教師指定教學(xué)活動的主動性以及進(jìn)行交互的主動性等等，主動性在一定程度上表征了學(xué)習(xí)者的學(xué)習(xí)動機(jī)水平與變化情況。
3.調(diào)控度
從學(xué)習(xí)的規(guī)律性、持續(xù)性、效率等方面對學(xué)生調(diào)控自己學(xué)習(xí)過程的水平進(jìn)行評價，調(diào)控度是對學(xué)生認(rèn)知策略、自主學(xué)習(xí)能力進(jìn)行表征和評價的重要維度
4.完成度
以課程的教學(xué)目標(biāo)為標(biāo)準(zhǔn)對學(xué)生實(shí)際完成情況進(jìn)行評價，對于不同類型的課程，教學(xué)目標(biāo)的側(cè)重點(diǎn)不同，完成度的指標(biāo)以及權(quán)重設(shè)置也會進(jìn)行相應(yīng)調(diào)整。
5.聯(lián)通度
對學(xué)生建立社會化認(rèn)知網(wǎng)絡(luò)的能力進(jìn)行評價，包括建立連接的能力，維護(hù)連接的能力等。聯(lián)通度的評價核心是交互，包括學(xué)生與資源的交互、學(xué)生與教師以及其他學(xué)習(xí)同伴的交互。
進(jìn)一步，我們根據(jù)構(gòu)建的理論模型，開展基于學(xué)習(xí)數(shù)據(jù)的綜合建模工作。由于維度建模來源于理論演繹和專家訪談，下一步的重心是如何將構(gòu)建的維度模型進(jìn)一步細(xì)化并提煉出相應(yīng)的數(shù)學(xué)結(jié)構(gòu)，從而為量化評估提供可操作的依據(jù)。
三數(shù)據(jù)模型的構(gòu)建
學(xué)生評價的理論模型構(gòu)建是由上而下，而算法模型的構(gòu)建是由下而上，即先確定各維度下最底層指標(biāo)的計(jì)算方法，再將這些指標(biāo)進(jìn)行聚合，最終得到維度算法模型，模型構(gòu)建的具體流程如下圖所示。
圖 2 學(xué)生綜合評價參考模型數(shù)據(jù)分析應(yīng)用流程
1.原始數(shù)據(jù)匯聚與預(yù)處理
學(xué)生的原始學(xué)習(xí)數(shù)據(jù)往往是多源異構(gòu)的，分散存儲在內(nèi)容管理系統(tǒng)、學(xué)習(xí)管理系統(tǒng)、教務(wù)管理系統(tǒng)等各個平臺中，將這些數(shù)據(jù)匯聚到一起，盡可能對學(xué)生學(xué)習(xí)時所發(fā)生的過程進(jìn)行還原是科學(xué)和全面評價的基礎(chǔ)。這就要求對各個平臺的數(shù)據(jù)有一個全面完整的認(rèn)識，理順數(shù)據(jù)中蘊(yùn)含的業(yè)務(wù)邏輯，提取出在線教育的各類業(yè)務(wù)工作中的關(guān)鍵主體、要素和流程。如針對課程教學(xué)業(yè)務(wù)，其主體包括教師、學(xué)生和課程;要素包括資源、交互、作業(yè)和測試等，流程包括資源學(xué)習(xí)、交流討論等。對于業(yè)務(wù)所涉及的流程，則是相互交織的一系列復(fù)雜過程，包含多種動態(tài)和靜態(tài)信息。流程往往體現(xiàn)了要素的狀態(tài)變化和行為過程。在此基礎(chǔ)上，將在線教育的核心教學(xué)與管理業(yè)務(wù)分解，形成覆蓋學(xué)生學(xué)習(xí)過程的完整數(shù)據(jù)描述。
參考 xAPI 的理念 [8] ，基于業(yè)務(wù)解析提取出的關(guān)鍵學(xué)習(xí)主體、要素和流程，我們構(gòu)建了基于學(xué)習(xí)的活動流�；顒恿饔杀匾獙傩院涂蛇x屬性構(gòu)成：必要屬性包括活動主體、動作以及活動對象三類，可選屬性包括活動時間、活動結(jié)果等若干類。通過這些屬性，可以對學(xué)生的學(xué)習(xí)活動過程進(jìn)行描述，例如小張(活動主體)在某個時間(活動時間)觀看了(動作)關(guān)于某個知識點(diǎn)的
視頻(活動對象)。表 1 列出了一些可能的必要屬性，不同教學(xué)設(shè)計(jì)、教學(xué)情境中這些屬性需要做出相應(yīng)調(diào)整。
表 1 活動流中一些必要屬性的描述
構(gòu)建基于學(xué)習(xí)的活動流，方便不同數(shù)據(jù)源按照統(tǒng)一的規(guī)范進(jìn)行整合，提高數(shù)據(jù)匯聚的效率按照這種規(guī)范描述的學(xué)習(xí)過程，最終會以具有語義結(jié)構(gòu)的數(shù)據(jù)進(jìn)行存儲，也便于機(jī)器理解和學(xué)習(xí)。同時，由于學(xué)習(xí)分析大部分基于行為數(shù)據(jù)進(jìn)行，對數(shù)據(jù)預(yù)先進(jìn)行基于(行為)活動的描述和封裝，有助于后續(xù)研究的進(jìn)行。
在解析業(yè)務(wù)，將學(xué)習(xí)活動數(shù)據(jù)化的過程中，會遇到數(shù)據(jù)質(zhì)量的問題。當(dāng)前在線教育的數(shù)據(jù)質(zhì)量整體水平還比較低，缺失值比例較高，可能會出現(xiàn)異常值、不確定的定義和編碼、無效或錯誤的數(shù)據(jù)以及數(shù)據(jù)不一致等情況。在這個階段當(dāng)中要及時地發(fā)現(xiàn)數(shù)據(jù)質(zhì)量存在的問題，對數(shù)據(jù)進(jìn)行清洗，盡可能提高數(shù)據(jù)質(zhì)量，為后續(xù)的分析奠定基礎(chǔ)。
2.潛在變量生成
潛在變量是指從原始數(shù)據(jù)庫中獲得的，在意義上與模型可能相關(guān)的變量。這些變量與評價需求相關(guān)聯(lián)，且數(shù)據(jù)質(zhì)量較好。在潛在變量生成階段中，我們在之前數(shù)據(jù)匯聚的基礎(chǔ)上，提取出能夠描繪學(xué)習(xí)活動核心要素和流程的關(guān)鍵數(shù)據(jù)，這些數(shù)據(jù)是后續(xù)模型構(gòu)建的基礎(chǔ)。前一步中匯聚的數(shù)據(jù)集合是對教學(xué)活動和學(xué)生學(xué)習(xí)經(jīng)歷的完整描述，潛在變量是在其基礎(chǔ)上進(jìn)行的提煉，是一系列能夠表征教學(xué)與學(xué)習(xí)情況的有效標(biāo)準(zhǔn)數(shù)據(jù)項(xiàng)。
潛在變量生成階段，僅通過對于機(jī)構(gòu)教學(xué)要素和教學(xué)流程的分析，得出有效的數(shù)據(jù)項(xiàng)。應(yīng)盡量避免復(fù)雜計(jì)算。如必須進(jìn)行復(fù)雜計(jì)算，則只有通用性的，能夠?qū)C(jī)構(gòu)的教學(xué)與管理起到重要監(jiān)測作用的變量，才可以納入到潛在變量中。這些數(shù)據(jù)項(xiàng)可以是基本的屬性量，如課程的資源數(shù)等;也可以是行為計(jì)數(shù)，如每日學(xué)生資源訪問量;也可以是簡單計(jì)算的結(jié)果，如作業(yè)提交時間間隔，即教師發(fā)布作業(yè)與學(xué)生提交作業(yè)之間的時間差值;在少數(shù)情況下，可以是需要較為復(fù)雜計(jì)算的結(jié)構(gòu)，如教學(xué)交互的有效性等。
3.特征變量選取
特征變量是從潛在變量中選出的，經(jīng)過統(tǒng)計(jì)分析后證明具有足夠好的數(shù)據(jù)質(zhì)量，可以進(jìn)一步進(jìn)入算法構(gòu)建的變量。特征變量選取又稱作特征工程(Feature Engineering)，根據(jù)具體的評價指標(biāo)，用特定領(lǐng)域知識或機(jī)器學(xué)習(xí)的方法來選擇、刪除或者組合潛在變量得到特征，作為指標(biāo)的計(jì)算變量。之所以需要進(jìn)行特征變量選取，是因?yàn)槎嘤嗟淖兞繒䦟δＰ陀?xùn)練產(chǎn)生干擾，有可能造成模型的過擬合;另外變量過多時，在數(shù)據(jù)體量越來越大的情況下，會大大降低模型的訓(xùn)練和計(jì)算效率。
特征變量與評價指標(biāo)有著較大的不同，它是評價指標(biāo)構(gòu)建的基礎(chǔ)，可以通過不同類型的計(jì)算，成為監(jiān)測教學(xué)與管理狀態(tài)的重要指標(biāo)。這些特征變量有可能是顯而易見的，如學(xué)生在線觀看教學(xué)視頻的次數(shù)、時長等，也有些可能需要經(jīng)過一定的計(jì)算變換，如學(xué)生觀看教學(xué)視頻后進(jìn)行練習(xí)的概率、正確率等等。
當(dāng)需要計(jì)算的指標(biāo)較為簡單、潛在變量較少的時候，可以讓專家基于特定的領(lǐng)域知識來人工選取特征變量。而指標(biāo)算法復(fù)雜，涉及較多變量的情況下，人工的方法存在一定的局限性，可能會影響到指標(biāo)算法的準(zhǔn)確性，所以我們綜合采用如下幾種方式來選取特征變量：
①計(jì)算變量與對應(yīng)指標(biāo)的相關(guān)性，選擇與指標(biāo)有相關(guān)性的變量作為特征變量;
②將潛在變量組合后再來選擇特征變量，如對學(xué)生的人口學(xué)數(shù)據(jù)(性別、年齡、前置學(xué)歷等)進(jìn)行組合，來獲得較大的特征集，組合特征能夠同時兼顧全局模型和個性化模型;
③在數(shù)據(jù)構(gòu)造較為復(fù)雜的時候可以采用深度學(xué)習(xí)的方法來自動識別特征變量，深度學(xué)習(xí)又被稱作無監(jiān)督特征學(xué)習(xí)(Unsupervised Feature Learning)，具有自動學(xué)習(xí)特征的能力，可以從大規(guī)模的未標(biāo)注數(shù)據(jù)集中學(xué)習(xí)數(shù)據(jù)的本質(zhì)特征。
維度值和特征變量的關(guān)系如表 2 所示，由于篇幅關(guān)系，這里并沒有列出所有的特征變量。所有的特征值都有兩個數(shù)值，一個是原始特征值，如學(xué)習(xí)頻次，某個學(xué)生以周為單位的學(xué)習(xí)頻次是 15 次，那么記錄的特征值就是 15，但由于綜合評價需要將特征值聚合成維度值，所以就需要將原始特征值轉(zhuǎn)換為百分制，具體的百分制得出，一般通過聚類、Z 分?jǐn)?shù)、邏輯回歸等方法，將特征值轉(zhuǎn)換。如學(xué)習(xí)頻次 15，轉(zhuǎn)換為百分制則為 90。
表 2 特征值的計(jì)算與維度計(jì)算示例
4.模型構(gòu)建
對于指標(biāo)算法構(gòu)建，主要分兩種類型，一種類型是可以通過問卷、量表或者其他測量方法獲得指標(biāo)因變量的值，這種情況下采用有監(jiān)督的機(jī)器學(xué)習(xí)例如人工神經(jīng)網(wǎng)絡(luò)或者一些分類算法，通過調(diào)整參數(shù)進(jìn)行模型訓(xùn)練，選擇準(zhǔn)確度較高的算法即可。
另一種指標(biāo)構(gòu)成復(fù)雜，且對應(yīng)因變量的值獲取相對較為困難，如何采用無監(jiān)督的機(jī)器學(xué)習(xí)方法對這些指標(biāo)進(jìn)行分析是在模型構(gòu)建的關(guān)鍵難點(diǎn)問題。要完成這種分析，需要先將專家知識通過某種方式傳授給機(jī)器，再由機(jī)器完成專家所不能夠完成的整合分析。如對于學(xué)生的活躍度這個指標(biāo)的分析，可以找到在線時長，登錄次數(shù)資源學(xué)習(xí)等特征數(shù)據(jù)，由專家對不同活躍水平的學(xué)生貼標(biāo)簽，然后再對各類學(xué)生進(jìn)行聚類等各種分析。將分析的結(jié)果，進(jìn)行初步的模型計(jì)算。接下來，根據(jù)計(jì)算結(jié)果，確定學(xué)生活躍度的分析算法。
兩種類型的指標(biāo)算法確定以后，我們采用專家模糊層次分析和機(jī)器學(xué)習(xí)相結(jié)合的方法確定各個低一級指標(biāo)的權(quán)重，最后一步步向上聚合成更高級別的指標(biāo)、維度乃至 S-SERI 模型。
5.模型驗(yàn)證迭代
模型的信度和效度是其重要的衡量指標(biāo)。除了一般性的數(shù)據(jù)挖掘指標(biāo)之外，需要將其同業(yè)務(wù)數(shù)據(jù)進(jìn)行對比，并根據(jù)平臺當(dāng)前的數(shù)據(jù)情況，確定
其置信區(qū)間。模型構(gòu)建需要多輪迭代，需要嘗試各種特征變量的組合與各種不同類型的模型計(jì)算方式的結(jié)果，通過比較計(jì)算結(jié)果最終確定模型算法。
四基于數(shù)據(jù)模型的評估實(shí)踐
基于國內(nèi)某高校網(wǎng)絡(luò)教育學(xué)院的數(shù)據(jù)，我們對上述的 S-SERI 模型進(jìn)行了應(yīng)用和驗(yàn)證，該學(xué)院使用了第三方開發(fā)運(yùn)維的專門學(xué)習(xí)管理系統(tǒng)，由于數(shù)據(jù)可獲得性和數(shù)據(jù)質(zhì)量等問題，對網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)相關(guān)頁面另外進(jìn)行了埋點(diǎn)處理，最終形成了相應(yīng)的數(shù)據(jù)倉庫和數(shù)據(jù)集，如前文圖 2 所示。根據(jù)特征值計(jì)算，最終聚合出相應(yīng)的維度值和 S-SERI 值，構(gòu)建應(yīng)用系統(tǒng)進(jìn)行可視化呈現(xiàn)，如圖 3-圖 5 所示。
圖 3 學(xué)院總體 S-SERI 計(jì)算
圖 4 學(xué)習(xí)者個人 S-SERI 計(jì)算
圖 5 學(xué)院總體 S-SERI 趨勢分析
其中，圖 3 展示了學(xué)院實(shí)時的 S-SERI 總體均值，表征的是學(xué)院學(xué)生綜合評價的總體情況;圖 4 展示了某位學(xué)習(xí)者的實(shí)時 S-SERI 值，表征的是學(xué)習(xí)者個體的學(xué)業(yè)綜合評價情況;圖 5展示了兩個月內(nèi)學(xué)院學(xué)生的 S-SERI總體均值，表征的是學(xué)習(xí)者總體變化的趨勢�；谏鲜鰯�(shù)據(jù)分析，進(jìn)一步開展了基于 S-SERI 值的管理和教學(xué)干預(yù)建議參考。如對于個體學(xué)習(xí)者來說，工具將根據(jù)其五個維度的得分情況，分析其分值高低的原因，從而從底層數(shù)據(jù)采集點(diǎn)的教育意義出發(fā)，提出適應(yīng)性的干預(yù)建議。以圖 4 所示的學(xué)習(xí)者為
例，對他的綜合評分所處的相對位置進(jìn)行了展示，對學(xué)習(xí)主動性的維度得分偏低提出了有針對性的提醒，當(dāng)然，我們進(jìn)一步根據(jù)主動性維度具體的特征值計(jì)算規(guī)則，可以發(fā)現(xiàn)是他在完成教師布置的必做學(xué)習(xí)活動中，往往是在提交的最后節(jié)點(diǎn)之前，甚至之后才完成相應(yīng)的學(xué)習(xí)活動，我們對其進(jìn)一步的學(xué)習(xí)改進(jìn)建議則是合理的安排學(xué)習(xí)時間，更加主動的參與學(xué)習(xí)活動等。
當(dāng)然，系統(tǒng)的設(shè)計(jì)和應(yīng)用最終目的是判斷我們基于學(xué)習(xí)數(shù)據(jù)開展的學(xué)生綜合評價參考模型的科學(xué)性和有用性。科學(xué)性這一點(diǎn)在前文的理論推演和專家訪談中予以了部分保證，還需要在在線教育機(jī)構(gòu)的實(shí)踐應(yīng)用中，予以不斷的反饋和迭代，方能進(jìn)行系統(tǒng)性的優(yōu)化。從可行性的角度來說，本研究的實(shí)踐表明，利用學(xué)習(xí)分析技術(shù)，形成系統(tǒng)化的學(xué)習(xí)者測評模型是能夠部分代替?zhèn)鹘y(tǒng)的評價設(shè)計(jì)的，之所以是部分代替，原因之一是學(xué)習(xí)分析技術(shù)嚴(yán)重依賴于數(shù)據(jù)的可獲得性，從理想的設(shè)計(jì)角度，研究者希望獲得一切學(xué)生相關(guān)的數(shù)據(jù)，從而更加深層次和全面的解讀在線學(xué)習(xí)，但從實(shí)踐角度出發(fā)，我們的原型和機(jī)構(gòu)進(jìn)行了多輪碰撞，最終形成了當(dāng)前的最優(yōu)解決方案，尤其是我國的網(wǎng)絡(luò)教育機(jī)構(gòu)大多并不是用統(tǒng)一的系統(tǒng)進(jìn)行招生、教務(wù)、學(xué)習(xí)、社交、管理等業(yè)務(wù)，這給數(shù)據(jù)匯聚帶來了極大的困難。另一個重要原因也在于我們在線教育本身的數(shù)據(jù)質(zhì)量的問題，在此不再贅述。盡管有上述困難，本研究的實(shí)踐應(yīng)用很大程度上證明了基于學(xué)習(xí)分析的S-SERI 模型的科學(xué)性和有效性，能夠?yàn)樵诰�教育的教與學(xué)服務(wù)改進(jìn)提供支持。
五討論與建議
本研究是以學(xué)習(xí)分析技術(shù)對在線學(xué)習(xí)者的綜合評價展開了建模和研發(fā)應(yīng)用。研究從投入度、完成度、調(diào)控度、聯(lián)通度和主動性五個維度構(gòu)建了學(xué)生綜合評價參考模型，在此基礎(chǔ)上，通過在線學(xué)習(xí)平臺匯聚的學(xué)習(xí)數(shù)據(jù)，進(jìn)行了從行為數(shù)據(jù)到特征數(shù)據(jù)，再到維度計(jì)算，最終形成綜合評價參考值的相關(guān)研究。進(jìn)一步，本研究通過設(shè)計(jì)的理論模型和分析計(jì)算方法，綜合設(shè)計(jì)開發(fā)了相應(yīng)工具，在網(wǎng)絡(luò)教育機(jī)構(gòu)中予以實(shí)際應(yīng)用，證明了本研究構(gòu)建的 S-SERI 模型的科學(xué)性和可行性�？偨Y(jié)本輪研究，我們認(rèn)為，在基于學(xué)習(xí)分析技術(shù)進(jìn)行學(xué)習(xí)者綜合評價的研究中，需要重點(diǎn)考慮以下幾點(diǎn)。
首先是評價的目的。本研究構(gòu)建的評價模型是針對學(xué)習(xí)者的全面綜合評價，并不一定適合所有的課程類型，而且研究中并沒有考慮實(shí)踐技能等方面的習(xí)得(最主要的原因是在線學(xué)習(xí)數(shù)據(jù)中這方面的特征指標(biāo)難以獲得)。在具體的課程教學(xué)模式中，有的課程可能采取的是真正意義的自主學(xué)習(xí)，以學(xué)習(xí)者自我監(jiān)控、自定步調(diào)、自定學(xué)習(xí)方式等為主體，對學(xué)習(xí)中交互的發(fā)生并沒有活動要求，甚至目標(biāo)中并不強(qiáng)調(diào)，此時聯(lián)通度這一維度的價值并不大;而有的課程以師生和生生之間的教學(xué)交互為核心，在討論中演進(jìn)整個學(xué)習(xí)過程，并不涉及大量的形成性自主測試，此時的完成度維度則對該類課程價值不大。我們目前的設(shè)計(jì)的是一個較為普適的框架，更多針對的是以視頻瀏覽、在線測試、形成性作業(yè)、論壇交互、答疑反饋等為主要學(xué)習(xí)活動的教學(xué)模式，各維度的計(jì)算權(quán)重也是以此作為依據(jù)由專家模糊層次分析確定。為了考慮不同的評價目的，我們除了制定通用的 S-SERI 計(jì)算模
型外，也在工具的設(shè)計(jì)中提供了教師自定權(quán)重的相關(guān)調(diào)整機(jī)制，從而保證工具本身的通用性。需要著重強(qiáng)調(diào)的是，評價的目的決定了我們的模型設(shè)計(jì)，并對最后的應(yīng)用提供直接參考，這也是為什么本研究中將提出的模型命名為“參考”模型。
其次是特征數(shù)據(jù)的聚合問題。學(xué)習(xí)分析的數(shù)據(jù)源頭是平臺記錄的各類行為數(shù)據(jù)本身，基于原始行為數(shù)據(jù)的分析在綜合測評中直接應(yīng)用并無可能，需要將其按照實(shí)際應(yīng)用聚合成相應(yīng)的特征變量。但是特征變量的選擇是一個自上而下和自下而上的統(tǒng)一進(jìn)程。前者要求特征變量的選擇必須有維度的解讀意義，即能夠表征出該維度的某個方面;后者要求特征變量的選擇和行為數(shù)據(jù)能夠匹配，能夠用最底層的行為數(shù)據(jù)聚合而成，而非簡單的理論邏輯推演得出，兩者共同對特征工程提出了大量的研發(fā)和數(shù)據(jù)清洗要求。在本研究中，為解讀學(xué)生綜合評價參考模型，依據(jù)底層數(shù)據(jù)的可獲得性，共聚合形成了 32 個特征變量，其中一半左右的變量通過簡單的統(tǒng)計(jì)分析就能聚合而成，如周均學(xué)習(xí)時長等;另一半的特征變量需要通過基于行為數(shù)據(jù)的負(fù)責(zé)運(yùn)算而得，如基于社會網(wǎng)絡(luò)分析的社交中心度和基于數(shù)據(jù)包絡(luò)分析的學(xué)習(xí)效率等。特征工程是本次研究中承上啟下的關(guān)鍵環(huán)節(jié)，從本研究的情況來看，它是決定綜合測評能否實(shí)踐應(yīng)用的核心，是工具研發(fā)的數(shù)據(jù)科學(xué)基礎(chǔ)。
最后，本研究構(gòu)建的理論模型和工具，在實(shí)踐應(yīng)用中，曾經(jīng)在方法論層面有所猶豫。一般進(jìn)行此類的評價研究，希望能夠通過有驗(yàn)證的數(shù)據(jù)對照環(huán)節(jié)進(jìn)行比較從而論證評價模型的科學(xué)性。比如，基于學(xué)習(xí)行為數(shù)據(jù)構(gòu)
造綜合測評模型對學(xué)習(xí)者進(jìn)行測量形成相應(yīng)的數(shù)據(jù)集，在將該數(shù)據(jù)集和按照傳統(tǒng)評價方式(如考試)的成績進(jìn)行驗(yàn)證，通過兩套數(shù)據(jù)的相關(guān)性或擬合度來驗(yàn)證評估模型的成功與否。在本研究中，我們最終放棄了該研究范式，主要原因在于我們構(gòu)建的是綜合測評模型，而傳統(tǒng)的成績度量主要是考察認(rèn)知結(jié)果，在在線學(xué)習(xí)領(lǐng)域，并沒有特別合適的評價數(shù)據(jù)作為比較驗(yàn)證對象，二來本研究的出發(fā)點(diǎn)在于學(xué)生的學(xué)習(xí)狀態(tài)客觀真實(shí)地體現(xiàn)在了日常學(xué)習(xí)的點(diǎn)點(diǎn)滴滴行為中，這種基于行為的綜合測評能夠更加全面而客觀地體現(xiàn)學(xué)習(xí)者的綜合績效，而這也是未來評價的理念指向。因此，我們最終選擇了設(shè)計(jì)性研究的范式，通過多輪的迭代來驗(yàn)證模型的科學(xué)性和有效性，在每一輪的迭代中，我們將搜集教師和學(xué)生的反饋信息，從而對模型本身和工具應(yīng)用做出修正。
總之，學(xué)習(xí)分析技術(shù)為教育教學(xué)的改進(jìn)提供了新的思路和方法，研究者對此投入了極大的熱情。在線教育領(lǐng)域由于學(xué)習(xí)行為的記錄相對便捷和全面，因此成為此類研究的突破口。大量的學(xué)習(xí)分析應(yīng)用都需要以評價作為基準(zhǔn)展開，本研究以學(xué)生綜合測評作為對象，構(gòu)建了相應(yīng)評價參考模型，并進(jìn)行了實(shí)際應(yīng)用。研究成果并不完美，但我們認(rèn)為匯報我們的研究范式和研究思路，同樣具有重要的參考意義。我們將在已有研究的基礎(chǔ)上，不斷迭代完善學(xué)生綜合測評模型，并據(jù)此進(jìn)一步為教學(xué)和學(xué)習(xí)個性化干預(yù)提供指導(dǎo)意見，從而實(shí)現(xiàn)提升學(xué)習(xí)質(zhì)量的最終目的。
[參考文獻(xiàn)]
[1]鄭勤華.學(xué)習(xí)理論與遠(yuǎn)程教育成本-效益實(shí)現(xiàn)路徑研究[J].開放教育研究,2014,(10):29-37.
[2]Moore, M., Kearsley, G. Distance Education: A Systems View[M]. Belmont: Wadsworth Publishing Company,1996
[3]Morgan, C. and O’Reilly M.Assessing Open and Distance Learners [M]. London: Kogan Page, 1999.
[4]陳庚，謝浩，鄭勤華. 網(wǎng)絡(luò)教育教學(xué)管理[M]. 北京：中央廣播電視大學(xué)出版社, 2012.
[5]陶西平.教育評價辭典[M].北京:北京師范大學(xué)出版社,1998:55.
[6]王志軍,陳麗. 聯(lián)通主義學(xué)習(xí)理論及其最新進(jìn)展[J]. 開放教育研究,2014,(5):11-28.
[7]Siemens, G. Orientation: sensemaking and wayfinding in complex distributed online information environments[D].Aberdeen：The University of Aberdeen,2011.
[8]Experience API -ADL NET.[2016-07-21][EB/OL]
[Abstract]The technology of learning analytics provides a new idea to improve the learning quality. Based on the assessment, diagnosis, prediction and intervention four areas where learning analytics is applied in, the construction of assessment model is the most important foundation. This research aimed for systematical evaluation of students, constructed a
five-dimension theoretical evaluation model by theoretical deduction and expert interviews, which contains dimensions of engagement, completeness, regulation, connectivity and initiative. Also a correspondingcomputational model was developed through characteristic variableaggregation using the data of learning behavior. On the basis of the theoretical and computational model, an evaluation tool was designed and developed to examine the scientificalness and serviceability of the model in practical uses. The research provided some theoretical reference for the systematical evaluation to students, as well the idea and method reference for the practical application of learning analytics technologies.
[Keywords]Learning analytics technology; Student systematical evaluation reference indicator; S-SERI; Learning evaluation
相關(guān)熱詞搜索：學(xué)習(xí) 學(xué)習(xí)者 建模
熱點(diǎn)文章閱讀