卓越描繪：一種對卓越科學機構進行評價的方法_卓越教育機構

　　[摘要]為實現(xiàn)卓越科研機構、機構在各科研領域熱點研究的科學評價，歐洲科學與技術卓越描繪(Errropemapping of excellencein science and technology，簡稱ME)從科研角度，結(jié)合定性定量方法，實施有效的評價。研究ME的內(nèi)涵和基本思路、評價指標、評價數(shù)據(jù)和實施過程的特點、實施結(jié)果等相關問題，結(jié)合其評價體系和結(jié)果的反饋情況，提出對我國科學評價的啟示，為進一步設計科學評價模型提供理論參考。
　　[關鍵詞]卓越描繪科學評價文獻計量
　　[分類號]G311
　　
　　1　背景
　　
　　隨著科學評價對象的綜合化和復雜化，為確�？茖W評價的科學性和準確性，科學評價方法逐漸由單純使用定性或定量評價向定性定量結(jié)合發(fā)展，各種研究和應用不斷展開。
　　由于缺乏完備的評價體系，歐洲科研在2000年以前存在投資少、成果封閉等諸多問題。針對這些問題，歐洲委員會于2000年確立了科學與技術卓越描繪(mapping 0f excel，lence in science and technology，ME)項目。該項目結(jié)合同行評議和文獻計量、專利分析、聲譽評價等方法，從投入、科研成果、聲望、知識轉(zhuǎn)移等多個角度評價科研領域的卓越機構和各機構熱點研究，為制定科技政策、優(yōu)化科研資源配置、吸收科研投資等方面提供支持。
　　ME這套跨國家地域的科學評價體系指標豐富，方法靈活，可為擴展傳統(tǒng)的基于文獻的科學評價提供理論參考，也可為網(wǎng)絡科技信息評價提供借鑒，因此有必要深入研究ME評價指標和模式的特點。
　　
　　2　ME總體思路
　　
　　ME對卓越中心的定義是“A structure where research&technological development is performed 0f world standard，interms 0f measurable scientific production(including training)and／or technological innovation”。具體而言，卓越中心需要：有一定數(shù)量高水平的科學家和技術開發(fā)人員；有獨立完善的評價體系；有整合臨近領域和吸納相關技術的能力；編制內(nèi)科研人員流動性強；立足實現(xiàn)知識增值；具有較高的國際知名度；產(chǎn)學研緊密結(jié)合；有合理穩(wěn)定的科研基金支持和運作條件；有獨立于公共基金的科研經(jīng)費來源。
　　為從不同地域級別(世界、歐盟、國家等)評價各領域卓越中心，ME除采用調(diào)查問卷和統(tǒng)計相關科技文獻方法外，還突出專利、社會聲譽、瑪麗居里獎學金和機構數(shù)據(jù)(structuraldata)等產(chǎn)出在評價中的作用。針對不同領域，ME可靈活調(diào)整指標。下文將重點從評價指標、評價數(shù)據(jù)和評價實施三方面分析此“a modulated indicators-based approach”(基于調(diào)整指標的方法)的評價體系。
　　
　　3　ME的評價指標
　　
　　由于不同領域、國家、科研實體在科研體制等方面差異較大，ME綜合各類產(chǎn)出特點，基于投入產(chǎn)出，設計出適用于不同領域和國家的指標。
　　
　　3.1　充分考慮科研體制等因素，基于投入產(chǎn)出劃分指標來源
　　ME指標來源相當豐富，主要包括：①投入：包括研究人員、研究經(jīng)費、基礎設施等；②產(chǎn)出一：科研成果和社會聲望，包括期刊、會議、站點、獎學金、同行評議、國際科研項目等；③產(chǎn)出二：創(chuàng)新能力、技術轉(zhuǎn)移能力和社會經(jīng)濟效用，包括發(fā)明專利、與公司企業(yè)交換科研人員的數(shù)量、產(chǎn)學研合作數(shù)量等；④產(chǎn)出三：教育，包括PhD教育、學術項目是否有專門的經(jīng)費等；⑤產(chǎn)出四：支持社會發(fā)展，包括產(chǎn)業(yè)服務能力和標準成果等。
　　
　　
　　3.2　以文獻計量為核心，針對領域靈活調(diào)整評價指標，形成三類評價指標組合
　　實際評價中，ME根據(jù)產(chǎn)出、研究對象、研究方法等將整個科學領域分為基礎研究、應用研究和社會科學三個領域，針對領域特點構建了不同的指標組合：①針對基礎研究領域，選用文獻計量和同行評議。這里文獻計量指標包括發(fā)表論文數(shù)P、每篇論文的被引數(shù)與領域內(nèi)論文平均引用數(shù)的比值CPP／FCSm等11類指標。②針對應用研究領域，選用文獻計量、專利分析和同行評議。專利分析通過考察專利申請數(shù)、平均專利與出版物的比例等指標，從應用研究維度發(fā)現(xiàn)被文獻計量方法忽略的科研實體，減小專利和科技文獻絕對數(shù)量對評價結(jié)果產(chǎn)生的負面影響。③針對社會科學領域，選用文獻計量和聲譽評價。ME聲譽評價充分量化各評價指標，從社會聲譽、瑪麗居里獎學金、參與歐洲框架項目的情況、機構結(jié)構數(shù)據(jù)(如研究經(jīng)費、人員)等方面人手，提高社會科學評價的客觀性。
　　
　　4　ME的評價數(shù)據(jù)
　　
　　針對完備靈活的指標，ME設計相應數(shù)據(jù)收集方法，并構建評價數(shù)據(jù)庫，降低評價成本：①文獻計量方面，ME主要利用SCI和SSCI獲取相應數(shù)據(jù)。為保障數(shù)據(jù)質(zhì)量，降低連續(xù)評價成本，ME利用Web of Science等不斷豐富自己的文獻計量數(shù)據(jù)庫――CWTS-WoS。該庫覆蓋了各領域的國際頂級期刊和會議文獻。②專利分析方面，ME主要借助國際專利分類、國際專利索引、歐盟自身的專利庫和SCI，獲得分析所需的專利發(fā)明者、申請者等相關信息。③聲譽評價主要包括社會聲譽、瑪麗居里獎學金等。針對社會聲譽，ME主要向領域內(nèi)重要研究者發(fā)放問卷，調(diào)查他們認為在本國、歐洲、世界處于前十位的卓越研究者�，旣惥永铼剬W金數(shù)據(jù)主要由歐洲委員會提供，機構結(jié)構數(shù)據(jù)則由各成員國提供或從各機構網(wǎng)站獲取。
　　
　　5　ME評價過程
　　
　　評價中，ME可針對不同領域和科研實體，調(diào)整評價指標和方法。其實施過程主要包括構建領域?qū)＜医M、出版物分析、聲譽評價、交叉檢查評價結(jié)果以及評估小組評估等。
　　
　　5.1　重視組建專家組，及時反饋各國科研發(fā)展信息
　　ME實施之初，由歐盟各國代表組成的高級工作組(High-Level Group，HLG)負責組建獨立領域?qū)＜医M。評價過程中，專家組根據(jù)其領域知識提供檢索意見，并提供各國研究機構的變動情況和發(fā)展狀況。此外，要求他們在不了解文獻計量結(jié)果的情況下，提供各自認為的國內(nèi)外相關學術或產(chǎn)業(yè)領域的10個卓越小組，并結(jié)合文獻計量結(jié)果開展評估工作，完善評價結(jié)果。
　　
　　5.2合理劃分子領域，根據(jù)不同科研實體規(guī)模設置不同閡值
　　劃分科研子領域時，ME以權威期刊目錄(如IsI目錄等)等為起點，結(jié)合專家組意見，選擇適當科學文獻，抽取出有科學描繪意義的關鍵詞，并針對不同領域?qū)嵤┎煌瑢蛹壍木垲�，利用類中最頻繁的四個關鍵詞標識研究分支。
　　基于確定的子領域進行文獻計量時，考慮到機構的規(guī)模，ME提供兩類閾值，分別采用不同的文獻庫分析。根據(jù)子領域和其對應的出版物信息，ME可生成高度結(jié)構化的領域知識圖，增強文獻計量結(jié)構的可視化程度，描述子領域之間 的親疏關系以及各自的活躍程度等。聚類產(chǎn)生的研究分支還可進行出版物共現(xiàn)處理，獲得領域的層級式主題結(jié)構。
　　
　　5.3　重點關注專利發(fā)明指標，利用SCI獲取發(fā)明者機構相關信息
　　ME專利分析著重專利發(fā)明和申請數(shù)據(jù)，尤其是專利發(fā)明，借此考察科研實體的應用研發(fā)能力及學術界與產(chǎn)業(yè)界的聯(lián)系程度。在專利分析過程中，區(qū)分專利發(fā)明和申請可更實際地反映非盈利研究機構在專利發(fā)明方面的產(chǎn)出，描繪其在技術轉(zhuǎn)移、社會效用方面的卓越貢獻，從而吸引更多產(chǎn)業(yè)投資。
　　
　　5.4充分量化聲譽評價指標，考慮相應指標的動態(tài)變化
　　實際評價中一些指標有易變性。分析數(shù)據(jù)時，ME會采用相應方法盡量減少其影響。
　　?利用卓越研究人員的社會聲譽判定機構社會聲譽。根據(jù)問卷回收數(shù)據(jù)，ME建立兩個數(shù)據(jù)庫：一個存放受調(diào)查者推薦的所有卓越科研者信息；另一個存放國際卓越研究者信息。比對這兩個數(shù)據(jù)庫，可在一定程度上減少推薦過程中受調(diào)查者偏見帶來的影響。
　　?重視從相關項目、科研獎勵中發(fā)掘評價指標，實現(xiàn)科學評價和項目的互動。受歐洲框架計劃(Framework Pro―gramme)的啟示，ME使用了瑪麗居里獎學金和參加框架項目情況這兩個指標�，旣惥永铼剬W金主要面向年輕科研人員，通過該指標可了解機構對年輕科研人員的吸引力，分析科研人員流動的原因。分析參加歐洲框架計劃的情況，可考察機構對外合作意愿和研究能力，從而判斷機構的卓越程度。
　　?關注人力資源、科研經(jīng)費等易變性定量指標，并隨著科學發(fā)展開展動態(tài)評價。ME中機構數(shù)據(jù)是很重要的一個指標，它包括人力資源、科研經(jīng)費等，可利用已有的科學評價數(shù)據(jù)構建有評價意義的機構數(shù)據(jù)庫。分析指標時，需充分考慮科研人員的流動性等因素，將科學評價納入科學發(fā)展過程中。
　　
　　5.5　公開透明評價過程和方法，充分調(diào)動科研活動的利益相關者
　　ME通過公開評價過程和方法，征集調(diào)整方案等措施調(diào)動科技界同行、產(chǎn)業(yè)個體及社會科學領域科學家參與其中。HLG根據(jù)階段結(jié)果，及時開展專家問卷調(diào)查，調(diào)整評價指標或分析方法。評價結(jié)束后，由科技界同行、產(chǎn)業(yè)個體組成評估小組，結(jié)合評測實施者的建議以及評估小組和HLG的決定，最終確定公開發(fā)布的卓越中心名單和各中心在特定領域的學科知識圖。
　　
　　6　ME實施情況
　　
　　2002年完成的ME實現(xiàn)了對各領域卓越中心的描繪。以生命科學領域免疫學為例，通過ME，用戶可獲得卓越中心的基本信息，瀏覽科研領域知識圖，查看相應機構在免疫學各研究分支的具體研究情況，獲得領域重點主題、交叉學科發(fā)展趨勢。表1與圖1分別顯示了丹麥按CPP排名的免疫學領域卓越研究中心以及丹麥癌癥研究中心在免疫學領域的部分知識圖譜。圖中圓圈大小表示主題當前受關注的程度，圓圈距離則反映主題之間關系的親疏程度。
　　此外，ME對許多國家、學科領域的評價活動起到了促進作用，而針對這套評價體系本身的研究也方興未艾。近年來相關科技文獻層出不窮，如Michel Zitt等以納米科技為例，探索了綜合利用詞典和文獻引用情況描繪復雜科學領域的方法。
　　
　　7　ME的不足和對我國的啟示
　　
　　評價中，ME充分考慮科研院所、高校、產(chǎn)業(yè)部門等研究實體，針對不同領域、國家和科研實體擴展評價指標，設計靈活的評價模型。借鑒ME豐富的評價指標和靈活的評價方法，并充分認識它的不足之處，可為我國設計有效的科技評價模型提供參考。
　　
　　7.1　ME存在的不足
　　盡管ME將各類定性和定量指標有效結(jié)合起來，但其評價指標、數(shù)據(jù)來源和技術實施路線等方面還存在著以下問題：①ME評價指標多樣，實施過程復雜，不僅需要龐大的評價數(shù)據(jù)庫，還需要足夠的專家支持，高成本的投入是ME的缺陷之一；②多維度量化評價指標加大了數(shù)據(jù)獲取、分析的難度；③在評價過程中，專家的全程監(jiān)控雖為評價結(jié)果的質(zhì)量提供了保證，但評價效率相對低下。如何協(xié)調(diào)效率和評價質(zhì)量之間的矛盾值得思考。
　　
　　7.2　ME對我國科學評價的啟示
　　雖然ME尚存在一些問題，但其完整的評價指標體系和實施過程給我們以下啟示：
　　?明確開展科學評價的目的，將其作為吸引投資、促進競爭、促進人才流動的一種手段，融入科研發(fā)展的過程中，動態(tài)監(jiān)測科研進展和科研分布；同時將科學評價作為促進科研成果社會效益的一種手段，促進產(chǎn)學研的結(jié)合，推動科學和社會的有效結(jié)合。
　　?充分考慮不同領域的各類科研產(chǎn)出。除傳統(tǒng)的科技文獻外，還可以利用社會聲譽、創(chuàng)新能力、技術轉(zhuǎn)移和社會經(jīng)濟效用、教育等各種科研產(chǎn)出，設計合理的評價指標體系，靈活客觀地評價各學科領域和科研實體，確保科學評價指標能夠應用于不同地域級別的評價中，保證指標的彈性。
　　?多方搜集評價數(shù)據(jù)，構建評價數(shù)據(jù)庫。評價數(shù)據(jù)庫可為各類評價指標提供數(shù)據(jù)保障，降低連續(xù)評價成本，提高評價質(zhì)量。同時，利用不同來源數(shù)據(jù)為數(shù)據(jù)清洗提供有力支撐。
　　?重視聲譽評價，將多維量化評價指標作為傳統(tǒng)同行評議的有益補充，從而更客觀地評價社會科學。在獲取社會聲譽、機構結(jié)構數(shù)據(jù)等指標數(shù)據(jù)時，要重視網(wǎng)絡數(shù)據(jù)的收集，關注重要的科技媒體、機構網(wǎng)站、基金網(wǎng)站等，從中獲取有用的科學評價數(shù)據(jù)。
　　?關注評價過程，公開評價指標和評價階段結(jié)果，廣泛征求各領域?qū)＜一蛏鐣�科研人員的建議，及時調(diào)整評價指標和方法，提高評價的真實性和實時有效性。
　　?重視領域?qū)＜业淖饔�，借助他們調(diào)整評價體系，提高評價質(zhì)量。建立專家數(shù)據(jù)庫，便于隨時組織專家組參與到科學評價的各個階段。
　　?密切聯(lián)系重要科研項目、科研獎勵和科研經(jīng)費等科研要素，從中挖掘出定量評價指標，推動評價與科研項目、科研獎勵和科研經(jīng)費等的互動。
　　目前我國的科學評價中仍然存在著較多的問題，這包括評價指標不完備、評價過程不透明等。通過對ME完整的指標體系和評價過程的深入研究，可以從構建指標、方法實施等方面，結(jié)合我國科研活動特色，有效開展卓越中心評價工作，準確定位我國各科研領域的卓越科研機構和機構的熱點研究，為制定科研政策、促進科研生產(chǎn)提供支持。

相關熱詞搜索：描繪 評價 機構 卓越描繪：一種對卓越科學機構進行評價的方法 卓越績效評價的方法和步驟 卓越績效的理念和方法