[撥開引文分析迷霧,破解科研評價困惑] 撥開層層的迷霧

　　[摘要]簡要介紹荷蘭著名科學計量學家亨克?莫德的專著《科研評價中的引文分析》。該書主要分為8個主要單元，探討基礎科學研究部門和科技期刊評價，ISI引文索引，社會科學與人文科學評價，準確性，引文分析與同行評議等問題。書中的結論為我們有效利用引文分析方法提供理論指導和實踐借鑒。
　　[關鍵詞]書評　引文分析　科研評價　亨克?莫德
　　[分類號]G31
　　
　　科研評價是科學技術活動的重要環(huán)節(jié)之一，也是推進科學技術事業(yè)發(fā)展的必要保證。如何科學、合理、公正地對不同類型的評價對象實施鑒別、判斷、排序，是一個長期困擾科學學理論與科技管理實踐的難題。引文分析作為近年來蓬勃發(fā)展的科學計量學方法之一，逐漸進入到科研評價的視閾中。SCI、引文量、期刊影響因子等術語成為學術界耳熟能詳?shù)摹坝餐ㄘ洝薄５�由此衍生的困惑乃至置疑之聲也越發(fā)使引文分析方法處于風口浪尖之中。著名科學計量學家，1999年度科學計量學最高獎――普賴斯獎獲得者，原荷蘭萊頓大學EWTS教授，現(xiàn)受聘于愛思唯爾(Elsevier)出版集團高級學術顧問的亨克?莫德(Henk F.Moed)撰寫的Citation Analysis in Research Evaluation《科研評價中的引文分析》一書，2005年由出版界巨頭施普林格(springer)公司出版，2010年由中國科學技術信息研究所引入版權，并由科學技術文獻出版社翻譯出版。該書對于國內學術界全面了解引文分析的本質、引文指標的構建，以及引文分析在科研評價中的優(yōu)缺點展開了系統(tǒng)深入的闡述，對于厘清當前我國學術界和科技管理實踐中的某些誤區(qū)，指導科學理性使用引文分析方法，具有重要的參考價值。
　　全書共分2大部分27章。第一部分介紹了全書的基本觀點和一般結論，第二部分是關于引文分析的基本觀點和結論的一些理論分析、案例舉要和實證研究。全書的研究對象具有覆蓋面廣的特點，既關注自然科學領域的評價問題，還討論人文科學和社會科學的引文特征；既涉及了單篇論文、期刊的評價，又探索了學科、團隊等中觀評價，還剖析了國家層面的科研產出及其科研合作等宏觀問題。此外，秉持確定性和商討性的態(tài)度也是本書作者的主要研究和寫作風格。
　　作者指出，引文應用于科研評價的前提是，必須做到正式、公開、學術性。正式就是在進行引文分析之前，使被評價者和決策者明確引文分析所運用的各種指標的內涵；公開是指評價者使用的各類數(shù)據(jù)務必準確，并接收被評價者的核檢；學術性是指任何評價必須要有明確的理論假設、研究路線以及對結果意義和局限性的討論。學術質量是科研評價的中心話題之一。作者認為，“引文主義”所確立的研究質量和同行專家們所認定的學術質量都具有片面性。在引文分析與科技政策領域的關系上，引文分析畢竟屬于純學術領域，需要在理論框架下尋求適合的研究方法，而政策領域更關注的是可行性和政策相關性。作者認為，評價性的引文分析利用方式最好排除在政策領域之外。因為數(shù)據(jù)采集過程很容易出現(xiàn)錯誤，簡單的統(tǒng)計指標容易受到較強偏態(tài)分布數(shù)據(jù)的影響。對于廣為使用的期刊影響因子，作者認為，不存在一個衡量期刊績效的完美的單一指標。某個特殊指標的有效性隨使用的場合不同而變化。學科差異、引用時間窗口、期刊類型、標準化處理等都是利用影響因子必須考慮的因素。他強調，盡管影響因子存在某些局限性，但仍不失為一個較為可靠的指標。ISI收錄文獻的充分性越來越引起人們的關注。對來源期刊的統(tǒng)計發(fā)現(xiàn)，分子生物學、與人類相關的生物科學、化學等學科收錄的期刊十分全面，數(shù)學、地球科學、工程學等相對全面，而人文與藝術、社會科學的期刊覆蓋面較欠缺。對于前者，使用引文分析方法通常是恰當?shù)�，對于次者，作者建議應將非ISI來源期刊的引文補充進來，對于后者，應擴展引用文獻范圍，增加書籍和國際會議論文集的引文。尤其對于被分割為不同學派思想的學科領域，或者受民族和語言所阻礙的領域，不以引文分析數(shù)據(jù)為分析和評價依據(jù)可能效果更好。因此，在人文社會科學領域的績效評價中，尤其是在定性研究主導的子學科中，尤其應慎用ISI引文索引。關于引文數(shù)據(jù)的準確性問題，如作者姓名、機構名稱和子領域劃分的模糊性，都會影響到結論的可靠性，作者認為，有必要運用更高級的引文數(shù)據(jù)處理。
　　以往在科研評價中我們有一個預設，即引文數(shù)量等同于質量。但果真如此嗎?莫德大膽提出了這樣一個問題：引文數(shù)量究竟測度了什么?這是一個與“科研績效”、“學術質量”、“影響力”相關聯(lián)的重要理論問題。作者在全面梳理了加菲爾德(Garfield)、斯莫爾(small)、朱克曼(Zuckerman)等人的觀點基礎上，認為盡管對引文的測度功能有不同的理解，但并不等于說引文分析就是缺乏理論基礎的。當然，“引文主義者”的觀點對探尋引文分析的學術理論基礎將產生負面影響，這一點是毫無疑問的。在科研評價中運用引文分析，其目的不是要捕捉個人動機，而是要研究個體引用者共同表達其對學術活動結構和績效的社會觀點。當引文分析用于微觀和中觀層面評價時，可能會歪曲真實結果。即使擴大樣本也不一定排除所有偏差。原則上，用學術影響來解釋引用情況是行得通的，但是引用影響和學術影響的概念有時并不一致。筆者同意作者的謹慎態(tài)度，認為科研績效是與投入產出密切相關的概念，學術質量反映學術研究成果內在的創(chuàng)新性，而影響力則反應了學術成果的傳播和使用程度。引文數(shù)量對上述三個概念均有一定的測度功能，但更傾向于影響力測度。
　　盡管同行評議作為傳統(tǒng)的被認為是有效的一種評價方法而廣為使用，但是仍然受到學術權威、政治壓力、思維模式的影響，使同行間達成一致意見的程度偏低。作者通過大量案例研究指出，文獻計量指標應該被用作監(jiān)測和研究同行評議過程的工具，并且在大多場合，同行評議和引文分析結果具有較強的統(tǒng)計相關性。筆者認為，在同行專家道德水準值得信賴的前提下，發(fā)揮專家主導作用并將引文分析作為輔助工具是值得嘗試的。而在學術規(guī)范尚未成熟之前，將文獻計量指標引入評價過程，發(fā)揮“鏡子”的映射職能非常必要。
　　此外，在引文分析的宏觀研究方面，作者也得出了一些相當有趣的結論。自20世紀八、九十年代以來，全球科技論文數(shù)量由于科學合作(共同署名)逐漸上升。這可能是受到科研評價中的“毛”論文發(fā)表數(shù)指標激勵使然，當然在醫(yī)學和生物學領域也可能由于受到強調在高影響因子頂級期刊發(fā)文導向發(fā)文數(shù)有所下降。通過國際科學合作，使得合作國都提高了本國的引用影響。但在雙邊國際合作中，強國與弱國合作從短期看可能會削弱強國的被引率。關于國家自引，作者研究發(fā)現(xiàn)，幾乎所有國家都過度引用本國論文，因此，所謂美國學者更傾向于引用本國論文的結論缺乏實證依據(jù)。至于其他國家更多引用美國論文，可能是一種引用偏見的影響，但不必強制取締。筆者認為，在 我國，通過與強國科研合作，可以提升我國的科研國際影響力，亦可以形成創(chuàng)新力強的科研團隊。但是在科研評價的成果數(shù)量導向下，可能會催生大量“偽合作”，這必然會曲解科研合作的初衷。
　　再者，作者對發(fā)展新的引文指標提出一些設想。如探索處理合作問題、測度知識庫的廣度、一致性及深度指標，有意與新生科學家鍛煉成長的指標，“定性的”引文分析指標等。此外，新的電子出版形式、數(shù)據(jù)庫和搜索引擎，在引文分析中作為來源文獻的作用將越來越重要。盡管如此，仍應注意，來源文獻的多樣化并不支持學者對知識進步所做的貢獻越大這一結論。
　　最后，本書再次強調，政策制定者和公眾對學術質量信息的需求是合理的，但敘述學術質量不像其他社會領域的績效那樣可以直接測度，單靠文獻和引文排名，并不足以反映各評價對象間的關系，以及這些關系是如何影響個體對象的績效。
　　總結本書得出的基本觀點主要有：學術研究質量有一定的客觀性，但是引文測度的并不完全是實際的質量；引文評價和科技政策的價值取向不同；引文分析應用于科研評價時，數(shù)據(jù)的透明性和文獻計量學者的中立性是必要的；引文分析方法更適合宏觀層次評價，與同行評議方法各有利弊。
　　總之，這部著作為我們提供了使用引文分析方法應用于科研評價的富有啟發(fā)性的思路。對于解決我國科研評價中引文分析方法使用的越位和缺位問題，將給予極為有益的指導。
　　通過本書對引文分析與科研評價諸多復雜關系的系統(tǒng)闡述，筆者認為，引文分析在科研評價理論研究與實踐應用巾的作用是毋庸置疑的。盡管已有的引文分析手段仍存在某些缺陷，但是它畢竟拓展了科研評價的視野，一定程度上克服了同行評議方法固有的封閉性和主觀性帶來的評價偏差，使科研評價建立在客觀、公開、定量、可操作的基礎上。任何一個沒有偏見的學者必須承認，SCI對我國科技創(chuàng)新和科技事業(yè)發(fā)展的巨大推動作用。SCI本身沒有錯，關鍵是如何理解SCI及其引文分析的內涵和功能，并智慧地而不是絕對使用這些工具和方法。尤其在我國人文社會科學評價領域，反對SSCI、A&HCl的不在少數(shù)。與中國經(jīng)濟社會快速發(fā)展相適應，中國人文社會科學學者理應承載向國際學術界展示我國經(jīng)濟、社會、歷史文化成果和爭取對國際問題研究的話語權的責任和使命。在特定階段，從科研管理角度適當給予激勵，至少是不壞的選擇。
　　引文分析仍有大量的理論和實證問題需要探索。從國際科學計量學界近年的研究現(xiàn)狀以及本書觀點看，引文分析要想在科研評價中有更大的作為，未來的工作主要體現(xiàn)在如下幾方面：第一，進一步拓展引文數(shù)據(jù)庫源，如Google scholar、Scopus、ScienceDirect、開放獲(存)取等數(shù)據(jù)庫，并檢驗同一指標在不同引文庫的表現(xiàn)。對中文人文社會科學文獻，建議盡快建立中國學術著作數(shù)據(jù)庫。畢竟書籍是人文社會科學成果的重要載體之一，目前書籍中的引文數(shù)據(jù)尚不能準確獲得。這對于全面反映評價對象科研績效是個缺憾。第二，進一步開發(fā)和設計新的評價指標，如類H指數(shù)、特征影響因子等，并檢驗新指標與經(jīng)典引文指標的一致性和差異性。第三，進一步探討引文分析等科學計量方法與同行評議在科研評價中結合的機理，并提供可操作性的現(xiàn)實路徑。第四，科學計量學者有必要向政策制定者、科研管理者、學科研究者乃至公眾普及基本的引文分析理論和方法。當前實踐中出現(xiàn)的評價爭議和評價失誤與使用引文數(shù)據(jù)的簡單化、絕對化、過度化無不關系。歐洲科學計量學夏季學院即是一個很好的范例。
　　
　　參考文獻：
　　[1]莫德．科研評價中的引文分析．賀佟豐，等譯．北京：科學技術文 獻出版社,2010

相關熱詞搜索：引文 撥開 迷霧 撥開引文分析迷霧 破解科研評價困惑 撥開引文分析迷霧 撥開煙霧病的迷霧