信息資源管理_信息資源共享系統(tǒng)績效評估指標體系的構(gòu)建

　　[摘要]在分析現(xiàn)有的信息資源共享系統(tǒng)績效評估指標體系研究的基礎(chǔ)上，探討信息資源共享系統(tǒng)績效評估的要素、評估指標選取的原則，設(shè)計評估指標體系并明確其指標內(nèi)涵。最后通過對NSTL的實證分析，對評估指標體系的科學(xué)性和可行性進行驗證。
　　[關(guān)鍵詞]信息資源共享系統(tǒng)　績效評估　指標體系
　　[分類號]G203
　　
　　1　引言
　　
　　信息資源共享系統(tǒng)績效評估即依照一定標準對信息資源共享系統(tǒng)在一段時期的成績和效益進行科學(xué)地分析和評價，其核心問題是評估指標體系的構(gòu)建。
　　國外學(xué)者很早就開始研究信息資源共享績效評估指標體系問題。1982年美國學(xué)者William B.Rouse定義了圖書館資源共享網(wǎng)絡(luò)的性能指標，提出了可靠性、彈性、可獲得性、可用性、可接受性、效率、效力及質(zhì)量控制8個評價指標。近年來，有的國外學(xué)者進行了網(wǎng)絡(luò)服務(wù)績效評估研究，確定績效評估指標包括用戶、成本、網(wǎng)絡(luò)流量、使用、服務(wù)和支持6個方面；國外一些專業(yè)機構(gòu)，如ARL(Association of Research Libraries)統(tǒng)計和評價委員會，對圖書館的電子資源、服務(wù)質(zhì)量和網(wǎng)絡(luò)對服務(wù)的影響等進行專門的評價，制定了一系列相關(guān)的評價指標體系，有效地推動了對信息資源共享系統(tǒng)運行、信息資源保障能力、信息資源利用情況以及用戶滿意度等要素的績效評估。在我國，有學(xué)者對信息資源共享過程中的效率和效益進行分析，提出以資源本身結(jié)構(gòu)、信息資源傳輸和用戶可視化為要素的信息資源共享效度評價模式；有的把信息資源共享率、信息輸出、輸入率和信息資源貢獻率作為評價和改進資源共享工作的主要評價指標；有的從地區(qū)需求滿足狀況、技術(shù)條件和標準化評估、管理運行評估、政策法規(guī)建設(shè)評估4個方面構(gòu)建了以地區(qū)需求為導(dǎo)向的信息資源共享系統(tǒng)評估指標體系。這些研究，從不同角度對信息資源共享的績效評估進行了有益的探索。但從整體上看，研究文獻數(shù)量還不多，且主要側(cè)重于對共享系統(tǒng)某一方面進行評估，整體性、綜合性比較薄弱。本文試圖從多層次對我國信息資源共享系統(tǒng)的績效評估問題進行綜合研究，并嘗試構(gòu)建一個既符合數(shù)字環(huán)境下信息資源共享規(guī)律、又切實可行的績效評估體系。
　　
　　2　信息資源共享系統(tǒng)績效評估的要素
　　
　　目前國內(nèi)外建立起來的信息資源共享系統(tǒng)盡管有不同的運行模式，但其評估都會涉及到如下要素：
　　
　　2.1資源因素
　　資源因素涉及：①數(shù)量因素，主要是指資源的規(guī)模效應(yīng)。衡量資源的數(shù)量，除了絕對數(shù)量之外，還有類型、品種、學(xué)科、語種等結(jié)構(gòu)數(shù)量布局。資源數(shù)量越豐富，越能促進用戶對資源的利用。②質(zhì)量因素，包括所收錄資源的學(xué)術(shù)性、權(quán)威價值；對資源內(nèi)容的揭示深度和組織程度；資源內(nèi)容的時效性和資源更新周期等。從資源利用的角度分析，資源質(zhì)量涉及到資源的可知曉性、可獲取性、獲取便利性3個方面，其中有關(guān)資源本身的因素包括資源的結(jié)構(gòu)分布、資源的組織和揭示、資源的存儲格式等。
　　
　　2.2服務(wù)因素
　　服務(wù)是連接資源和用戶的紐帶，也是制約績效的重要因素，它包括：①量的因素，主要體現(xiàn)在服務(wù)覆蓋的范圍、服務(wù)的數(shù)量、服務(wù)響應(yīng)時間等方面。一般來說，服務(wù)覆蓋范圍廣，服務(wù)量大，服務(wù)響應(yīng)時間快，則績效越好。②質(zhì)的因素，主要體現(xiàn)在服務(wù)的內(nèi)容和形式、網(wǎng)絡(luò)服務(wù)系統(tǒng)的質(zhì)量、服務(wù)滿意度等方面。對服務(wù)的內(nèi)容和形式而言，各種不同服務(wù)形式投入不盡相同，帶來的績效也有所不同。服務(wù)滿意度作為服務(wù)效果的直接反饋無疑是衡量共享系統(tǒng)績效的重要因子，在整個共享系統(tǒng)中都有著較高的關(guān)注度。
　　
　　2.3人力因素
　　人力因素主要是指服務(wù)人員和用戶人員兩者的專業(yè)能力和信息素質(zhì)。①共享系統(tǒng)的服務(wù)人員，他們對共享系統(tǒng)資源的了解程度和信息服務(wù)能力直接影響著共享系統(tǒng)能否發(fā)揮和在多大程度上發(fā)揮其應(yīng)有的效用，他們對本專業(yè)領(lǐng)域的知識水平?jīng)Q定其在提供服務(wù)的過程中能否向用戶提供最準確的信息。②共享系統(tǒng)所服務(wù)的對象即最終用戶，他們的信息檢索和利用能力以及閱讀外文資料的水平和利用計算機的能力等都影響著對共享系統(tǒng)的利用程度。
　　
　　2.4成本因素
　　信息資源共享系統(tǒng)運行中的成本主要分為資源采集成本、系統(tǒng)運行成本、人力成本和用戶等待時間成本。由于信息資源共享系統(tǒng)的構(gòu)建和運作目標主要是避免和節(jié)省資源建設(shè)的重復(fù)投入，使資源配置達到最優(yōu)化，因此，在對信息資源共享系統(tǒng)進行績效評估時，不僅要考慮成本投入，更重要的是評估其成本節(jié)省程度。
　　由于信息資源共享系統(tǒng)通常是由多個圖書情報機構(gòu)，為達到資源互補和共享的目的而形成的責(zé)任共擔的合作活動和項目，因此，不僅要對系統(tǒng)自身進行效益評價，還應(yīng)對利用系統(tǒng)資源提供增值服務(wù)的機構(gòu)或個人所提供的服務(wù)及其效益進行評價，包括成員單位直接利用系統(tǒng)資源提供服務(wù)產(chǎn)生的效益；成員單位和其他機構(gòu)由于系統(tǒng)的資源或服務(wù)的支持，維持同等保障水平時減少投入帶來的效益；成員單位和其他機構(gòu)利用系統(tǒng)的資源、服務(wù)、技術(shù)所開發(fā)衍生的資源或延伸服務(wù)所產(chǎn)生的新的效益等。
　　
　　3　信息資源共享系統(tǒng)績效評估指標選擇的原則
　　
　　3.1可操作性原則
　　在選擇評估指標時，一方面應(yīng)注意指標的實用性、操作方式的簡潔性和工作速度的高效性，另一方面要確保與指標對應(yīng)的數(shù)據(jù)易于收集，其準確性、可靠性易于保證，避免過于復(fù)雜的計算。
　　
　　3.2定性與定量指標相結(jié)合原則
　　在進行指標設(shè)定時，選擇適當?shù)亩�量評價指標，可以保證評價結(jié)果的科學(xué)準確。當然，針對不可量化和難以量化的因素進行評價，也需要設(shè)定部分定性指標。在進行定性指標評價時，可以選擇適當?shù)脑u價方法將反映基本特點的定性指標定量化、規(guī)范化�？紤]到信息資源共享系統(tǒng)績效形式的多樣性，在設(shè)計指標體系時，應(yīng)采用定性與定量相結(jié)合的評估方法。
　　
　　3.3統(tǒng)籌兼顧原則
　　原則上應(yīng)將與共享系統(tǒng)自身、成員單位、用戶等相關(guān)的指標都納入進來，以保證評估的全面性和可信度。但是，也要避免指標體系過于龐雜，并統(tǒng)籌整體與個體、定性與定量的關(guān)系，最終統(tǒng)一到追求共享系統(tǒng)運作效率最優(yōu)化上。
　　
　　3.4開放性原則
　　隨著國家信息化建設(shè)的迅速發(fā)展，對信息需求的不斷變化，加之信息載體的轉(zhuǎn)變、科學(xué)技術(shù)的發(fā)展等，信息資源共享系統(tǒng)的功能定位、發(fā)展目標都將產(chǎn)生一定的變化，因而共享系統(tǒng)的績效評估指標也會隨之不斷發(fā)展。同時，不同的共享系統(tǒng)其運作方式和目標也不盡相同，因此評估指標體系的確定應(yīng)考慮到指標選擇的可變通性和靈活性。
　　
　　4　各項評估指標及其內(nèi)涵
　　
　　遵循評估指標選擇的原則，選取有意義的績效評估要素，分層解析，即可構(gòu)建出一個層次清晰的三級評估指標體系，如表1所示：
　　第一層由資源建設(shè)和資源利用效率、直接服務(wù)效益和延伸服務(wù)效益、減負效益和社會效益6個～級指標組成。第二層由18個二級指標組成。第三層由40 個三級指標組成。
　　
　　4．1 A1資源建設(shè)
　　4．1．1 BI資源保障率
　　即從數(shù)量角度分析共享系統(tǒng)的資源對用戶信息需求的滿足能力�？捎脙蓚�指標來評價：①C1資源覆蓋率，即共享系統(tǒng)所收錄的文獻資源數(shù)量占該領(lǐng)域文獻總數(shù)的比例；②C2全文保障率，即共享系統(tǒng)所收錄的全文文獻占所有資源數(shù)量的比例。一般而言，用戶對資源的利用多傾向于全文文獻，資源總量中全文文獻比例越高，越能滿足用戶的資源利用需求。
　　4．1．2 B2資源結(jié)構(gòu)和布局具體可以從C3學(xué)科分布、C4類型分布、C5語種分布、C6年代分布等方面來評價，分別指共享系統(tǒng)收錄的資源覆蓋的學(xué)科范圍、資源類型范圍、語種范圍和年代范圍。對學(xué)科分布進行評估，通常以現(xiàn)有的學(xué)科劃分為標準，也可以共享系統(tǒng)本身所規(guī)定的資源建設(shè)政策為標準；資源類型如學(xué)術(shù)期刊、會議論文、學(xué)位論文、專利技術(shù)、科技成果等；語種和年代也是反映資源結(jié)構(gòu)和布局的指標。
　　4．1．3 B3資源質(zhì)量　即從資源內(nèi)容的權(quán)威性、學(xué)術(shù)性等角度來反映資源的建設(shè)情況�？捎�3個指標來評價：①C7資料來源，指所收錄資源是否出自知名出版機構(gòu)或權(quán)威網(wǎng)站，或者資源的提供者是否是國際或國內(nèi)知名機構(gòu)；②C8學(xué)術(shù)性，指從所收錄資源的影響因子或者被引用和轉(zhuǎn)載的情況等角度來判斷資源的質(zhì)量；③C9同行評議，指某種資源被相關(guān)專業(yè)領(lǐng)域?qū)＜业脑u價情況，通常而言，同行專家評議較高的信息資源具有較高的權(quán)威性和質(zhì)量。
　　4．1．4 B4資源組織、檢索和存取對資源進行多種形式的分類和揭示，便于用戶查找和檢索，是資源有效利用的保證，也是反映資源建設(shè)質(zhì)量的重要指標。它包括4個指標：①C10分類與揭示。對資源進行多層次分類，對其內(nèi)容進行標準規(guī)范的揭示，有利于用戶分類瀏覽和查找所需的資源。②C11檢索功能。向用戶提供檢索平臺，運用多途徑和多形式的檢索方法，滿足不同用戶的資源檢索需求。對這一指標進行評價，主要考察其檢索平臺的友好性、易用性、智能性等方面。③C12檢索效果。它反映了檢索系統(tǒng)的能力，主要從查全率和查準率這兩個數(shù)據(jù)來評價檢索效果。通常查全率與查準率是不可能達到100％的，兩者存在著一種互逆關(guān)系。一般來說，對檢索效果采用定性評價，這兩個數(shù)據(jù)在用戶可接受范圍內(nèi)就可以認為檢索效果不錯。④C13易存取性。反映數(shù)據(jù)資源系統(tǒng)輸出的方便性，即提供文獻資源的格式，如純文本或超文本格式、PDF格式或使用專用閱讀器。純文本或超文本格式一般由電腦系統(tǒng)自帶，比較方便；PDF格式符合國際標準，可閱讀各種數(shù)據(jù)庫提供的資源；而需要專用閱讀器讀取的數(shù)據(jù)格式對用戶利用會造成一定的不便。
　　4．1．5 B5時效性　任何資源都有時效性，雖然資源的質(zhì)量不完全由其新穎程度決定，但通常來說，資源更新越快，越能保證其質(zhì)量�？捎肅14更新頻率來衡量，即系統(tǒng)中資源的更新速度，如果所收錄的資源都是最新、最及時的資源，其數(shù)據(jù)質(zhì)量會不斷提高，資源利用率也會相應(yīng)增加。
　　
　　4．2 A2資源利用效率
　　4．2．1 B6資源利用情況指一定時間段內(nèi)用戶對資源利用的實際數(shù)據(jù)，這是一個定量指標�？蓮�3個方面來評價：C15登錄次數(shù)、C16查詢／檢索次數(shù)、C17全文下載次數(shù)，分別為用戶在一定時間段內(nèi)登錄資源共享系統(tǒng)、查詢和檢索以及下載資源的次數(shù)，它們在一定程度上反映了共享系統(tǒng)被關(guān)注程度和利用程度。
　　4．2．2 B7資源輔助程度指共享系統(tǒng)自身的資源對其成員單位和用戶單位起到多大的輔助和補充作用。包括C18對成員單位的資源輔助程度、C19對用戶單位的資源輔助程度兩個指標。成員單位和用戶單位既是資源的利用者，也是提供資源的服務(wù)者，因此，利用共享系統(tǒng)的資源提供服務(wù)也體現(xiàn)了共享系統(tǒng)的資源利用效率。特別是對成員單位而言，得到共享系統(tǒng)的資源采集支持，不僅保障了部分直接需求資源的獲取，而且降低了資源建設(shè)的成本投入。
　　
　　4．3 A3直接服務(wù)效益
　　指共享系統(tǒng)利用自身資源向用戶，包括成員單位、注冊用戶單位、個人用戶等提供各種信息服務(wù)的效益。可從5個方面的指標進行評價。
　　4．3．1 B8服務(wù)范圍　服務(wù)覆蓋的地理范圍反映了共享系統(tǒng)發(fā)揮效益的范圍，是衡量其效益的重要方面。它包括C20成員單位、鏡像站、服務(wù)站的覆蓋范圍和C21用戶群地理覆蓋范圍。兩者是服務(wù)提供者和實際享受服務(wù)者地理覆蓋的反映。
　　4．3．2 B9服務(wù)內(nèi)容指共享系統(tǒng)直接提供服務(wù)的形式，其評價指標為C22直接服務(wù)形式和內(nèi)容。常見形式有文獻協(xié)調(diào)采購服務(wù)、聯(lián)機聯(lián)合編目、文獻檢索、館際互借和文獻傳遞服務(wù)、參考咨詢服務(wù)、電子資源導(dǎo)航、門戶信息服務(wù)等。評價其服務(wù)形式即考察對象是否提供了多種形式的服務(wù)，更好地滿足用戶的信息需求。
　　4．3．3 B10直接服務(wù)量 即共享系統(tǒng)在時間段內(nèi)直接提供服務(wù)的數(shù)量，包括C23文獻傳遞服務(wù)量、C24參考咨詢服務(wù)量。對這兩個指標進行定量分析，可以從共享系統(tǒng)提供的文獻傳遞服務(wù)和參考咨詢服務(wù)數(shù)量分別占用戶單位所有文獻傳遞數(shù)量和參考咨詢問題數(shù)量的比例來進行考察。
　　4．3．4 B11服務(wù)響應(yīng)時間 指從提出服務(wù)請求到獲得服務(wù)所經(jīng)歷的時間，包括C25文獻傳遞服務(wù)從申請到獲得文獻時間、C26參考咨詢服務(wù)從咨詢到回復(fù)時間、C27檢索系統(tǒng)響應(yīng)時間。服務(wù)響應(yīng)時間本質(zhì)上是用戶所服務(wù)的時間成本，時間越短，服務(wù)效率越高，對用戶越有利。
　　4．3．5 B12服務(wù)滿意率這里設(shè)計了三個滿意度指標：①C28文獻傳遞服務(wù)滿意度，包括對文獻傳遞服務(wù)時間、價格、服務(wù)態(tài)度、服務(wù)效果的綜合滿意度；②C29參考咨詢服務(wù)滿意度，包括對參考咨詢服務(wù)時間、服務(wù)態(tài)度、服務(wù)效果的綜合滿意度；③C30檢索系統(tǒng)滿意度，包括對檢索系統(tǒng)的響應(yīng)時間、檢索功能和效果的綜合滿意度。
　　
　　4．4 A4延伸服務(wù)效益
　　指借助共享系統(tǒng)的資源、技術(shù)和服務(wù)等優(yōu)勢提高成員單位和其他單位的服務(wù)能力或拓展服務(wù)內(nèi)容而產(chǎn)生的效益。
　　4．4．1 B13延伸服務(wù)形式指成員單位和其他單位借助共享系統(tǒng)的資源優(yōu)勢，自主開展服務(wù)的形式。通過C31成員單位利用共享系統(tǒng)的資源而延伸提供的服務(wù)形式這個指標來衡量。常見的服務(wù)形式有原文傳遞、代查代檢、決策咨詢等。
　　4．4．2 B14延伸服務(wù)效果即成員單位和其他單位提供延伸服務(wù)的實際狀態(tài)。可用C32服務(wù)次數(shù)、C33服務(wù)滿意度來評價。這兩個指標將定量和定性評價相結(jié)合。
　　
　　4．5 A5減負效益
　　指通過成本和投入的節(jié)省來衡量共享系統(tǒng)運行所帶來的實惠，即從經(jīng)濟角度分析共享系統(tǒng)的運作效率。
　　4．5．1 B15采購成本降低率 即資源建設(shè)費用的節(jié)省程度。從成員單位和用戶單位兩個角度分析，可分為：①C34聯(lián)合采購對成員單位經(jīng)費降低率，是指共享系統(tǒng)對成員單位的資源采集經(jīng)費支持率；②C35資源輔助對其他單位經(jīng)費降低率，指由于共享系統(tǒng)的資源 輔助，對其他單位這部分資源采集經(jīng)費的節(jié)省程度。
　　4．5．2 B16運營成本降低率主要是指人力運行、管理和技術(shù)支撐等方面為成員單位和其他單位費用的節(jié)省程度。從兩個指標進行評價：①C36技術(shù)支持成本，有些單位利用共享系統(tǒng)的服務(wù)界面直接(鏈接或嵌入)作為自己的服務(wù)系統(tǒng)或在此基礎(chǔ)上開發(fā)服務(wù)系統(tǒng)而節(jié)省的技術(shù)方面的成本；②C37人力成本，指有些單位在人力資源和管理等方面節(jié)省的成本。
　　
　　4．6 A6社會效益
　　即從人文角度衡量共享系統(tǒng)對社會信息化發(fā)展的影響程度。這是很難定量評估的，因此主要采用定性指標來衡量。
　　4．6．1 B17社會活動 考核共享系統(tǒng)開展了哪些社會活動，分為兩個指標：C38與其他機構(gòu)合作活動，C39培訓(xùn)活動。合作和培訓(xùn)等活動可以體現(xiàn)共享系統(tǒng)在社會上的活動能力和影響力，主要從是否開展這些活動、是否定期開展等方面進行評價。
　　4．6．2 B18社會影響 即共享系統(tǒng)所產(chǎn)生的長久的社會公眾反響，可用C40對資源共享人文環(huán)境的影響來衡量。表現(xiàn)為國際和國內(nèi)社會、公眾對共享系統(tǒng)的認可程度以及共享系統(tǒng)通過制定、支持相關(guān)的信息政策和信息活動而營造和改善的信息共享環(huán)境等。
　　由于不同的指標對共享系統(tǒng)績效的影響是不一樣的，因此，一套科學(xué)和有效的評估指標體系必須對所選指標進行權(quán)重分析，并得出權(quán)重集。筆者采用層次分析法(AHP方法)，通過專家調(diào)查法向?qū)�業(yè)學(xué)者、各界圖書館工作者以及在校博士生等收集數(shù)據(jù)，用定量與定性相結(jié)合的方法對指標進行打分，運用統(tǒng)計學(xué)的方法得出評價結(jié)果，最終確立了信息資源共享系統(tǒng)績效評估指標體系表。
　　
　　5　實證研究――以NSTL為例
　　
　　為驗證指標體系的科學(xué)性和可行性，筆者選擇了國家科技圖書文獻中心(NSTL)進行驗證性的評估。NSTL是一個基于網(wǎng)絡(luò)環(huán)境的、公益性的、面向全國的科技文獻信息服務(wù)機構(gòu)，是目前正在運行的一個重要的信息資源共享系統(tǒng)。
　　筆者首先針對40個三級指標設(shè)定詳細的評分規(guī)則和標準，確立指標分值計算方法。為收集NSTL績效評估所需要的數(shù)據(jù)，筆者通過實地走訪、與專家交談、電話采訪和發(fā)放成員單位調(diào)查問卷等多種形式，最終得到40個指標中28個指標的實際得分。由于種種原因，有些數(shù)據(jù)無法得到，但根據(jù)已得到的部分指標的得分情況，可以大體反映出NSTL的績效狀況。
　　NSTL的優(yōu)勢主要體現(xiàn)在3個方面：①資源組織。NSTL對資源的分類、揭示做得很好，揭示層次達到文摘級，且著錄詳細、規(guī)范，對數(shù)字資源建設(shè)起到了示范作用。②對成員單位的支持力度。七個成員單位的資源采集絕大部分來自于NSTL的經(jīng)費支持，對各成員單位的館藏發(fā)展起到了關(guān)鍵性作用。③文獻傳遞服務(wù)。NSTL的外文科技文獻資源優(yōu)勢明顯，為用戶提供的文獻傳遞服務(wù)主要以外文科技期刊為主，且服務(wù)量逐年增加。
　　然而，從績效得分中也可以看出NSTL目前所存在的一些不足：①資源總量和布局。NSTL的資源建設(shè)目標是建立外文文獻的全面保障，雖然NSTL外文科技期刊、會議錄、科技報告等資源的訂購數(shù)均已占國內(nèi)訂購品種數(shù)的60％以上，但相對于國外文獻資源龐大的基數(shù)，其覆蓋率還是較低；在布局方面，有些學(xué)科的資源比較薄弱，訂購率較低，語種方面也不均衡。②NSTL的資源影響力。雖然NSTL目前的鏡像站、服務(wù)站覆蓋多個地方，注冊用戶也遍布全國各地，但是由于NSTL成員單位集中在北京，是一種中心模式的共享系統(tǒng)，其資源影響力分布不均；并且由于NSTL主要依靠自己的網(wǎng)站提供服務(wù)，對終極個人用戶而言，其影響力遠不及本機構(gòu)圖書館的門戶網(wǎng)站。

相關(guān)熱詞搜索：指標體系 信息資源 績效評估 信息資源共享系統(tǒng)績效評估指標體系的構(gòu)建 績效指標體系的構(gòu)建 績效指標體系設(shè)計