搜索引擎評價指標體系比較研究 評價指標體系

　　[摘要]針對目前搜索引擎評價指標體系研究現(xiàn)狀，在對國內外幾個核心學者和國內若干篇較新文章的搜索引擎評價指標體系進行介紹，并對研究內容及其側重點進行對比的基礎上，總結當前我國評價指標體系研究的特點，提出對指標評價體系的發(fā)展展望。
　　[關鍵詞]搜索引擎　評價指標體系　特點　發(fā)展
　　[分類號]G354.4
　　1　引言
　　
　　據(jù)CNNIC第21次中國互聯(lián)網(wǎng)調查報告數(shù)據(jù)顯示，中國目前2.1億網(wǎng)民中，經(jīng)常使用搜索引擎的人數(shù)高達72.4％，他們日常生活信息有70％以上是通過網(wǎng)絡獲得的。
　　在信息爆炸的今天，互聯(lián)網(wǎng)海量信息需要經(jīng)過篩選進入人們的視野，從傳播學角度講，需要一個信息把關人的角色，將海量信息分類、匯總、準確地傳輸?shù)叫枨笳呙媲�；從網(wǎng)絡功能講，沒有任何互聯(lián)網(wǎng)工具比搜索引擎更適合這個角色了。
　　有需求，自然就會產生市場。網(wǎng)絡巨頭紛紛把利潤中心轉向搜索引擎市場，除了google、baidu、yahoo!等專業(yè)搜索機構，甚至連sina、sohu等門戶也開始介入搜索引擎領域，一時間，搜索引擎成為網(wǎng)絡經(jīng)營公司的重要產品。搜索引擎評價指標體系，為我們提供了一個了解、分辨、選擇搜索引擎的學術標準，充分了解分析這個指標體系，是我們研究搜索引擎的首要條件。
　　
　　2　評價指標體系分析
　　
　　　本部分主要對國內外幾個核心學者的評價體系進行對比分析，并且結合若干篇較新的論文中的評價指標，討論它們之間的區(qū)別和繼承性，并總結當前搜索引擎評價指標體系研究的重點與不足。
　　
　　2.1　Lancaster評價指標體系
　　1973年，美國學者Lancaster和Fayen曾列出6項衡量信息檢索系統(tǒng)的評價指標：覆蓋范圍、查全率、查準率、響應時間、用戶負擔和檢索結果輸出格式。這是傳統(tǒng)書目聯(lián)機檢索的評價指標，顯然，他們當時無法考察目前復雜網(wǎng)絡檢索甚至搜索引擎的檢索情況，但已經(jīng)從技術以及用戶需求方面給后來者們建立了一個基本框架，奠定了從技術和用戶角度出發(fā)的搜索引擎評價指標體系發(fā)展方向，隨后的許多評價體系都是按照這個脈絡建立的。這個評價指標體系從檢索源、檢索效果、檢索輸出以及用戶使用角度考慮了信息檢索系統(tǒng)可能的評價點，并強調了檢索輸出格式的重要性，這與書目聯(lián)機檢索特點是分不開的。這套體系并未預料到若干年后網(wǎng)絡條件下的檢索源復雜度、檢索技術多樣性和用戶要求，所提出的評價指標可以作為目前搜索引擎評價指標體系的基礎評價指標。
　　
　　2.2　Heting Chu、Marilyn Rosenthal評價指標體系
　　Heting Chu、Marilyn Rosenthal在對Alta Vista、Excite和LyCOS三個搜索引擎進行比較研究之后提出應該從標引、檢索能力、檢索效果、輸出和用戶負擔方面評價搜索引擎。Alta Vista、Excite的特點使得研究者注意到了搜索引擎檢索中標引水平和檢索能力的重要作用�？梢钥闯�，搜索引擎評價指標體系的發(fā)展，是同搜索引擎技術的發(fā)展分不開的，隨著搜索引擎檢索能力的提高，其評價指標體系也開始逐步豐富擴展，直接針對核心新技術產生了相應的評價指標體系。
　　
　　
　　2.3　Bar-Ila評價指標體系
　　Bar-Ila提出應從數(shù)據(jù)庫覆蓋范圍、查詢響應時間、用戶所需努力和檢索效果來評估搜索引擎的性能。國外搜索引擎評價研究最主要的一個特點是強調“人性化”。因此，他們在確定評價指標的過程中，在充分強調檢索效率重要性的同時，常常把用戶負擔放在第一位。與Lancaster評價指標、體系相比，這個指標體系沒有本質的增加，但是將查全率以及查準率作為檢索效果進行描述，是搜索引擎評價指標系統(tǒng)化思想的一個體現(xiàn)。
　　
　　2.4　曾民族綜合評價指標體系
　　1997年，國內學者曾民族在綜合國內外搜索引擎評價研究成果的基礎上，提出了以下6類評價指標：數(shù)據(jù)庫規(guī)模和內容、索引方法、檢索功能、檢索結果、用戶界面、查準率和響應時間。
　　這套評價指標，是在考察當時網(wǎng)絡信息資源特點、網(wǎng)絡查詢工具、www查詢引擎、網(wǎng)絡自動檢索技術和Internet搜索引擎實例，并總結已有國外搜索引擎評價研究成果的基礎上提出的，是對當時研究領域與搜索相關的各項技術指標的整合，具有較高的理論覆蓋度和理論價值。但是，因為目前沒有搜索引擎可以做到集成最新索引、檢索技術、用戶服務，所以這套評價指標體系只能作為一個綜合備選庫，而實際對某些搜索引擎進行評價時，可以從這個指標庫當中抽取需要的指標進行組合。
　　需要注意的是，曾民族對傳統(tǒng)檢索效果部分沒有統(tǒng)一指明，而是在第六點的其他部分點出查準率和響應時間，是由其對目前網(wǎng)絡條件下信息資源特點的分析所得出的。曾教授認為：“信息源分散、無序、更迭、消亡無法預測。信息源的無政府狀態(tài)迫使人們更改相關性判斷的概念和標準。用戶無法判斷網(wǎng)上有多少信息同自己需求有關，查全率等檢索評價標準需要重新定義�！苯�立在目前網(wǎng)絡信息源巨量化、分散、無序、不可預知的基礎上，資源總量已經(jīng)無法確定，所以查全率也就不得而知。筆者認為，面對全網(wǎng)絡的搜索引擎檢索，查全率之說固然不現(xiàn)實，但許多專業(yè)領域搜索引擎評價中，查全率也是一個非常重要且實際的指標，鑒于曾教授對整個網(wǎng)絡資源進行評價指標體系設計，不考慮查全率也無可厚非，但對于具體的搜索引擎實例，查全率理應成為評價指標體系的一部分。
　　
　　2.5　宛玲等提出的10種評價指標體系
　　宛玲等在《試析中文搜索引擎的評價標準》一文中，提出了10種中文搜索引擎的評價指標，分別是：收錄信息范圍、反饋的信息量及內容的準確性、反饋的查詢結果錯誤率、報道與內容更新速度、檢索性能、響應時間、檢索界面友好性、精品推薦、與其他搜索引擎的友情鏈接、系統(tǒng)性能、點擊率、附加功能等。
　　這套指標除包含數(shù)據(jù)庫規(guī)模、檢索性能、檢索效果、用戶界面等類型指標之外，還強調了精品推薦、與其他搜索引擎的友情鏈接、系統(tǒng)性能等與用戶使用相關的方面，這是國內搜索引擎評價指標研究的一個提高，在領悟國外強調“人性化”的基礎上，將用戶使用體驗列為搜索引擎評價的重要內容。
　　隨著web使用技術的提高，web用戶服務意識不斷增強，其對搜索引擎的使用已經(jīng)不簡單局限在技術要求上，“人性化”要求也越來越多，精品推薦、友情鏈接等服務內容也開始出現(xiàn)，將其作為搜索引擎評價指標來研究具有很大的創(chuàng)新意義。就這篇論文的評價指標體系來說，似乎有過于強調用戶體驗的嫌疑，前幾種評價指標沒有進行很好的體系構建，過于松散和用戶化。
　　
　　2.6　韓圣龍關于查準率的改進
　　韓圣龍在《網(wǎng)絡信息檢索工具評價指標》一文討論了網(wǎng)絡信息環(huán)境下傳統(tǒng)的信息檢索評價指標體系遇到的困難，并在介紹“相關性范疇”和“命中記錄查準率”概念后對查準率公式作了改進。查準率仍舊是搜索引擎評價指標體系 的核心，查準率的提高直接反映出搜索引擎的性能，仍舊是當今學者研究的熱點。
　　文章結尾部分補充了對輸出格式的靈活性、數(shù)據(jù)更新頻率、鏈接的可靠性和用戶界面友好程度4個方面的展望，也充分說明了當前學者對用戶體驗指標重視程度的提高。
　　
　　2.7　劉偉成關于元搜索引擎評價的研究
　　劉偉成在《元搜索引擎性能評價體系研究》一文中提出關于元搜索引擎一些主要性能的評價指標。由于元搜索引擎不同于單個搜索引擎的特點，關注搜索范圍和結果顯示是元搜索引擎評價的一個重要方面。元搜索引擎緩解了web數(shù)據(jù)的增長對單個搜索引擎索引網(wǎng)絡數(shù)據(jù)收集速度的影響，在覆蓋率方面有著明顯的優(yōu)勢，評價元搜索引擎的搜索指標，覆蓋范圍必不可少。從使用角度講，元搜索引擎的搜索功能和效果特點不是非常突出，檢索控制與提問功能則是需要注意的。此外，檢索結果的輸出及用戶界面是元搜索引擎評價的另外一個重點，對比單個搜索引擎來說，由于元搜索引擎沒有非常強的核心技術，其用戶體驗評價變得重要起來。
　　
　　3　評價指標體系研究特點及發(fā)展
　　
　　從以上7種評價指標體系的介紹不難看出，搜索引擎評價指標體系的發(fā)展是一個指標內容逐漸豐富、指標性質逐漸商業(yè)化的過程，見表1。
　　在眾評價指標體系中，檢索能力(查全率、查準率)、用戶負擔、檢索結果都是作為核心指標出現(xiàn)的，是對搜索引擎基本功能的描述，代表了搜索引擎評價的最低要求。用戶體驗評價是近年來搜索引擎評價指標發(fā)展的一個特點，在搜索引擎功能發(fā)展到一定階段的同時，能否使用戶獲得優(yōu)良的使用體驗，成為目前搜索引擎商業(yè)化成功與否的重要評價指標。
　　總體來說，我國搜索引擎評價指標體系的發(fā)展，建立在綜合國外研究成果的基礎之上，并結合了我國搜索引擎的現(xiàn)狀是綜合并呈一定體系的發(fā)展過程。一方面，沿用了國外評價指標發(fā)展重技術、重用戶的特征，在體系建設具有全面、豐富的特點，形成了全面建設加專攻一面的發(fā)展格局；另一方面，顯示了搜索引擎商業(yè)化發(fā)展對相關研究的影響。精品推薦、點擊率、附加功能、鏈接可靠性等評價指標的出現(xiàn)，要求研究者們更需要注重用戶體驗層次上的商業(yè)效益。
　　就目前發(fā)展狀況來看，評價指標體系已經(jīng)較為成熟，但還存在以下問題：
　　
　　3.1　技術主導
　　目前國內學者的研究，多數(shù)是從檢索性能和效果方面重點建立指標評價體系。對搜索引擎檢索功能的評價文章頗多，對檢索效果方面也有更為深入的研究，而且日漸成熟。查全率、查準率是技術評價的核心，如何能使搜索引擎全面、準確地反饋網(wǎng)絡信息資源，將是長盛不衰的主題。
　　檢索功能的特點越來越突出，內容越來越豐富。從布爾檢索、關鍵詞判斷到概念檢索、上下文關鍵詞的評價，反映了搜索引擎技術日臻成熟，其評價指標也越來越全面。但隨著技術的發(fā)展，搜索引擎的未來不得而知，所以檢索功能評價指標也有著很大的發(fā)展空間。
　　
　　3.2　系統(tǒng)化研究
　　評價指標系統(tǒng)化、體系化是促進研究全面、健康發(fā)展的重要手段。搜索引擎的評價指標之間是存在聯(lián)系的，是一個和諧、功能互補的整體，關注他們之間的聯(lián)系要比關注評價點本身更有意義。
　　搜索引擎評價指標體系的建立，主要遵循了從覆蓋范圍到技術核心，由檢索結果到用戶體驗的信息傳遞流程。在某個小范圍的指標族當中，也有著很強的體系關系，研究這些體系關系，對于原有指標的修改、新指標的提出乃至整個指標體系的發(fā)展都有著重要的意義。
　　
　　3.3　重視用戶體驗
　　國外搜索引擎評價研究最主要的一個特點是強調“人性化”。在確定評價指標的過程中，充分強調檢索效率重要性的同時，常常把用戶負擔放在第一位。
　　隨著用戶服務意識的提高，關注用戶負擔已經(jīng)遠遠不能滿足用戶使用搜索引擎的需求，還需要增加用戶體驗。
　　
　　3.4　品牌評價有待提高
　　筆者認為，在建立現(xiàn)階段搜索引擎評價指標體系的同時，不妨引入“品牌”概念。在經(jīng)濟高速發(fā)展的今天，搜索引擎已經(jīng)不單單是一項技術研究，更是一款有著廣大用戶知名度的產品，“品牌忠誠度”、“品牌美譽度”完全可以成為搜索引擎評價指標體系的借鑒，畢竟，衡量搜索引擎產品的好壞，用戶的評價才最關鍵。
　　品牌對于一個網(wǎng)絡產品的作用是不言而喻的。首先，品牌能夠幫助搜索引擎吸引用戶和保留用戶，用戶的使用和回饋又成為搜索引擎品牌積累的成本；其次，品牌效應能夠使搜索引擎的地位得到提升，這已經(jīng)不是搜索功能能夠做到的了，一個好的搜索引擎的成長，不僅需要具備良好的搜索功能，更需要強勢的業(yè)界地位，良性的壓力才能促進其發(fā)展；再次，品牌是搜索引擎產品覆蓋率的象征，隨著社會經(jīng)濟化、產業(yè)化的發(fā)展，品牌的效用會越來越突出，一個成功的、強勢的品牌也將成為搜索引擎評價的一項重要指標。
　　
　　4　小結
　　
　　技術、用戶是計算機技術產品市場化始終需要面對的兩個問題。搜索引擎的發(fā)展，是從用戶需要開始的，經(jīng)歷了長時間的技術研究，并最終實現(xiàn)搜索引擎產品，得到市場推廣，接著，由推廣效果得到改進意見，進而優(yōu)化產品，再推廣。在這個過程中，搜索業(yè)界的學者開始對搜索引擎評價研究，目的是給搜索引擎的發(fā)展提供一套系統(tǒng)化、科學化的參考意見。
　　搜索引擎評價從搜索對象出發(fā)，歷經(jīng)搜索功能、搜索效果、搜索結果評價最終到達用戶層面，這個過程，就是搜索引擎評價指標體系的基本框架。可以說，現(xiàn)階段搜索引擎評價體系已經(jīng)頗為成熟，至少在短時間內，整個體系的提高多數(shù)只是小范圍的修修補補和某個具體指標新技術出現(xiàn)所帶來的評價指標的變化，搜索引擎評價指標體系的發(fā)展已經(jīng)變得全面而趨穩(wěn)。
　　搜索引擎，歸根到底是為用戶提供服務的，其評價指標體系的各個方面，都是試圖給用戶提供更好更優(yōu)秀的檢索結果。如何能讓用戶更簡單、更迅速、更準確的獲取所需要的信息，才是搜索引擎評價的重點。搜索引擎用戶評價指標的發(fā)展，不僅僅要從系統(tǒng)功能和用戶需求角度出發(fā)，還需要考慮社會化需求的各個方面，在結合搜索結果、用戶需求和社會文化影響等層面的要求下做出合理的、系統(tǒng)化的用戶評價指標。

相關熱詞搜索：指標體系 評價 搜索引擎 搜索引擎評價指標體系比較研究 評價搜索引擎效果的指標 搜索引擎的評價標準