本體評(píng)估指標(biāo)體系的構(gòu)建研究_指標(biāo)體系的構(gòu)建方法

　　[摘要]為有效地實(shí)現(xiàn)本體構(gòu)建的動(dòng)態(tài)評(píng)估，論文基于本體建設(shè)的生命周期階段，提出涵蓋本體的原模型階段、模型階段、應(yīng)用階段三個(gè)階段的評(píng)估指標(biāo)體系。評(píng)估內(nèi)容涉及對(duì)本體概念層、結(jié)構(gòu)層、語(yǔ)境層、應(yīng)用層的全方位評(píng)估，其目的在于保證本體的構(gòu)建質(zhì)量，實(shí)現(xiàn)對(duì)本體的有效管理與維護(hù)，從而為本體構(gòu)建者提供參考依據(jù)，為本體使用者提供選擇依據(jù)。
　　[關(guān)鍵詞]本體　評(píng)估　指標(biāo)體系
　　[分類號(hào)]G354
　　
　　面對(duì)眾多已構(gòu)建的本體，如何將其選擇重用與共享是許多研究者所面臨的問(wèn)題。從某種層面上看，本體評(píng)估的意義在于保證本體的構(gòu)建質(zhì)量，實(shí)現(xiàn)對(duì)本體的有效管理與維護(hù)，從而為本體構(gòu)建者提供參考依據(jù)，為本體使用者提供選擇依據(jù)。從國(guó)內(nèi)外本體評(píng)估研究看，目前主要采用基于用戶、基于任務(wù)、基于原則、基于應(yīng)用、基于黃金標(biāo)準(zhǔn)、基于語(yǔ)料庫(kù)等評(píng)估方法，基于不同的需求目的，每種方法均存在其各自的特點(diǎn)與不足�？傮w而言，這些評(píng)估方法更多地注重結(jié)果評(píng)估，對(duì)本體所擁有的概念及概念關(guān)系、應(yīng)用狀況等進(jìn)行評(píng)價(jià)，而忽略過(guò)程評(píng)估，如缺乏對(duì)構(gòu)建規(guī)劃、構(gòu)建過(guò)程的評(píng)估。因此，本文基于本體建設(shè)的生命周期階段，即原模型階段、模型階段、應(yīng)用階段來(lái)構(gòu)建本體評(píng)估指標(biāo)體系，旨在確定一套科學(xué)、合理、全面、客觀的本體評(píng)價(jià)體系，可用于本體建設(shè)不同階段的參考與評(píng)估。
　　
　　1　本體評(píng)估內(nèi)容
　　　
　　評(píng)估內(nèi)容的多元化是評(píng)估本體的核心。就評(píng)估內(nèi)容而言，多元評(píng)估要求既要體現(xiàn)其共性，更要關(guān)注各自本體的個(gè)性；既要關(guān)注結(jié)果，更要關(guān)注過(guò)程。即以多維視角的評(píng)價(jià)內(nèi)容和結(jié)果，綜合衡量本體的發(fā)展?fàn)顩r與水平。本體的評(píng)估內(nèi)容可概括為以下幾個(gè)層面：
　　
　　1.1　本體概念層評(píng)估
　　概念是本體的最基本單元，概念表達(dá)的準(zhǔn)確性、完整性、概括性、抽象性等對(duì)于本體的質(zhì)量有著決定性的影響。
　　
　　1.2　本體結(jié)構(gòu)層評(píng)估
　　主要包括本體概念體系的結(jié)構(gòu)化及本體表示體系的結(jié)構(gòu)化。本體概念體系的結(jié)構(gòu)化表現(xiàn)為本體概念結(jié)構(gòu)的靈活性及易于擴(kuò)展性；規(guī)范化、結(jié)構(gòu)化的本體表示語(yǔ)言為本體在不同系統(tǒng)之間的導(dǎo)人和輸出提供標(biāo)準(zhǔn)的機(jī)器可讀格式，利于被計(jì)算機(jī)存儲(chǔ)、加工、利用，或在不同的系統(tǒng)之間進(jìn)行互操作，為本體表示體系的結(jié)構(gòu)化提供了前提條件。
　　
　　1.3　本體語(yǔ)境層評(píng)估
　　本體語(yǔ)境層表示為本體之間的關(guān)聯(lián)度，通常情況下，本體之間通過(guò)建立映射、互相參考引用等方法建立概念間的語(yǔ)義關(guān)聯(lián)，以實(shí)現(xiàn)本體之間概念及概念間關(guān)系的重用與共享。可通過(guò)鏈接或引用程度不同給予不同的評(píng)估值。
　　
　　1.4　本體應(yīng)用層評(píng)估
　　以本體的應(yīng)用領(lǐng)域作為評(píng)估對(duì)象，涉及本體系統(tǒng)的存儲(chǔ)與檢索、基于語(yǔ)義網(wǎng)知識(shí)層的共享和重用、基于本體的標(biāo)引與語(yǔ)義檢索、文本數(shù)據(jù)的推理研究等。本體應(yīng)用層相對(duì)于其他層面，影響較小且具有間接性，因此評(píng)估難度較大。
　　
　　2　本體評(píng)估指標(biāo)的構(gòu)建
　　
　　本體從構(gòu)建到應(yīng)用要經(jīng)歷整個(gè)生命周期的三個(gè)階段：原模型階段、模型階段、應(yīng)用階段：①原模型階段是本體構(gòu)建前整體規(guī)劃及原材料的預(yù)處理過(guò)程，包括構(gòu)建本體的參考本體及可行性評(píng)估、流程設(shè)計(jì)、數(shù)據(jù)庫(kù)設(shè)計(jì)、整理網(wǎng)頁(yè)、挖掘文本語(yǔ)料庫(kù)等；②模型階段是本體構(gòu)建過(guò)程，包括概念及概念間關(guān)系確定、本體構(gòu)建的方法和工具選擇與應(yīng)用、本體與其他本體的映射、本體描述語(yǔ)言的選擇與應(yīng)用、本體發(fā)布之前的訓(xùn)練和測(cè)試；③應(yīng)用階段是本體構(gòu)建完成后的本體應(yīng)用狀況，主要是運(yùn)行中本體的監(jiān)測(cè)活動(dòng)，如知識(shí)工程、信息標(biāo)引與檢索、語(yǔ)義web、異構(gòu)信息集成、本體推理等眾多領(lǐng)域。
　　為實(shí)現(xiàn)對(duì)本體的整體性及動(dòng)態(tài)性評(píng)估，需要對(duì)本體建設(shè)生命周期三個(gè)階段的關(guān)鍵要素進(jìn)行提煉，形成一套科學(xué)、合理、系統(tǒng)化的評(píng)估指標(biāo)體系，這樣既能測(cè)度本體構(gòu)建水平又能評(píng)估其運(yùn)行情況和發(fā)展?jié)摿�。本體評(píng)估指標(biāo)體系，如圖1所示：
　　
　　2.1　原模型階段
　　本體的原模型階段評(píng)估的主要內(nèi)容有：確定構(gòu)建目的、構(gòu)建規(guī)劃、可行性評(píng)估、原材料預(yù)處理及選擇參考本體。
　　2.1.1 確定構(gòu)建目的 確認(rèn)所構(gòu)建的本體是否有明確的符合學(xué)科建設(shè)的發(fā)展定位，是否有明確的符合知識(shí)組織、知識(shí)服務(wù)的建設(shè)理念，是否有總體建設(shè)目標(biāo)與中長(zhǎng)期發(fā)展規(guī)劃，是否有實(shí)現(xiàn)目標(biāo)的方法和措施。
　　2.1.2 構(gòu)建規(guī)劃 包括：①用戶需求分析。確認(rèn)是否有明確的應(yīng)用需求，是否有可操作的調(diào)研計(jì)劃，是否有詳細(xì)的調(diào)研方案，是否有成文的調(diào)研報(bào)告，是否了解學(xué)科資源狀況，是否掌握用戶需求及特點(diǎn)，并評(píng)判服務(wù)模式是否有明顯優(yōu)勢(shì)，建設(shè)效益是否顯著。②方案設(shè)計(jì)。檢測(cè)構(gòu)建本體的具體內(nèi)容，包括確定項(xiàng)目的進(jìn)度，規(guī)劃實(shí)施方法，評(píng)判項(xiàng)目的可操作性，標(biāo)準(zhǔn)本體模型實(shí)現(xiàn)計(jì)劃等。③團(tuán)隊(duì)建設(shè)。主要是明確構(gòu)建本體的人員配置，要求有穩(wěn)定的團(tuán)隊(duì)，并且應(yīng)熟悉掌握知識(shí)組織的理論和方法，另外還應(yīng)配備技術(shù)支持人員和領(lǐng)域?qū)＜�。④�?jīng)費(fèi)管理。此階段應(yīng)該有經(jīng)費(fèi)預(yù)算和時(shí)間預(yù)算，經(jīng)費(fèi)應(yīng)按預(yù)算分階段地持續(xù)投入。⑤人員合作。在本體構(gòu)建的全過(guò)程都需要本體開發(fā)師(負(fù)責(zé)構(gòu)建本體)、本體工程師(重用本體)、項(xiàng)目負(fù)責(zé)人、領(lǐng)域?qū)＜�、行業(yè)分析家及用戶進(jìn)行合作共建。
　　2.1.3　可行性評(píng)估　可行性評(píng)估的目的是確定是否能夠用最小的代價(jià)在盡可能短的時(shí)間內(nèi)解決問(wèn)題。它并不是解決問(wèn)題，而是確定問(wèn)題是否值得和能夠去解決，包括：①技術(shù)可行性，即使用現(xiàn)有的技術(shù)是否能夠?qū)崿F(xiàn)構(gòu)建目標(biāo)；②經(jīng)濟(jì)可行性，即本體的經(jīng)濟(jì)效益是否能夠超過(guò)其開發(fā)成本；③操作可行性，本體應(yīng)用系統(tǒng)的操作方式在本體的用戶組織內(nèi)是否行得通。
　　2.1.4　原材料預(yù)處理 預(yù)處理是由本體工程師在構(gòu)建本體前對(duì)構(gòu)建本體時(shí)所需的原材料進(jìn)行收集與預(yù)處理，包括流程設(shè)計(jì)、網(wǎng)頁(yè)整理、文本語(yǔ)料庫(kù)的挖掘及對(duì)參考本體的資料獲取等。在這些收集好的材料被使用之前，本體工程師還要對(duì)其質(zhì)量進(jìn)行評(píng)估。
　　2.1.5　選擇參考本體　包括對(duì)本體構(gòu)建所參考的其他本體的質(zhì)量進(jìn)行評(píng)估，并對(duì)所構(gòu)建本體與參照本體的相關(guān)性進(jìn)行評(píng)價(jià)。
　　
　　2.2　模型階段
　　2.2.1　本體概念構(gòu)建的評(píng)估 本體概念來(lái)源于文本語(yǔ)料庫(kù)和專家的參與，以定義新概念、復(fù)用且修正參考本體中的概念等。本體概念的評(píng)估包括：①概念的完整性評(píng)估。本體的概念完整性表現(xiàn)為盡可能包括學(xué)科或領(lǐng)域的全部概念，盡管很難達(dá)到，但應(yīng)包括學(xué)科領(lǐng)域的基本概念和重要概念、反映學(xué)科的新概念和專用術(shù)語(yǔ)、體現(xiàn)交叉學(xué)科與邊緣學(xué)科的所有概念。并在此基礎(chǔ)上，參考用戶的特點(diǎn)與需求，使其達(dá)到最佳使用效果。②概念的正確性評(píng)估。本體中的概念術(shù)語(yǔ)應(yīng)明確、清晰、無(wú)歧義定義，一詞一義，詞型簡(jiǎn)練，穩(wěn)定性強(qiáng)。③概念共享性評(píng)估。是指本體中術(shù)語(yǔ)所表達(dá)的概念與觀點(diǎn)應(yīng)具有普遍性，能夠被整個(gè)群體所接受。④概念可擴(kuò)充性評(píng)估。概念可擴(kuò)充性主要表現(xiàn)為在本體的發(fā)展及應(yīng)用過(guò)程中應(yīng)該能加入新的概念。良好的可擴(kuò)充性使得本體能夠隨著概念的逐漸增加而不斷完善，同 時(shí)這樣的本體也很容易對(duì)其進(jìn)行概念的修改和刪除。⑤概念抽象性評(píng)估。是指概念主要體現(xiàn)為基本的、普遍的、抽象的和哲學(xué)上的概念，通常頂層本體概念的抽象性更高一些，領(lǐng)域本體是從頂層本體的抽象概念中衍生出具體概念。
　　2.2.2　本體概念間關(guān)系的評(píng)估　概念間關(guān)系形成的概念網(wǎng)絡(luò)體系，使各個(gè)概念之間建立起語(yǔ)義關(guān)聯(lián)，為其在自然語(yǔ)言理解應(yīng)用方面奠定了一定的基礎(chǔ)。本體概念間關(guān)系評(píng)估的內(nèi)容主要包括：①一致性檢測(cè)。本體系統(tǒng)中概念、斷言以及其他各種概念間的關(guān)系，前后定義是否具有語(yǔ)義沖突，需進(jìn)行概念間關(guān)系的邏輯一致性檢測(cè)。②完整性評(píng)估。概念間關(guān)系是否囊括了學(xué)科所有概念的概念間關(guān)系及其類別是否完整。③可擴(kuò)展性評(píng)估。本體概念間關(guān)系應(yīng)具有可擴(kuò)展性，以便在本體應(yīng)用或發(fā)布后及時(shí)增加與修改。④唯一性評(píng)估。本體概念間關(guān)系應(yīng)具有唯一性，即概念與概念之間只存在一種關(guān)系。
　　2.2.3　本體映射評(píng)估　一般情況下，本體映射是基于概念定義的方法，即在映射時(shí)主要考慮本體中概念的名稱、描述、關(guān)系、約束等。本體映射評(píng)估包含：①本體間的互操作性。主要針對(duì)本體間映射時(shí)的接口進(jìn)行評(píng)估。一般情況下，如接口銜接率高，即需要人工進(jìn)行概念擴(kuò)充與整合的接口比較少，則說(shuō)明兩者的互操作性高。②重用性。重用的內(nèi)容包含兩個(gè)本體的概念、概念關(guān)系、屬性限制等，通常重用率越高，映射的效果越佳。
　　2.2.4　本體表示評(píng)估　本體開發(fā)中，本體表示是對(duì)概念及概念之間的關(guān)系進(jìn)行明確定義，選擇合適且適用的本體語(yǔ)言，如DL、RDF、RDFS、Ontolingua、OKB、Loom、DAML，DAML+OIL、CycL、OWL等進(jìn)行形式化描述。評(píng)估內(nèi)容包含以下方面：①語(yǔ)言規(guī)范性。所選擇的本體表示語(yǔ)言對(duì)本體知識(shí)的主要元素、概念、分類體系、關(guān)系與函數(shù)、實(shí)例、公理、產(chǎn)生式規(guī)則進(jìn)行定義時(shí)，其語(yǔ)言結(jié)構(gòu)是否規(guī)范，語(yǔ)言的推理機(jī)制是否合理。②邏輯錯(cuò)誤檢查。確認(rèn)是否有邏輯錯(cuò)誤的檢查能力及檢查其結(jié)果如何。③語(yǔ)言錯(cuò)誤檢查。確認(rèn)是否有語(yǔ)言錯(cuò)誤的檢查能力及檢查其結(jié)果如何。④語(yǔ)言的適用性。確認(rèn)所選擇的本體表示語(yǔ)言是否適用于表示目標(biāo)本體，它對(duì)知識(shí)主要元素的定義能力如何。
　　2.2.5本體構(gòu)建工具評(píng)估 目前較為成熟、知名度較高且常用的本體構(gòu)建工具主要有：DAMHmp(API)、KAON、OilEd、OntoEdit、OpenCyc Server、Protege-2000、 RDFAuthor和WebOnto等。判斷一種工具性能如何，主要是判斷其是否具有較高的使用效率和是否便于用戶使用：①可視化程度。本體構(gòu)建工具是否提供可視化的本體表達(dá)視圖，提供的用戶界面是否便捷并使用戶滿意。②共享性。本體構(gòu)建工具是否可供用戶免費(fèi)使用、下載或在線使用，提供免費(fèi)軟件下載的官方網(wǎng)站是否具有多種語(yǔ)言的版本。③適用性。本體構(gòu)建工具是否支持Unicode字符集，工具在使用時(shí)其輸入和輸出格式是否支持XML或其語(yǔ)法是否基于本體標(biāo)記語(yǔ)言XML以及W3C、ISO或IEEE等其他國(guó)際組織的相關(guān)推薦標(biāo)準(zhǔn)。
　　2.2.6　本體整體評(píng)估　本體整體評(píng)估主要是針對(duì)本體的構(gòu)建過(guò)程作出整體全面的評(píng)價(jià)：①開放性。開放性有助于促進(jìn)本體與其他本體信息的共享及互操作性。完全開放意味著本體可以被自由使用或者擴(kuò)展，而不加任何限制。一定程度的開放意味著本體提供者要求本體使用者遵循一定的使用條款及許可條件，實(shí)現(xiàn)限制條件下的部分開放。②成熟度。主要指本體目前發(fā)展的穩(wěn)定性及其與其他本體的相關(guān)性。它通常與一些量化指標(biāo)有關(guān)，如本體的建立時(shí)間、更新時(shí)間、發(fā)展?fàn)顟B(tài)及被其他本體引用的程度等。③階段評(píng)估。本體是否進(jìn)行了階段性評(píng)估，評(píng)估的結(jié)果如何，階段性的問(wèn)題是否解決，有沒(méi)有對(duì)本體進(jìn)行階段性訓(xùn)練和測(cè)試。④時(shí)間成本。本體的構(gòu)建時(shí)間是否在預(yù)期時(shí)間內(nèi)完成。⑤費(fèi)用成本。構(gòu)建本體的費(fèi)用是否在預(yù)算費(fèi)用之內(nèi)。⑥本體管理。包括本體的進(jìn)化管理、版本管理、存儲(chǔ)與交換管理。要求有本體專門維護(hù)機(jī)構(gòu)，有科學(xué)的理論依據(jù)與實(shí)踐依據(jù)，并依據(jù)學(xué)科發(fā)展和標(biāo)注實(shí)踐制定了本體概念與概念關(guān)聯(lián)的增、修、刪的原則與標(biāo)準(zhǔn)。本體有不斷更新的版本以及現(xiàn)實(shí)本體的穩(wěn)定運(yùn)行、本體存儲(chǔ)方式、高效的存取性能、遵循有關(guān)標(biāo)準(zhǔn)協(xié)議、能夠?qū)崿F(xiàn)不同本體間數(shù)據(jù)的相互交換。
　　
　　2.3　本體應(yīng)用階段
　　本體的應(yīng)用評(píng)估主要包含：本體系統(tǒng)輔助功能、語(yǔ)義標(biāo)注功能、語(yǔ)義檢索功能及文本推理功能。
　　2.3.1　本體系統(tǒng)輔助功能　本體系統(tǒng)輔助功能主要指該本體所提供的服務(wù)功能。主要包括以下內(nèi)容：①與用戶的交互。是否提供了與用戶的交互機(jī)制，提示信息有效、直接，交互語(yǔ)言友好，可視化結(jié)果直觀、易懂，能夠?yàn)橛脩舻牟僮魈峁┻m當(dāng)?shù)囊龑?dǎo)。②開放性。與本體管理工具和本體應(yīng)用系統(tǒng)連接的難易程度以及對(duì)用戶來(lái)講是否容易使用與操作，是否可以免費(fèi)獲取，獲取的方式是否快捷等。③個(gè)性化服務(wù)。所構(gòu)建的本體應(yīng)該提供信息定制服務(wù)與信息推薦服務(wù)，要有清晰的整體說(shuō)明、詳細(xì)的功能使用說(shuō)明與信息注解、幫助信息，并可根據(jù)用戶關(guān)注焦點(diǎn)來(lái)選擇個(gè)性化服務(wù)。
　　2.3.2　語(yǔ)義標(biāo)注功能 語(yǔ)義標(biāo)注實(shí)為運(yùn)用本體的詞匯來(lái)標(biāo)注語(yǔ)料庫(kù)與web資源，通過(guò)添加語(yǔ)義元數(shù)據(jù)，使其內(nèi)容被人或機(jī)器所理解。語(yǔ)義標(biāo)注所要評(píng)估的內(nèi)容是覆蓋率、標(biāo)注工具的效用性、標(biāo)注結(jié)果的準(zhǔn)確率。①覆蓋率。覆蓋率是指本體中描述應(yīng)用領(lǐng)域的概念在語(yǔ)料文本詞匯中所占的比例。覆蓋率越高，說(shuō)明本體描述領(lǐng)域內(nèi)概念的廣度越高，全面性越好。②標(biāo)注工具的效用性。檢測(cè)標(biāo)注工具是否支持各種類型、各種介質(zhì)資源的自動(dòng)標(biāo)識(shí)，是否提供了本體概念和關(guān)鍵詞標(biāo)注，是否描述了元數(shù)據(jù)的標(biāo)準(zhǔn)與通用性，標(biāo)注流程是否方便，且對(duì)于應(yīng)用用戶是否適用。③標(biāo)注結(jié)果的準(zhǔn)確率。是指正確的標(biāo)注結(jié)果數(shù)占標(biāo)注數(shù)量的比率。準(zhǔn)確率越高，語(yǔ)義標(biāo)注功能越強(qiáng)，可以為進(jìn)一步的語(yǔ)義檢索奠定基礎(chǔ)。
　　2.3.3　語(yǔ)義檢索功能　基于本體的信息檢索，旨在利用本體中的概念實(shí)現(xiàn)對(duì)用戶信息需求及資源的語(yǔ)義理解與分析，實(shí)現(xiàn)概念層面的檢索，提高查詢的精確率。其功能評(píng)估包含以下內(nèi)容：①查準(zhǔn)率。指系統(tǒng)所檢索出的術(shù)語(yǔ)中有多大比例的術(shù)語(yǔ)是相關(guān)的，而不考慮它沒(méi)有檢索出的相關(guān)術(shù)語(yǔ)。精確度越高，就越能有效地確保系統(tǒng)已識(shí)別的術(shù)語(yǔ)是正確的。②召回率。召回率是系統(tǒng)檢索出的相關(guān)術(shù)語(yǔ)占總相關(guān)術(shù)語(yǔ)的比例，即檢測(cè)有多大比例的術(shù)語(yǔ)是系統(tǒng)應(yīng)該識(shí)別而實(shí)際上識(shí)別了的，而不考慮有多少不合格的識(shí)別術(shù)語(yǔ)。召回率越高，就越能確保系統(tǒng)沒(méi)有錯(cuò)過(guò)正確的術(shù)語(yǔ)。③自然語(yǔ)言處理能力。檢測(cè)系統(tǒng)識(shí)別用戶檢索語(yǔ)言的能力，即問(wèn)答系統(tǒng)根據(jù)上下文的語(yǔ)義聯(lián)系具有深層語(yǔ)義理解的能力。比如，對(duì)一詞多義現(xiàn)象的處理，對(duì)開放域的答案抽取水平，所涉及的詞法分析、句法分析、語(yǔ)義理解等基礎(chǔ)處理能力。④用戶滿意度。是指用戶對(duì)輸出端結(jié)果的滿意程度，即輸出的結(jié)果是否為用戶所提問(wèn)題的答案，涉及答案的詳細(xì)程度、輸入端與輸出端的時(shí)間間隔及人機(jī)界面操作的便捷性等。
　　2.3.4　本體用于推理 本體描述語(yǔ)言起源于人工智能領(lǐng)域?qū)χ�識(shí)表示的研究，因此本體的描述語(yǔ)言不僅僅需要具有良好定義的語(yǔ)法和語(yǔ)義與充分的表達(dá)能力，更需要有效的推理支持：①工具的有效性。推理工具是否支持多版本的語(yǔ)言規(guī)范，是否可以方便地訪問(wèn)標(biāo)準(zhǔn)語(yǔ)言的類及屬性，是否支持基本的對(duì)list的處理，是否可以實(shí)現(xiàn)類的層級(jí)訪問(wèn)和使用，是否可以實(shí)現(xiàn)自動(dòng)或半自動(dòng)推理等。②概念的可滿足性。是否存在相應(yīng)的解釋使得概念成立。③實(shí)例檢測(cè)。是指檢測(cè)某個(gè)概念所對(duì)應(yīng)的所有實(shí)例的集合。
　　
　　3　結(jié)語(yǔ)
　　
　　我們所構(gòu)建的本體評(píng)估指標(biāo)體系著重于本體生命周期管理，便于用戶更直觀地理解本體的建設(shè)過(guò)程，并對(duì)本體進(jìn)行階段性評(píng)估。用戶使用該評(píng)估指標(biāo)體系時(shí)，需依據(jù)評(píng)估的需求與目的，定義本體各指標(biāo)的權(quán)重，在此基礎(chǔ)上進(jìn)行量化評(píng)估。對(duì)于無(wú)法量化的指標(biāo)，需采取用戶調(diào)查、專家打分、黃金本體參照、描述評(píng)價(jià)等多種方法配合，盡可能使評(píng)價(jià)客觀化。

相關(guān)熱詞搜索：指標(biāo)體系 本體 構(gòu)建 本體評(píng)估指標(biāo)體系的構(gòu)建研究 評(píng)估指標(biāo)體系 合格評(píng)估指標(biāo)體系