宁波seo优化专栏

宁波seo优化:信息检索系统的有效性是针对检索系

发布时间:2018-09-22 18:48:42

  研究人员一致认为,信息检索中的相关性概念,其本质是存在于两个对象;^间的一种”关系“,而两个对象中的一个即为”信息源“(InformationResources〉,这里简记为InfRes。
  作为相关性模型的第一个维度,信息源可以表示为一个集合,其中包含了3个元素,分别代表用户査询对象的3个不同层次。

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片152

  ,指检索系统用户能够检索出的结果实体。
  文档的代表或替身,指文档的某种视图表示,可能包含以下一些结构化信息属性,例如题名、关键词集合、作者姓名、书目数据、摘要等。
  信息,即用户在阅读已经被检出的文档时所获得的某些非实体性的东西。
  信息源集合可以形式化表示为:
  InfRes={Surrogate,Document,Information}
  其中,3个元素还具有以下排列顺序:
  Surrogate  用户信息需求

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片151

  用户信息需求是相关性”关系“中涉及的另一个対象,也是相关性模型的第二个维度。用户的信息需求表现为如下4个不同层次。
  真实的信息需承(RealInformationNeed,RIN)感知到的信息需琅(PerceivedInformationNeed,PIN)撥索请琅
  
  用户信息需求可以用集合形式来表示,具体表示如下:
  Repr={RIN,PIN,Request,Query}
  在Repr集合中,元素RIN经由感知而转变为HN;而PIN则需要经过自然语言的表达形成检索请求;对于捡索请求,最后还需要再使用检索系统语言进行某种形式化变换,才能得到符合检索系统语法要求的提问式。因此,这四者之间呈现一个序列:
  RIN  这就是说,面对真正的信息需求,用户不一定能全部意识到,而他所表达出来的需求也可能与RIN和HN有一段距离,至于检索提问,与前三者更可能存在着较大的差异。
  基于对上述第一、二维内容的理解,相关性可以看作是二者之间的一种关系,并可以用二维平面中的一些点来表示(见图5-1)。在图5-1中,水平轴表示Repr集合中的不同元素,垂直轴表示InfRes集合中的不同元素,每一个空白的小圆圈代表了一种相关性,而箭头方向则代表了这些相关性之间存在的偏序关系。
  图5-1二维平面的相关性
  时间
  特定文档(或其替身)相对于某一特定的査询提问(或PIN、RIN等)来说,有可能在某个时刻是相关的,但在另外的某一时刻又可能是不相关的。显然,相关性(判断)具有明显的动态性,因此,引人时间维度非常适宜于相关性的动态特性表达。
  时间维度是指从用户的R1N产生到它被满足期间的一些时间片段(或点)的集合,宁波seo优化具体可以表示为:
  Time=U(rin。),Z(pin。),Z(r。),Z(g。〉,《(仍),Z(r!),K72),…,Kpiru),…,Z,…,z(g?)}
  式中,Ki)表示某一需求状态t存在时的时间点。
  由于用户拥有的知识及其RIN都会随着时间的推移而变化,因此,对文档的相关性判断必然不是恒定不变的。时间因素的这种影响已经为研究人员所认同,但随之而来的一个棘手问题是:相关性判断似乎没有一个固定的标准可言。
  组件
  组件包含进行相关性匹配的一些标准或准则,目前,其基本成分可以划分如下。
  ,指用户感兴趣的主题领域。
  ,主要指用户执行文档检索时的一些背景或行为,例如撰写综述、准备讲座等。
  ,凡不能包括在Topic和Task中的,影响查询方式和结果评价的其他所有因素,例如用户对文档已知或不能理解,查询可用的时间和金钱等。
  因此,与第四维対应的组件集合Comp可以定义如下:
  Comp=P(Topic,Task,context)—0
  ={{Topic},{Task},{Context},{Topic,Task},{Topic,Context},{Task,Context},{Topic,Task,Context}}
  这里,PGA)表示集合A的幂集,0表示空集。在Comp集合中,共有7个元素,按照集合的”包含“运算规则,Comp集合的元素之间具有图5-2所表示的偏序关系。
  在图5-2中,3种不同的颜色(黑、灰、白)分别表示Comp集合中的3种不同成分,而{Topic}Topic,Task}-*{Topic,Task,Context}和{Task}-*{Task,Context}->{Topic,Task,Context}则是图中表示的偏序关系的两个示例。
  图5-2组件集合的元素顺序
  基于対上述4个维度内容的了解,不妨来对米扎罗相关性模型进行具体描述。形式化地,相关性概念可以定义为以上4个集合(或维度)InfRes、Repr、Time和Comp的笛卡尔乘积,即Relevance=InfResXReprXTimeXComp
  达里,相关性被表示成了一个四元关系。在Relevance达个集合中,具有有穷个元素,每一个元素都代表了一种相关性,可以形式化表示为rel(x?3z,Z^)o例如,一个具体的相关性元素可以是rel(Surrogate,Query,z,{Topic})这个元素实际上表示了目前信息检索系统中最简单、最容易实现的一种相关性匹配标准;而另一个具体的相关性元素rel(Information,RIN,i(/),{Topic,Task,Context})则代表了检索系统最难以实现、也是最理想的一种相关性匹配标准。
  米扎罗的这个相关性形式化框架,对于更好地理解、把握信息检索的本质,从而改进信息检索系统的设计与评价工作,具有重要的理论指导意义。
  核铖评价相柄
  为了使多个信息检索系统的性能相互间可以比较,或者判断一个检索系统有了多大程度的性能改善,就需要有能够客观地评价检索系统的评价度量。这种评价称为检索性能评价。
  有效性
  信息检索系统的有效性是针对检索系统的检索结果做出的评价,主要有如下3个评价指标。
  :评价是否检索出了在客观上与查询请求相关的文档。
  确切性:评价检索出的文档是否与用户的检索目的相符。
  有用性:评价捡索出的文档是否对用户有用。
  假设用户提交的查询请求是要了解”约100到200亿年前宇宙诞生时发生的大爆炸“的情况,向检索系统提交査询词”大爆炸“作为査询请求。由于”大爆炸“这一词不仅可以用来描述宇宙诞生时的大爆炸情形,也可以用来描述”人口大爆炸“、”XX发生大爆炸“等的情形。因而,检索结果中不仅有关于宇宙大爆炸的内容,也会有人口大爆炸等内容。在检索结果中,与宇宙大爆炸相关的内容对于用户来说是本来的检索目的,人口大爆炸与检索目的是无关的。所以从确切性来看,检索出与检索目的不同的信息就不能说是好的检索结果。
  但是,对于上述的查询请求,检索出人口大爆炸的信息从客观上判断并没有检索错,由于查询请求的多义性,才会有这样的检索结果。作为检索系统确实是输出了与査询请求相关的检索结果。所以从检索结果的相关性来判断,是得到了好的检索结果。
  再假设用户从人口大爆炸的信息中得到了不曾知道的有关人口大爆炸的许多统计数据,这些数据可能也是用户想要了解的,那么,尽管检索到的人口大爆炸的信息对照查询请求既不相关也不确切,但却是有用的。反之,检索出来的与宇宙大爆炸有关的信息中都是用户既知的信息,用户从中未得到有用的信息,那么,尽管检索结果确切性是高的,但有用性却是低的。
  因此,在相关性、确切性和有用性3个指标中,确切性和有用性依赖于用户个人喜好,不容易进行客观、定量的评价。所以,一般评价信息检索系统的有效性指标只使用相关性。
  查全率和查准率
  为了客观、定量地评价信息检索系统曲有效性,一般只使用相关性这一评价指标。基于相关性的信息检索系统的评价,一般有以下两个原则。
  完全性:是否无遗漏地检索出与査询请求相关的文档。

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片147

  准确性:是否只检索出与査询请求相关的文档。
  有各种度量标准可以对上述原则进行评价,就是查全率和査准率。表5.1给出査全率与査准率度量方法的文档集合。

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片144

  检索性能评价用表

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片142

  相关文献不相关文献总计
  被检出文献ACA+C
  未检出文献BDB+D
  总计A+BC+DA+B+C+D
  査全率
  查全率(RecallRatio,R)是衡量系统在实施某一检索作业时检出相关文献能力的一种测度指标,是对检索遗漏程度的度量。其计算方法为查全率=检出的相关文献量/检索系统中的相关文献总量‘=A/(A+B)
  査准率

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片143

  査准率(PrecisionRatio,P)是衡量系统在实施某一检索作业时检索精度的一个测度指标,是对检索噪音程度的度量。其计算方法为查准率=检出的相关文献量/检出的文献总量=A/(A+C)査全率和查准率的值的范围都是在1之间。在理想情况下,希望査全率和査准率都接近但实际情况是,当査全率提髙时,查准率下降,反之,查准率提高时,査全率下降。在极端情况下,不管是什么样的査询请求,若检索系统输出所有文档的话,其査全率应当为正。但在文档集中,与査询请求相关的文档一般较少,所以,査准率接近于0。另外,如果只输出与査询相关的一个文档,査准率为1,但一般来说,相关文档不只是一个,所以,査全率必然降低。
  非相关检出率
  非相关检出率(Fallout,F),主要用来衡量检索系统对不相关文献的检出比率,其计算方法为非相关检出率=检出的不相关文献/检索系统中的不相关文献总量=c/(c+n)囊括值
  囊括值(Generality,G)用来表示与某一检索提问相关的文献在系统文献集合中的分布密度,其计算方法为囊括值二检索系统中的相关文献总量/检索系统中的文献总量=(A+B)/(A+B+C+D)5.2.3其他指标
  査全率和査准率之间具有密切的关系(即”互逆关系“),反映了某一检索结果集合的不同方面的特性。目前,在评价试验的实践中,经常采用的方法是将査全率和査准率结合在一起,形成某种单一指标或平均值指标,对它们进行替代。常见的査全率和査准率的替代性计算指标主要有以下几种。

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片145

  平均查全率和平均査准率
  平均查全率和平均查准率的具体计算方法有3点平均值计算和11点平均值计算两种方式。其中3点平均值的计算方法是:选择查准率值分别为(0.25,0.50,0.75)或(0.2,0.5,0.8)时,对这3点上的査全率值求平均;或者,选择查全率值分别为(0.25,0.50,0.75)或(0.2,0.5,0.8)时,对这3点上的查准率值求平均。
  点平均值的计算方法则是将讦算平均值的点扩展为(0.0,0.1,0.2,…,0.9,1.0)等11个,其余与3点平均值方法相同。著名的TREC评价试验就采用了11点平均值的指标计算方法。
  尺查准率
  尺査准率就是在返回的排序结果的第R个位置计算査准率,产生排序结果的单值度量。文挡集合中,假设与査询相关的文档总数为只。在与查询相关程度排序输出检索结果的系统中,输出从高相关位到尺相关位的检索结果称为尺査准率(^precision)。只査准率是一种评价按相关顺序输出检索结果有效性的度量。尺查准率方法对于观察一种算法在试验中每个査询的有效性是非常有用的。另外,还可以对所有的查询计算平均K查准率值。
  F调和均值
  排序结果中第j个文档的査全率尺(>)与査准率P(>)的调和均值称为F调和均值(F-measure),定义如下:
  —4——

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片150

  WP(>)
  F调和均值取值在[0,1]范围内,当査全率和査准率双方的值都大时,F取的值大。F取值越大表示性能越好。
  E均值
  E均值(E-measure)允许用户指定是对查全率更感兴趣还是对査准率更感兴趣。E均值定义如下:
  +b2
  b2
  
  +

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片149

  尺P
  其中,6为参数,用以表示查全率还是查准率的重要程度。
  当b=l时,表明査全率和査准率是同等重要。
  当b>l时,表示与査全率相比,更看重査准率。
  当b  E取值范围是[O,1],E取值越小表示性能越好。当6=1时,E的值中用1减去的部分就是F的值。
  ranking指标

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片148

  对于大型的文档集来说,査全率是很难统计的。人们更关心检索返回的文档是否排在前面,以及排在前面的紧密程度如何。因此,往往采用ranking指标来评价系统的检索性能。ranking指極如下所述。
  ①平均排序值
  设某个查询请求为,…,^,并为系统检索出的正确结果,ranking^)为查询g的第j个正确结果的排序位置,则平均排序值计算如下:
  m
  AR(。)=—y]ranking(r?)
  该式反映了某个査询在检索结果中的排序平均值,该值越小越好。
  ②平均排序紧密度
  为了反映与查询相关的文挡在检索结果中排在靠前位置的紧密程度,可以用下式计算:
  ARR(。)=—2ranklng
  如果相关文档全部排在最前面,那么该值为1。
  相其袓扠和会铽
  与信息检索领域相关的组织和会议主要有ACMSIGIR,TREC,WWWConference等。
  ACMSIGIR起始于1978年,是信息检索领域最著名的年度学木会议,学术论文可以代表本领域的最髙学术水平。始于1994年的WWWConference由国际W3C联盟组织举办,是Web领域最重要的学术会议。会议涉及包括Web信息挖掘、搜索、语义Web在内的与Web相关的内容。TREC是由美国国家标准与技术研究所(NationalInstituteofStandardsandTechnology,NIST)和美国国防高级研究计划局(DefenseAdvancedResearchProjectsAgency,DARPA)赞助并组织的文本信息检索领域的一个国际性重要会议D在信息检索领域中,检索系统评价对于系统的研究、开发和应用有着显著的影响。目的是达到TREC追求的4个主要目标:
  以大规模测拭集为基础,推动信息检索的研究;经由开放式的论坛,使与会者能交流研究的成果与心得,以增进学术界、产业界与政府的交流互通;经由对真实检索环境的模拟与重要改进,加速将实验室研究技术转化为商业产品;发展适当且具应用性的评估技术,供各界遵循采用,包括开发更适用于现有系统的新的评估技术。
  TREC的目的是促进信息检索研究的开发,为产业界、学术研究机构提供技术交流的舞台,从1992年开始,每年举办一次,提供一些不同的测试子项目,如交叉语言检索、信息过滤等。Web信息检索从1999年开始成为TREC的一个测试子项目,提供英文Web测试集。缺乏大规模的中文Web测试集是制约中文信息检索技术前进的障碍。目前,北京大学网络实验室和北京大学计算语言学研究所从2004年6月起建立并维护的以大规模中文Web信息为测试集的信息檢索研究论坛(http://www.cwirf.org):中文Web信息检索i仑坛(ChineseWebInformationRetrievalForum,CWIRF),正在致力于建立大规模的中文Web测拭集,推动中文信息检索技术的进步和发展。另外,有关信息检索的人物、杂志、会议介绍可以参考中国科学院计算所(httP://www.ict.ac.cn)和北京大学网络与分布式实验室的网站(http://sewm.pku.edu.cn/IR-Guide.txt)o为了对信息检索系统做出评价,需要有统一的测试参考文档集和统一的评价系统。TREC可以说是选拔优秀信息检索系统的权威性会议,为信息检索研究人员提供了一种标准的用于比较信息检索系统的评价平台。TREC最大的特点是提供一组统一的测试文档集,用以比较评价各种检索技术和检索系统。测试文档集包含以下3种数据。

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片146

  文档集合:评价检索系统时采用的检索对象文档的集合。
  查询文档集合:评价检索系统时采用的査询文档的样本集合(或称为检索主题)。
  相关信息(relevancejudgments,relevanceassessments):对成于每个查询样东,表明文档集合中哪个文档是相关的(或是不相关的)信息。根据测试数据的不同有时给出部分相关的信息。

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片141

  采集上述数据时,最困难的是如何得到相关信息。若是小规模的测试集,所有的文档都由人工检测,给出与查询请求相关或不相关的信息是可能的。但数据规模增大时,人工检测几乎是不可能的。这时,采用一种称为收集池的方法。收集池方法的前提是有多个信息检索系统可以利用。针对某一检索问题,每个检索系统给出检索结果中的前々个文档,将各个系统的前々个文挡收集在一起,再由人工进行判断,最后得出每一个文档的相关性。
  我国信息检索的相关会议有两个:一个是”全国信息检索与内容安全学术会议“,主办单位是”中国中文信息学会信息检索与内容安全专业委员会“,该全国性会议目前已经举办了3届,第1届由复旦大学承办,第2届由中国科学院计算技术研究所承办,第3届由苏州大学承办;另一个是”全国搜索引擎和网上信息挖掘学术研讨会“,主办单位是”中国计算机学会互联网专业委员会“,该全国性会议目前已经举办了5届,分别由北京大学、华南理工大学、清华大学、山东大学和海南大学承办。
  小猪
  本章讨论了信息检索系统的性能评价问题。为了使多个信息检索系统的性能相互间可以比较,或者判断一个检索系统有了多大程度的性能改善,就需要有能够客观地评价检索系统的评价量度。
  対于信息检索系统来说,用户的查询请求本质上具有一定的模糊性,检索到的文档并不是所査询的精确结果,因此必须按照它们与查询的相关程度来排序,这在信息检索中是非常重要的。
  对信息检索系统的检索结果进行评价,称为检索性能评价。尽管可以从检索速度、用户接口等观点来评价检索系统性能,但最主要的还是检索系统的有效性。为了客观、定量地评价信息检索系统的有效性,一般只使用相关性这一评价指标。
  对相关性的评价,主要用系统的査全率和查准率来度量。对于大型文档库来说,除了相关性之外,平均排序值、平均排序紧密度等也是实际上常常采用的指标。
  思考扳
  何为相关性?简述相关性的特征。
  相关性模型有哪些?各有什么特点?
  如何评价信息检索系统的有效性?

信息检索系统的有效性是针对检索系统的检索结果做出的评价的图片153

  用几个搜索引擎检索自己感兴趣的内容,评价比较各个系统检索的性能。
  上网检索TREC,综述当年TREC的概况、关注的热点。
  网络搜索引擎技术
  因特网是世界上最大的信息网络系统,是人类智慧的海洋、知识的宝库,也是最大的教育文献资源库。要从网络中搜索出有用的信息,最好的办法就是使用网络搜索引擎。搜索引擎可以利用网络自动搜索的功能,对各种信息资源分门别类地进行标引、建库,并对信息进行理解、提取、组织和处理,从而起到信息导航的作用。本章主要介绍网络搜索引擎的基本结构、数据结构和搜索引擎爬虫。
  锼索利繫的瓜蜂锫拘
  搜索引擎的结构分类
  本文转载自
  宁波seo优化www.leseo.net
  补充词条:宁波谷歌优化  宁波seo优化公司  宁波seo推广公司  宁波seo排名  宁波网站seo