〔摘要〕经过ISIWebofScience和我国期刊网查找有关查找引擎点评研讨的文章,本文对查找引擎点评研讨的相关文献进行了梳理,并对研讨办法进行了总结。查找引擎点评研讨办法主要有试验法、查询法、调查法、数据剖析法、总述和谈论等。对比国内外相关研讨,国内查找引擎点评研讨数据支撑较为缺乏,科学剖析和证明也显着缺乏。本文旨在提高国内查找引擎点评研讨的科学性。
〔关键词〕查找引擎;点评;研讨办法;总述
DOI:10.3969/j.issn.1008-0821.2010.12.045
〔中图分类号〕G354〔文献标识码〕A〔文章编号〕1008-0821(2010)12-0163-05
OverviewoftheMethodsofEvaluationonSearchEngineFeiWei
(SuzhouLibrary,Suzhou215002,China)
〔Abstract〕ThepaperreviewdthedocumentsrelatedtotheevaluationofsearchenginesbasedontheISIWebofScienceandCNKI.Themethodsofthesestudieswereconcluded,whichwereexperimentation,survey,observation,dataanalysis,andreview.Accordingtothecomparisonbetweendomesticandoverseascorrelationalresearch,theresearchontheevaluationofsearchengineswaslackofdata,aswellasscientificanalysisandverification.TheaimofthispaperwastoimprovethescientificityoftheevaluationofsearchengineinChina.
〔Keywords〕searchengines;evaluation;researchmethod;overview
查找引擎点评研讨触及很多学科,如计算机科学、图书情报科学、统计学、认知科学、电子通讯、机械工程、自动化和控制体系等。ISIWebofScience数据中查找引擎点评研讨触及到的学科及其分支学科有236个之多(检索时刻:2010年10月9日),可见查找引擎点评研讨具有很强的跨学科性质,因而查找引擎点评的研讨办法也不免具有跨学科的特色。Louise提到查找引擎点评研讨办法之一的天然调查法(Naturalisticstudies)[1]被心理学家、行为学家和社会学家选用,用来调查其研讨目标的天然习气。Orland总结的纵向研讨法(longitudinalstudies)[2],被遍及运用于医学调查,常用于调查某一疾病出现的预兆和症状。还有一些其他的办法被运用于各个范畴的研讨和实践之中,这些研讨办法能够很好地与查找引擎点评研讨相结合,不断充实该范畴的研讨,也逐步加强查找引擎点评研讨的严谨性和科学性。
1查找引擎点评研讨办法
Louise概括出查找引擎点评的研讨办法有谈论法(Review)、试验法(Experiments)、天然调查法(Naturalisticstudies)、查询法(Survey)等。Orland概括了可视化检索体系的点评办法:调查法(InspectionMethods)、试验室研讨法(Laboratorystudies)、现场试验法(FieldTrials)、纵向研讨法(LongitudinalStudies)以及体系和日志剖析法(Instrumentationandloganalysis)等。国内的研讨人员也对查找引擎点评办法进行了概括总结,如比较剖析法和测验试验法[3],如以描绘为主的查找引擎点评办法,以查询成果的射中个数作为点评规范等[4]。
概括国内外关于查找引擎点评研讨,笔者将查找引擎点评研讨办法分为以下几种。
1.1试验办法
试验办法越来越多地被运用于查找引擎点评的研讨,研讨人员根据其研讨课题,力求探明现象与成果之间的联系。在试验中,研讨者首先要提出有关研讨意图的问题或假定,并界说变量与自变量,从试验中获取相关数据,经过数据剖析来给出问题的答案或证明假定是否成立。试验办法有较强的可控性和操作性,其可控性体现为对试验中变量和自变量的界说以及数据搜集的规范和数据量的大小等方面。操作性则体现为研讨人员按照科学的试验办法,结合研讨课题自身的需求,对试验进程进行科学合理的规划,规范数据搜集的规范并依此规范搜集和搜集数据,并运用科学的东西对搜集的数据进行剖析。
Jansen等在查找引擎检索电子商务信息的功用点评研讨中提出了3个假定,别离界说了变量和自变量,经过检索实例搜集了相关数据,并运用方差剖析法、TukeysHSD查验以及回归剖析法等剖析了试验数据[5]。经过试验研讨表明,相较于全文检索,根据概念的检索能显著提高检准率,越多的语义因素加入检索式中,检准率就越高[6]。查找引擎点评研讨越来越注重试验办法,也越来越多地采纳试验的研讨办法。如研讨用户特性对信息检索体系心理模型的影响的点评研讨[7],PageRank检索学术信息才干的点评研讨[8],语言及检索使命对相关性点评的影响研讨[9],网页是否含有元数据对网页被查找引擎检索的影响研讨[10],用户在强化主题词检索环境下检索式扩张行为的研讨等[11]。
试验办法极大地促进了查找引擎点评研讨的开展,研讨人员针对查找引擎的各个方面展开点评研讨,并取得了一系列的成果。试验办法具有较强的针对性、可控性和操作性,不过这也从某种程度上阐明试验办法具有必定的主观性,在试验规划、规范拟定、数据搜集等进程中不免融入了研讨人员的主观因素,这或多或少会对查找引擎点评的客观性造成影响。因而,用试验的办法进行查找引擎点评研讨需求尽量削减试验进程中的主观性因素,这就对试验规划、规范拟定以及数据搜集等各方面提出了更高的要求。
2010年12月第30卷第12期查找引擎点评研讨办法总述Dec.,2010Vol.30No.121.2查询办法
在查找引擎的点评研讨中,研讨人员会针对运用查找引擎的行为用户进行调研,包含用户的布景,如性别、职业、学历等,用户挑选查找引擎的原因,如用户惯性、查找引擎功用、查找引擎口碑等,用户运用查找引擎的行为,如检索词的挑选、检索式的结构、检索时刻的长短、对检索成果的处理等。这些信息对查找引擎的点评研讨具有重要的含义,其数据直接反映了用户运用查找引擎的各方面信息,很具参考价值,对查找引擎的规划和优化研讨尤为重要。查询办法首先要规划切实可行的查询问卷,确保问卷的逻辑性,必须环绕研讨问题进行有针对性地规划。
Amanda等对Excite查找引擎的用户特征与检索行为之间的联系进行了研讨,其数据搜集主要包含用户布景、检索主题、检索词和检索式、接连检索行为等。研讨成果显现大多数用户的检索式比较简短,很多用户的检索行为具有持续性,并依次递进,但是查找引擎在其检索战略的透明度方面还显得不行[12]。Kruschwitz和Al-Bakour研讨了用户对查找引擎检索协助体系的要求,并对根据使命的检索成果进行了点评。在研讨中,作者根据TREC-9交互轨迹(InteractTrack)的查询问卷规划了针对其研讨意图的查询问卷,包含输入(Entry)、后检索(Postsearch)、后体系(Postsystem)和输出(Exit)4个分问卷。结合问卷数据和检索使命的数据剖析,研讨成果显现,相比于规范的查找引擎只供给排序的检索成果,用户更倾向于运用供给检索式修正的查找引擎,即便在某些方面这些查找引擎并没有那些规范的查找引擎做得更好[13]。由于查询办法能客观反映用户运用查找引擎的行为习气和特色,从数据中能够剖析获知当时查找引擎的盛行度、检索功用的满意度、用户的检索行为等,所以一向深受研讨人员的喜爱。如针对用户运用查找引擎经历的查询,成果显现检索经历对用户挑选查找引擎具有重要影响,并且关键词查找引擎比目录式查找引擎更受欢迎等[14]。对全球查找引擎运用状况的查询,发现查找引擎的运用具有很强的政治、文明和地域色彩。并且,相比于其他因素,查找引擎的成果、检准率、检全率和可靠性对用户而言更为重要[15]。还有对查找引擎检索式翻译功用效果的查询研讨[16],成果描绘对相关性影响的研讨[17],用户的品牌意识对其运用查找引擎的影响等[18]。
经过以上研讨实例不难看出,查找引擎点评研讨选用查询的办法多是从用户角度来剖析查找引擎的运用状况,从客观上展现了当时用户运用查找引擎的状况,如不同性别、年纪、职业、学历的用户群运用查找引擎的行为特征,查找引擎的满意度,不同类型查找引擎的用户群,查找引擎功用的实际功用等。在查找引擎点评研讨的进程中需求注意的是,用户的行为特征当然具有很大的参考价值,但不能过分倚重用户的经历。因为用户的经历反映的是用户运用查找引擎的习气,并不能彻底阐明查找引擎开展的趋势。一些研讨表明,用户运用查找引擎的行为和检索战略还略显简单,有关组织和单位需求对用户运用查找引擎进行必要的培训和采纳活跃的引导[19-21]。
1.3数据剖析法
数据剖析是指搜集、处理和转化数据的一个进程,以突出效用信息、提出定论并支持决策。数据剖析具有多方面、多途径和多技能的特色,在商业、天然科学和社会科学等范畴有不同的术语表达办法。如数据开掘就是典型的数据剖析办法,经过建模和常识开掘来发现规律和完结猜测,而不只仅对信息和数据进行描绘。
相较于试验办法和查询办法,数据剖析办法的数据来历要略显快捷,不用规划试验进程和查询问卷,而是从揭露的渠道获取有关查找引擎的数据和信息进行剖析研讨。其主要数据和信息来历于有关查找引擎研讨的信息组织、有查找引擎的网站以及专业查找引擎网站,InternetUsageWorldStats(http:∥internetworldstats.com)、Pew(http:∥pewinternet.org/)、我国互联网络中心(http:∥www.cnnic.net.cn)、iResearch公司(http:∥www.iresearch.com.cn)、SearchEngineWatch(http:∥searchenginewatch.com)等组织会不定期发布有关查找引擎的统计数据,如我国互联网络中心发布的《2008年我国查找引擎商场广告主查询报告》以及《2008年我国查找引擎用户行为研讨报告》等。一些具有查找引擎功用的热门网站,其查找数据也是进行查找引擎点评的研讨人员较为关注的,如BBC网站的查找日志[22],美国犹他州政府网站的检索日志等[23]。不少专业查找引擎网站也会不定期发布其日志,如Excite、Altavista、Alltheweb、搜狗、天网等。
查找引擎研讨组织发布的数据多为描绘性的信息,对其数据进行深度剖析的含义不大。数据剖析办法在查找引擎点评研讨中的运用,主要还是对查找日志中海量信息的析取和提炼。如MartinWhittle等对Excite1天中的1025910个检索式进行剖析研讨,并从日志的研讨剖析中获知用户的检索习气[24]。BernardJ.Jansen等剖析了元查找引擎Dogpile.com的检索日志,对2005年5月6日534507名用户的2465145次检索行为进行了研讨,从中剖析了用户的检索式长短和检索时刻的长短等[25]。DavidNicholas等对Blackwell网站500000条用户检索记载、OhioLINK的2250000条用户记载以及OxfordScholarshipOnline(OSO)的4240条用户记载进行了剖析,对在数字环境下学生查询信息的行为进行了研讨,比较剖析了学生群体与其他学术团体查询信息的行为特征[26]。
数据剖析法主要运用在对大数据和大信息量的用户检索日志的解析,从中开掘用户运用查找引擎的行为习气等有价值信息,据此对查找引擎的规划、改进和完善提出活跃的战略,并对用户运用查找引擎的行为缺点提出修补建议。研讨人员或编写程序对数据进行剖析,或运用科学的统计软件(如SPSS、SAS等)从数据中开掘规律性的信息。与试验办法和查询法相比,数据剖析更为客观。各检索体系和查找引擎网站的检索日志直接来历于用户真实的信息检索行为,并且这些数据以海量呈现,所以经过数据剖析得出的定论能较为客观地反映出用户的行为特征和查找引擎的功用。
1.4调查法
调查法是指研讨人员调查用户运用查找引擎这一现象,凭借必定的技能手段记载用户检索行为和查找引擎工作状况。在调查的进程中,研讨人员只记载相关的数据和信息,并不进行人工干预。研讨人员运用调查法进行查找引擎点评研讨时会根据其预设的问题,挑选合适的调查目标,分配必定的检索使命。在调查目标运用查找引擎完结检索使命的进程中,研讨人员直接调查或许用电脑屏幕视频软件记载调查目标的检索行为。经过调查,研讨人员能直观地了解调查目标的行为特征,如检索式的结构、检索战略的挑选、点击成果数量、查询页数、检索进程中不同阶段的检索功率等。
一些研讨人员经过调查研讨性别与检索行为之间的联系,如Large等经过调查学生的检索行为发现,男生和女生在运用查找引擎时具有显着的区别,男生运用较少的检索词,阅读单个成果页面的时刻要短,单位时刻内点击的网页数量要多,男生的检索行为表现的更为活跃[27]。Roy和Chi根据检索成果的反应,发现男生倾向于挑选与女生不同的检索模式,但检索模式对检索成果的挑选没有决定性的影响[28]。LoriLorigo等调查发现,性别对检索模式和检索成果的挑选具有显着的影响,女人会查阅更多的成果文摘[29]。还有对特定人群的检索行为的研讨,如IanRowlands等对所谓Google一代(Googlegeneration,1993以后出世的人群)的信息获取行为进行研讨,成果显现现代通讯技能的效果被夸张了,这些技能并不能有效地提高信息检索、获取和点评的才干[30]。Andrew等对儿童运用查找引擎行为的调查研讨,研讨人员给15名儿童分配了检索使命,调查其检索行为,成果显现检索经历、辅导、习惯虚拟环境才干等对其检索功率具有显着的影响[31]。还有其他的一些查找引擎点评研讨经过调查法来施行[32-34]。
与试验办法相比,调查法获取的数据量可能不大,但是试验办法只能获取用户的检索判别及其发生的检索成果,不能经过检索进程获知用户怎么做出检索判别。调查法不只能够剖析检索成果,更为重要的是能够经过调查和记载目标的检索行为,对查找引擎的检索功用进行定性研讨。但是运用调查法的缺乏之处表现为查找引擎的选取、调查目标的选取和检索使命的分配都受研讨人员的主观想法的影响。一起,研讨人员在调查记载的时分,虽然记载的是客观现象,但在记载的进程中不免会有主观判别和挑选。上述这些因素都会影响到点评研讨的客观性。因而怎么尽量客观地施行试验和记载调查到的现象,削减人为因素的干扰,是在运用调查法时需求特别注意的。
1.5总述和谈论
总述和谈论也是查找引擎点评研讨中常用的办法,专门的总述和谈论,其意图在于理清某一阶段查找引擎点评研讨某一方面的状况,提醒研讨的缺乏并总结出开展的趋势。如Konstantina对网络信息检索行为的研讨进行了总结,以为要从用户运用查找引擎的各个方面进行全体研讨,要充分考虑用户的经历、信息需求、特性、社会以及文明布景等[35]。Manoj和Elizabeth概述了各种元查找引擎的功用、工作机制、数量增长、演进和普及程度等方面的研讨现[36]。秦喜艳、陆伟等对查找引擎检索成果相关性的研讨成果进行了比较剖析,包含相关性的判别、检索体系的点评目标、点评办法等[37]。还有对外国查找引擎检索成果研讨的总述[38],元查找引擎研讨总述[39],元查找引擎排序技能研讨总述等[40]。与专题研讨相结合的总述和点评研讨,其意图与专门的总述和点评研讨相异,一方面在于为研讨人员的专题研讨供给参考资料,另一方面也阐述了进行研讨的必要性和可行性。此类总述和谈论常见于期刊和会谈论文中的相关章节,如文献评述(literaturereview)、相关研讨(relatedstudies/research)、相关论著(relatedwork)、前人研讨(previousresearch)等。总述和谈论是查找引擎点评研讨必不可少的研讨环节。研讨人员只要认识和熟知了研讨现状,包含科学的研讨办法、已有的研讨成果等,并充分认识到研讨的缺乏之处后,才干进一步开展相关研讨。
2结论
查找引擎研讨的点评办法并非独自存在,而是被概括运用。总述是研讨的根底,试验、查询和调查等办法开展研讨的保障,科学的数据剖析办法和谨慎的证明则是提高研讨质量的确保。比照中外研讨,国内查找引擎点评研讨的办法较为单一,多为描绘性点评,缺乏数据的支撑和科学的剖析证明。因而,本文的意图也旨在经过对研讨办法的总结和概括来促进我国查找引擎点评研讨的科学化开展。
参考文献
[1]Su,L.T.AComprehensiveandSystematicModelofUserEvaluationofWebSearchEngines:I.TheoryandBackground[J].JournaloftheAmericanSocietyforInformationScienceandTechnology,2008,(13):1175-1192.
[2]OrlandHoeber.UserEvaluationMethodsforVisualWebSearchInterfaces.Proceedingsofthe200913thInternationalConferenceInformationVisualisation,2009:139-145.
[3]陈海龙.查找引擎的点评规范及其办法研讨[J].情报杂志,2001,(9):50-51.
[4]赵华.一种查找引擎功用的简洁点评办法和事例[J].图书馆理论与实践,2005,(6):114-115.
[5]BernardJ.Jansen,PauloR.Molina.TheEffectivenessofWebSearchEnginesforRetrievingRelevantEcommerceLinks[J].InformationProcessingandManagement,2006,(4):1075-1098.
[6]MoskovitchR,MartinsSB,BehiriE,WeissA,ShaharY.AComparativeEvaluationofFull-text,Concept-based,andContext-sensitiveSearch[J].JournaloftheAmericanMedicalInformaticsAssociation,2007,(2):164-174.
[7]Zhang,X.M,Chignell,M.AssessmentoftheEffectsofUserCharacteristicsonMentalModelsofInformationRetrievalSystems[J].JournaloftheAmericanSocietyforInformationScienceandTechnology,2001,(6):445-459.
[8]MikeThelwall.CanGooglesPageRankbeUsedtoFindthemostImportantAcademicWebPages?[J].JournalofDocumentation,2003,(2):205-217.
[9]PrebenHanse,JussiKarlgren.EffectsofForeignLanguageandTaskScenarioonRelevanceAssessment[J].JournalofDocumentation,200,(5):623-639.
[10]Zhang,J.,Dimitroff,A.TheImpactofMetadataImplementationonWebpageVisibilityinSearchEngineResults(PartⅡ)[J].InformationProcessingandManagement,2005,(3):691-715.
[11]Shiri,A.,Revie,Crawford.QueryExpansionBehaviorWithinaThesaurus-EnhancedSearchEnvironment:AUser-CenteredEvaluation[J].JournaloftheAmericanSocietyforInformationScienceandTechnology,2006,(4):462-478.
[12]Spink,A.,Bateman,J.andJansen,B.J.SearchingtheWeb:surveyofExciteusers[J].InternetResearch:ElectronicNetworkingApplicationsandPolicy,1999,(2):117-128.
[13]Kruschwitz,U.,Al-Bakour,H.UsersWantMoreSophisticatedSearchAssistants:ResultsofaTask-BasedEvaluation[J].JournaloftheAmericanSocietyfortheInformationScienceandTechnology,2005,(13):1377-1393.
[14]Liaw,S.,Huang,H.M.InformationRetrievalfromtheWorldWideWeb:aUser-focusedApproachbasedonIndividualExperiencewithSearchEngines[J].ComputersinHumanBehavior,2006,(3):501-517.
[15]Dudek,D.,Mastora,A.,Landoni,M.IsGoogletheanswer?AStudyintoUsabilityofSearchEngines[J].LibraryReview,2006,(3):224-233.
[16]Airio,E.WhoBenefitsfromCLIRinWebRetrieval?[J].JournalofDocumentation,2008,(5):760-778.
[17]Lewandowski,D.TheRetrievalEffectivenessofWebSearchEngines:ConsideringResultsDescriptions[J].JournalofDocumentation,2008,(6):915-937.
[18]Jansen,B.J.,Zhang,M.M.,Zhang,Y.TheEffectofBrandAwarenessoftheEvaluationofSearchEngineResults.CHI07ExtendedAbstractsonHumanFactorsinComputingSystems,2007:2471-2476.
[19]Kleinberg,J.(1999).Hubs,authoritiesandcommunities.ACMComputingSurveys,31(4)[EB].http:∥www.cs.brown.edu/memex/ACMHypertextTestbed/papers/10.html,2010-10-09.
[20]Bilal,D.ChildrensUseoftheYahooligans!WebSearchEngine.III.CognitiveandPhysicalBehaviorsonFullySelf-GeneratedSearchTasks[J].JournalofAmericanSocietyforInformationScienceandTechnology,2002,(13):1170-1183.
[21]Al-Ansari,H.InternetusebythefacultymembersofKuwaitUniversity[J].TheElectronicLibrary,2006,(6):791-803.
[22]Huntington,P.,Nicholas,D.,Jamali,H.R.EmployingLogMetricstoEvaluateSearchBehaviorandSuccess:CaseStudyBBCSearchEngine[J].JournalofInformationScience,2007,(5):584-597.
[23]Chau,M.,Fang,X.,Sheng,O.R.L.AnalysisoftheQueryLogsofaWebSiteSearchEngine[J].JournaloftheAmericanSocietyforInformationScienceandTechnology,2005,(3):1363-1376.
[24]Whittle,M.,
宁波seoEaglestone,B.,Ford,N.,Gillet,V.J.,Madden,A.DataMiningofSearchEngineLogs[J].JournaloftheAmericanSocietyforInformationScienceandTechnology,2007,(14):2382-2400.
[25]Jansen,B.J.,Spink,A.,Blakely,C.,Koshman,S.DefiningaSessiononWebSearchEngines[J].JournaloftheAmericanSocietyforInformationScienceandTechnology,2007,(6):862-871.
[26]Nicholas,D.,Huntington,P.,etc.StudentDigitalInformation-seekingBehaviourinContext[J].JournalofDocumentation,2009,(1):106-132.
[27]Large,A.,Beheshti,J.,Rahman,T.GenderDifferencesinCollaborativeWebSearchingBehavior:anElementarySchoolStudy[J].InformationProcessingandManagement,2002,(3):427-443.
[28]Roy,M.,Chi,M.T.H.GenderDifferencesinPatternsofSearchingtheWeb[J].JournalofEducationalComputingResearch,2003,(3):335-348.
[29]Lorigo,L.,Pan,B.,Hernbrooke,H.,Joachims,T.,Granka,L.,&Gay,G.TheInfluenceofTaskandGenderonSearchandEvaluationBehaviorUsingGoogle[J].InformationProcessingandManagement,2006,(4):1123-1131.
[30]Rowlands,I.,Nicholas,D.,Williams,P.,etc.TheGoogleGeneration:theInformationBehaviouroftheResearcheroftheFuture[J].AslibProceedings:NewInformationPerspectives,2008,(4):290-310.
[31]Madden,A.D.,Ford,N.J.,Miller,D.,Levy,P.ChildrensUseoftheinTernetforInformation-seeking[J].JournalofDocumentation,2006,(6):744-761.
[32]Spink,A.andOzmutlu,H.C.CharacteristicsofQuestionFormatWebQueries:anExploratoryStudy[J].InformationProcessingManagement,2002,(4):453-71.
[33]Spink,A.,Xu,J.L.SelectedResultsfromaLargeStudyofWebSearching:theExciteStudy.InformationResearch,2000,(1)[EB].http:∥InformationR.net/ir/6-1/paper90.html,2010-10-09.
[34]Broder,A.Ataxonomyofwebsearch.ACMSIGIRForum,2002,(2)[EB].www.acm.org/sigir/forum/F2002/broder.pdf,2010-10-09.
[35]Martzoukou,K.AReviewofWebInformationSeekingResearch:ConsiderationsofMethodandFociofInterest.InformationResearch,2005,(2)[EB].http:∥informationr.net/ir/10-2/infres102.html,2010-10-09.
[36]ManojM.,Jacob,E.InformationRetrievalonInternetUsingMeta-searchEngines:AReview[J].JournalofScientificandIndustrialResearch,2008,(10):739-746.
[37]秦喜艳,陆伟,姜捷璞.信息检索中的相关性判别和体系点评述评[J].图书情报常识,2009,(7):89-94.
[38]曹超.2002-2007年国外对查找引擎检索成果研讨总述[J].图书情报常识,2009,(1):90-96.
[39]吴小兰,汪琪.元查找引擎研讨总述[J].图书情报工作,2009,(5):46-49.
[40]曹林,韩立新,吴胜利.元查找引擎排序技能总述[J].计算机运用研讨,2009,(2):411-414.
本文转载自
宁波seowww.leseo.net
补充词条:
宁波谷歌seo
宁波网站seo
宁波网站优化推广
宁波seo推广公司
宁波网络seo公司