浅谈搜索引擎的分类及特点.doc

浅谈搜索引擎的分类及特点 随着信息技术的开展,网络的迅速普及,搜索引擎在网络用户的生活中扮演着越来越重要的地位,本文就爬虫式的搜索引擎、目录搜索引擎和元搜索引擎做了详尽的分析比较,并对目前的搜索引擎的特点进展了描绘 搜索引擎 分类 爬虫 元搜索引擎 目前internet上的搜索引擎按其工作方式主要可分为三种,分别是爬虫式的搜索引擎(spider based search engine),目录搜索引擎(search directory)和元搜索引擎(meta search engine) 一、爬虫式的搜索引擎 基于爬虫(也叫spider)的搜索引擎利用一个称为spider的程序自动访问web站点,提取站点上的网页,并根据网页中的链接进一步提取其它网页或转移到其它站点上robot搜集的网页被参加到搜索引擎的数据库中供用户查询使用基于spider的搜索引擎山三个主要局部构成spider, index和搜索软件爬虫从一个事先制定好的urls列表出发,这个列表中的urls通常是从以往访问记录中提取出来的,特别是一些热门站点和“what's new〞网页,从usenet等地方检索得到的urls也常被用作起始urls,很多搜索引擎还承受用户提交的urls,这些urls也会被安排在列表中供爬虫问列表中,如此递归地访问web。

爬虫作为一个程序,可以用c, perl, java等语言来编写,可以运行在unix, solaris, windows, nt, os2和mac等平台上locAlhoSt爬虫设计是否合理将直接影响它访问web的效率,影响搜索数据库的质量,另外在设计爬虫时还必须考虑它对网络和被访问站点的影响,因为爬虫一般都运行在速度快,带宽高的主机上,假如它快速访问一个速度比较慢的目的站点,就有可能会导致该站点出现阻塞甚至当机robot还应遵守一些协议,以便被访问站点的管理员可以确定哪些内容能被访问,哪些不能index是一个庞大的数据库,爬虫提取的网页将被放入到index中以便建立索引,不同的搜索引擎会采取不同方式来建立索引,有的对整个html文件的所有单词都建立索引,有的只分析html文件的标题或前几段内容,还有的能处理html文件中的meta标记或其它小可见的特殊标记当用户查询一个关键词时,搜索软件将搜索index,找出所有与关键词相符合的网页,有时候这些网页可能有成千上万,等级值的用处就是作为一种排序的根据,搜索软件将按照等级值从高到低的顺序把搜索结果送回到用户的阅读器中 这类搜索引擎因为依靠程序搜集数据,所以其数据库相当庞大,搜索的结果查全率较高,但查准率较低。

例如著名的搜索引擎google, baidu,a1tavista, infoseek等 二、目录搜索引擎 目录搜索引擎的数据库是依靠专职编辑或志愿人员建立起来的,这些编辑人员在访问了某个web站点后撰写一段对该站点的描绘,并根据站点的内容和性质将其归为一个预先分好的类别,把站点的url和描绘放在这个类别中,当用户查询某个关键词时,搜索软件只在这些描绘中进展搜索很多目录也承受用户提交的网站和描绘,当目录的编辑人员认可该网站及描绘后,就会将之添加到适宜的类别中目录的构造为树形构造,首页提供了最根本的几个大类的入口,用户可以一级一级地向下访问,直至找到自己感兴趣的类别,另外,用户也可以利用目录提供的搜索功能直接查找一个关键词不过,由于目录式搜索引擎只在保存了对站点的描绘中进展搜索,因此站点本身的动态变化不会反映到搜索结果中来,这也是目录式搜索引擎与基于robot的搜索引擎之间的一大区别 三、元搜索引擎 元搜索引擎也叫做multiple search engine,元搜索引擎在承受用户查询恳求时,同时在其他多个引擎上进展搜索,将结果进展相关处理,以整体统一的格式反应给用户。

它的特点是本身并没有存放网页信息的数据库严格意义上来讲,元搜索引擎只能算是一种用户代理,而不是真正的搜索引擎多数元搜索引擎在处理其它的搜索引擎返回结果时,只提取出每个搜索引擎的结果中考前的条目,然后将这些条目合并在一起返回给用户,因此最后结果的数量可能会远少于直接在一个搜索引擎上进展查找所得到的数量 元搜索引擎实现起比较简单,但是它也有一定的局限性,例如多数元搜索引擎都只能访问少数几个搜索引擎,并且通常不支持这些搜索引擎的高级搜索功能,在处理逻辑查询时也常'常会出现错误著名的元搜索引擎有infospace,dogpile,vivisimo等(元搜索引擎列表)在搜索结果排列方面,有的直接按来源引擎排列搜索结果,如dogpile,有的那么按自定的规那么将结果重新排列组合,如vivisimo 在这几中检索工具中,目录式搜索引擎虽有本钱高,信息t少的缺点,但它的信息准确这一优点是另二者所无法比较的,故在一定的领域,一定的时间,它仍会被使用:机器人搜索引擎是当前各种搜索引擎的主流;但随着网络信息量的不断增加,单一的搜索引擎已经难已满足其要求,结合目录式搜索引擎,机器人搜索引擎的优势,以元搜索引擎核心的多层代理搜索引擎是搜索引擎的开展方向。

搜索引擎技术从出现至今已获得了飞速的开展,如今的搜索引擎功能越来越强大,提供的效劳也越来越全面,它们的目的不仅仅是提供单纯的查询功能,而是把自己开展成为用户首选的internet入口站点目前的搜索引擎主要有以下几个主要特点: 1.多样化和个性化的效劳如今绝大多数搜索引擎都提供多样化的效劳,以吸引更多的用户,商业搜索引擎尤其注重这一点以yahoo为例,用户可以从它的首页中查看新闻,金融证券,天气预报等信息,还可以进展网上购物,拍卖或者使用email等效劳可以说多样化和个性化的效劳既满足了用户更多的需求,也为搜 【1】【2】索引擎网站带来了更多的利润 2.强大的查询功能与最早的搜索引擎相比,如今的搜索引擎在查询功能方面已有了很大的改良除了简单的and,or和not逻辑外,不少搜索引擎还支持相似查询,例如altavista,lycos等支持短语查询,altavista的高级搜索功能支持near逻辑等 3.目录和基于robot的搜索引擎互相结合目录和基于robot的搜索引擎都具有自己的特点,在当前的技术条件下,最好的选择是将两种技术进展结合,同时为用户提供这两种类型的效劳。

以yahoo为例,用户既可以进展分类网站查询也可以进展全部网页查询,这两种不同的查询方式很好的满足了不同用户的需求虽然搜索引擎已经为用户提供了快捷和便利的效劳,但是也存在着许多问题和缺乏特别是在系统的稳定性,速度,易用性和返回的信息量及相关度方面还与人们的要求存在着一定的差距,搜索引擎技术的开展任重而道远 参考文献: 【1】刘建国.搜索引擎概述.北京大学计算机与科学技术,1999,(10):200. 【2】李晓明,刘建国.搜索引擎技术及趋势.大学图书馆学报.2000,(16). 【1】【2】 。