FAST企业搜索平台.doc

微软 FAST 企业搜索平台简介微软（中国）有限公司2010/2/23目录第一章 FAST 简介 .....................................................................................................2第二章 FAST 系统概述 ..............................................................................................32.2 主要模块概述 ..............................................................................................32.2.1 FAST ESP（互联网和企业海量信息智能搜索平台） .....................32.2.2 FAST Unity（联合搜索解决方案） ..................................................42.2.3 FAST Recommendations（个性化推荐平台） ................................4第三章 FAST 搜索引擎功能概述 ..............................................................................53.1 信息采集和索引 ..........................................................................................53.1.1 采集多种数据源的信息 ..................................................................53.1.2 信息索引机制 ..................................................................................73.2 信息加工处理 ..............................................................................................83.2.1 信息加工处理流水线 ......................................................................83.2.2 语言学处理及分词断句 ...................................................................93.2.3 实体提炼 ........................................................................................113.2.4 分类引擎 ........................................................................................123.2.5 人工关联 ........................................................................................123.3 确保内容相关性 ........................................................................................123.4 搜索结果处理 ............................................................................................133.5 用户体验 ....................................................................................................153.6 管理和监测 ................................................................................................20微软 FAST 企业搜索平台简介2 / 26第一章 FAST 简介FAST 是新一代企业搜索技术与资讯革命的中心，我们的创新将继续推进市场的转变， 改变组织营运的方法与策略，将企业搜索转变成 IT 架构里的重要组件，并让搜索成为每个重要应用的核心引擎。

FAST 的客户群分布于各个行业，以搜索科技领先竞争对手 * FAST 目前是微软的子公司 研究表明，企事业单位的数据量以每年两倍的速度成长，数据格式种类也不断地多元发展，除了透过关系数据库存取的结构化数据，非结构化数据更是大幅增加，如：文件、日志、邮件、网页等对于企事业单位内部应用来说，多已完成办公、管理等系统的建设，但这些系统其实仅处理了占数据总量 20%的结构化数据，占 80%之非结构化数据的管理与搜索仍然缺乏妥善的解决方案，若要同时搜索结构化与非结构化数据更是加倍困难，而这却是组织取得正确、完整数据以进行有利决策的必要条件对于企事业单位外部应用来说，为客户群提供更好的服务，吸引新客户、留住老客户，将获取自数以百计的数据源的信息进行整合、统一展现，让访问量最大限度的转化为盈利都成为日渐紧迫的任务因此，要真正将所有数据转化成为帮助企业提高生产力与获利的资产，关键下一步就是“企业搜索－Enterprise Search”透过企业搜索，组织内部的用户得以快速从庞大而多元的数据集中获得有用的解答，组织外部的用户更因优异的使用体验，进而提高忠诚度与贡献，而真正的企业搜索平台必须具备：提高生产力——高效能搜索平台要能以最低成本，在最短时间内搜索最大量且精确数据。

FAST 透过单一平台即可搜索结构与非结构化等各类型数据，并藉由语言学技术，建立索引，提供精准、符合企业背景与特性的搜索结果，而非一般无差别的搜索方式，FAST ESP 更具备比数据库快数十倍的查询效能，大幅降低机器和数据库软件购买的成本，并减轻 DBA(数据库管理员)的维护工作，同时 FAST ESP 带来的准确、快速、更佳的用户体验都能提高企业的运作效率提供盈利方案——搜索要转化为广告点击率、交易金额与促销成功率，才能带来实质获利，透过 FAST ESP，您可结合客户搜索数据、浏览网页的习惯以及其个人配置(profile)数据，提供更符合需求的推荐商品或更能引起兴趣的广告呈现，使搜索与获利得以紧密结合 根据 Gartner 于 2009 年 9 月对企业搜索市场的研究报告指出，微软凭借FAST ESP 在企业搜索需求的前瞻性、涵盖度和实现能力，已成为该行业的全球微软 FAST 企业搜索平台简介3 / 26领导者第二章 FAST 系统概述微软 FAST 提供搜索引擎的应用方案，将不同来源的所有信息内容整合在一起并以易用的形式再现给用户，为用户提供高度相关的搜索结果和个性化的搜索体验。

微软 FAST 致力于为每个接入终端（PC、等）都提供最好的用户体验从功能上描述，主要实现以下功能： 信息采集和索引：从多种资源获取信息内容，包括数据库，文本文件和现有的网站，并对所有内容建立索引 信息加工处理：提供语言学和其他文本分析工具，这些工具不仅能分析数据库数据还能分析现有的网页信息，并将信息以易用的形式再现给用户 个性化搜索及推荐：提供先进的移动搜索方式，可以帮助终端用户简单准确直观的获取内容和信息 管理和统计：提供丰富的基于 Web 的管理界面，用于创建、配置和管理搜索集合，监测和控制系统的组成部分系统对用户的搜索行为作详细和全面的日志记录，以日志文件的形式存在，也可以将日志信息转存到数据库作进一步分析使用，便于进行全面的业务统计2.2 主要模块概述微软 FAST 不仅仅是一个搜索解决方案，它涵盖了搜索、推荐、联合检索、上下文相关广告、电子商务应用等众多方面，能够为用户带来整套的盈利方案在这里，我们先介绍一些能够实现这些功能的主要模块2.2.1 FAST ESP（互联网和企业海量信息智能搜索平台）FAST ESP 是 FAST 整套解决方案中的核心模块，可以为您提供一个海量信息的智能搜索平台，包括对组织内部及外部互联网信息的搜索。

FAST ESP 主要实现信息采集、信息处理和信息搜索等功能FAST ESP 通过独具特色的高级语言学处理（同义词、去除无用词、歧义纠正、实体提炼等） 、智能化搜索（智能纠错、下拉提示、个性化搜索等） 、搜索结果分类导航及动态钻取等功能为用户提供体验更好、相关性和准确度更高的结果，从而大大提升用户的搜索满意度在提供强大功能的同时，FAST ESP 还具有优异的性能特性，可支持上亿级的文档数量实现毫秒级的响应，它支持线性扩展，支持负载均衡的分布式体系结构，使低成本的硬件仍然能实现高性能，能够处理每秒数以百计的更新，每秒数以微软 FAST 企业搜索平台简介4 / 26千计的查询，同时仍能保持亚秒级的响应速度2.2.2 FAST Unity（联合搜索解决方案）FAST Unity 是一个联合搜索的解决方案，能够将由 FAST 构成的本站搜索引擎和外部流行的搜索引擎，如 12580、Google 、Yahoo、Baidu 等联合实现对用户的全方位搜索体验图 FAST Unity——联合搜索平台2.2.3 FAST Recommendations（个性化推荐平台）FAST Recommendations 是一个全方位的基于用户行为和喜好的个性化推荐解决方案，包括相关产品、信息、新闻推荐和社交推荐（推荐有同样喜好的人） 。

FAST Recommendations 由三个核心产品组件组成：一个配置引擎，一个数据挖掘引擎和一个推荐引擎它通过跟踪多种具体的和不具体的客户喜好事件（即搜索，页面浏览，内容预览，购买，点击率等）产生唯一的客户配置文件，然后再对这些配置文件进行数据挖掘，建立起内容间的联系、内容与人的联系及人与人的联系，从而根据这些联系实现丰富多样的推荐特性FAST 推荐平台使服务提供更个性化的用户体验，从而促进产品销售、增加广告收入和建立客户忠诚度微软 FAST 企业搜索平台简介5 / 26第三章 FAST 搜索引擎功能概述3.1 信息采集和索引3.1.1 采集多种数据源的信息对于一个规模较大的企事业单位来说，搜索业务中所涉及的数据源多种多样，如站内数据库、第三方提供的数据及其他网站等微软 FAST 可以采集多种数据源的信息，对搜索结果进行逻辑集合，形成索引结果集可以来自一个或多个信息源，多种信息源可以存在于独立的物理索引中在搜索端，可以同时搜索一个或几个位于一台或更多机器上的物理索引为处理不同的内部或者外部信息源，微软 FAST 提供了各种结构数据的采集工具，能够抓取结构化、非结构化及富媒体的数据源。

微软 FAST 为文件系统、网页（http 、 ftp、https 等协议访问的） 、关系型数据库（Oracle、DB2、SQL Server 及其它类型的 jdbc 数据库） 、MS Exchange、Lotus Notes、SAP、MS SharePoint 等几百种系统提供连接器并且，还提供了一个定制连接器的 API，可以定制连接器，如果用户需要哪些连接器，可以被快速而有效的创建微软 FAST 提供了数据库连接器、网络爬虫（Web 。