(课件)-google云计算应用场景分析

1、Google云计算应用场景分析,主要内容,Google云计算技术框架 应用场景分析1：Google网站流量分析 应用场景分析2：Google搜索,Google云计算的技术架构,Google的云计算应用均依赖于四个基础组件 分布式文件存储，GFS 并行数据处理模型MapReduce 分布式锁Chubby 结构化数据表BigTable,Google云计算的技术架构,Google云计算应用,BigTable,GFS,MapReduce,Chubby,组件调用关系分析,Google云计算的技术架构,Chubby的作用 为GFS提供锁服务，选择Master节点；记录Master的相关描述信息 通过独占锁记录Chunk Server的活跃情况 为BigTable提供锁服务，记录子表元信息（如子表文件信息、子表分配信息、子表服务器信息） 记录MapReduce的任务信息 为第三方提供锁服务与文件存储,Google云计算的技术架构,GFS的作用 存储BigTable的子表文件 为第三方应用提供大尺寸文件存储功能 文件读操作流程 API与Master通信，获取文件元信息 根据指定的读取位置和读取长度，A

2、PI发起并发操作，分别从若干ChunkServer上读取数据 API组装所得数据，返回结果,Google云计算的技术架构,BigTable的作用 为Google云计算应用（或第三方应用）提供数据结构化存储功能 类似于数据库 为应用提供简单数据查询功能（不支持联合查询） 为MapReduce提供数据源或数据结果存储,Google云计算的技术架构,BigTable的存储与服务请求的响应 划分为子表存储，每个子表对应一个子表文件，子表文件存储于GFS之上 BigTable通过元数据组织子表 每个子表都被分配给一个子表服务器 一个子表服务器可同时分配多个子表 子表服务器负责对外提供服务，响应查询请求,Tablet 1: , rootbigtabletablet1, Tablet 2: , rootbigtabletablet2, Tablet 3: , rootbigtabletablet3, Tablet 4: , rootbigtabletablet4,Google云计算的技术架构,MapReduce的作用 对BigTable中的数据进行并行计算处理（如统计、归类等） 使用BigTable

3、或GFS存储计算结果,应用场景分析1 Google网站流量分析,Google Analytics 免费的企业级网络分析解决方案 帮助企业了解网站流量和营销效果 能以灵活的方式（各类报表）查看并分析流量数据,应用场景分析1 Google网站流量分析,应用场景分析1 Google网站流量分析,基本功能 统计网站的基本数据，包括会话、综合浏览量、点击量和字节流量等等 分析网站页面关注度，帮助企业调整或增删页面 分析用户浏览路径，优化页面布局 分析用户访问来源链接，提高广告投资回报 分析用户访问环境（如OS和Explorer），帮助美化页面,应用场景分析1 Google网站流量分析,应用的特征 海量数据 需要存储海量的用户行为数据（如点击时间、位置等） 海量用户 需要为任意多的网站提供流量分析 技术路线 使用BigTable存储和检索数据，使用MapReduce统计数据,应用场景分析1 Google网站流量分析,BigTable中的表设计 原始点击数据表 行键：点击时间 列键：网站URL、网站名称、用户IP地址、来源URL、目标URL 目前尺寸约200TB,20091010121011,200

4、91010121012,20091010121013,URL,标题,IP地址,来源URL,目标URL,应用场景分析1 Google网站流量分析,BigTable中的表设计 统计数据表 行键：网站URL（倒排） 列键：点击次数（如记录最近一个月每日的访问次数等）、页面关注度（如记录网站页面的访问比率）、来源网站（如记录TOP10）、目标网站（如记录TOP10） 每个列中记录的内容是字符串，Analytics在查询后需要解析字符串获得统计结果 可根据统计内容的增多增加新的列 目前尺寸约20TB,应用场景分析1 Google网站流量分析,业务流程分析,数据采集,原始点击数据表,数据处理,统计数据表,数据查询,MapReduce,应用场景分析1 Google网站流量分析,基础设施,应用服务器集群,BigTable集群1,BigTable集群2,GFS集群,Chubby集群,MapReduce集群,应用场景分析1 Google网站流量分析,数据采集 数据来源 页面内嵌脚本 点击行为脚本 应用服务器获取到数据后，存入BigTable,应用场景分析1 Google网站流量分析,数据采集 数据存储流程

5、,向BigTable中写入点击信息,寻找子表服务器,向内存临时子表写入信息（含排序）,如超过阈值则存储为子表文件,GFS：存储子表文件,子表合并、压缩,应用场景分析1 Google网站流量分析,数据处理 例如，统计网站(如)过去一周网页访问比例 数据处理流程,数据查询,MapReduce操作,数据存储,点击数据表,统计数据表,GFS,应用场景分析1 Google网站流量分析,数据处理：MapReduce Map操作 假设过去一周查询结果文件在GFS中包含M个Chunk，那么Master寻找M个空闲的Worker，分别处理这M个Chunk，得到每个网站中页面的访问次数, ,应用场景分析1 Google网站流量分析,数据处理：MapReduce 自动排序 对M个中间结果进行排序, , ,应用场景分析1 Google网站流量分析,数据处理：MapReduce Reduce操作 假设得到该网站含N个网站，那么可以分配N台Worker分别处理单个网站的数据, , ,应用场景分析1 Google网站流量分析,数据处理 写入数据 应用程序将分析结果写入统计数据表, ,应用场景分析1 Google网站

6、流量分析,数据查询 从数据统计表中查询行 获取对应列的数据，解析，得到并展示最终结果 数据处理是定期的，非实时响应查询,应用场景分析2 Google搜索,Google搜索的总体业务流程 数据采集: Spider 数据整理 生成各类子表，如音乐表、生活搜索表、学术搜索表等 压缩数据表，清洗失效数据 数据检索,应用场景分析2 Google搜索,数据采集 通过若干Spider在网络上搜集数据 使用BigTable存储数据 行键：倒排的URL 列键：网站名称、语言、HTML描述、图片、链接 时间戳：记录不同时刻的网页快照,应用场景分析2 Google搜索,数据采集 Spider可能的数据处理流程,Spider获取到网页数据,从Chubby的元数据中找到该URL所处的子表,从子表服务器中寻找对应的行,如果该行不存在，则插入新的行,读取网页内容列，比较新旧数据,增加时间戳，标识新数据,若当前时间戳超过指定数目，删除最旧内容,处理完毕,存在对应行,对应行键不存在,数据未变化,数据发生变化,应用场景分析2 Google搜索,数据整理 Google搜索包括多个子类 生活搜索：租房、车票、酒店等 资讯搜索

7、：热门新闻、分类新闻等 学术搜索：学术论文 定期计算网站评价数据 例如PageRank的计算,具有统一的数据来源,使用不同的表存储数据,可能使用MapReduce定期刷新数据,应用场景分析2 Google搜索,数据整理（Google学术搜索）,应用场景分析2 Google搜索,数据整理（Google学术搜索） 数据抽取 寻找包含学术（论文）信息的网页数据，并结构化存储 学术（论文）信息抽取（分析参考文献、摘要等） 可能的技术方案：MapReduce+BigTable 数据统计 基于抽取的数据进行统计分析（如分析被引用次数等） 可能的技术方案MapReduce+BigTable 学术信息BigTable 行键：论文标题 列键：作者、主题词、摘要、参考文献、期刊信息、被引用次数、下载链接,应用场景分析2 Google搜索,数据整理（Google学术搜索） 如何使用MapReduce抽取数据？,生成抽取目标（URL）文件,将目标文件分割为M块,寻找M个Worker分别做Map处理,查询网站的网页数据,是否包含论文描述信息,抽取论文描述信息，输出,按论文标题将输出排序,将论文描述信息存入Big

8、Table,寻找若干Worker做Reduce处理,Map,Reduce,自动处理,自动处理,应用场景分析2 Google搜索,数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） 分析论文信息表，二次MapReduce,论文A, 参考文献: 论文B, 论文C, 论文D 论文B, 参考文献: 论文Q, 论文C, 论文A 论文C, 参考文献: 论文D, 论文H, 论文A 论文F, 参考文献: 论文A, 论文C 论文E, 参考文献: 论文S, 论文A, 论文D 论文S, 参考文献: 论文E, 论文F,应用场景分析2 Google搜索,数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） 归纳排序,应用场景分析2 Google搜索,数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） Reduce操作,应用场景分析2 Google搜索,数据检索 有可能采用MapReduce实现 关键词搜索可能的处理流程,子表是否有Content列,是否包含关键词,关键词语义分析,任务划分（子表+新关键词）,输出到临时结果表,获取行数据中Content项,处理完成,分配Worker,结果输出,Map,Reduce,应用场景分析2 Google搜索,数据检索 搜索结果可能通过临时表存储 每个关键词对应一个临时子表 检索系统根据输入枚举现存检索结果的相似关键词 如果临时子表中存在检索结果，直接输出 应该存在机制刷新临时子表,

《(课件)-google云计算应用场景分析》由会员繁星分享，可在线阅读，更多相关《(课件)-google云计算应用场景分析》请在金锄头文库上搜索。