您所在位置：网站首页 > 办公文档 > PPT模板库 > PPT素材/模板大数据应用--系统监控与日志分析课件

大数据应用--系统监控与日志分析课件

35页

卖家[上传人]：我***

文档编号：145749292

上传时间：2020-09-23

文档格式：PPT

文档大小：3.16MB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

20 金贝

/ 35 举报版权申诉马上下载

文本预览

下载提示

常见问题

1、大数据应用-系统监控与日志分析,9/23/2020,目录,网易有道简介在线服务监控离线日志分析,9/23/2020,有道的发起者是一群执着于搜索技术的年轻人，我们发现中文网络中的搜索还远未达到理想，所以希望通过我们现在和将来的努力，把设想中的服务一点点变成现实，分享给大家使用，让你更快一秒找到想要的好东西。,关于有道,9/23/2020,有道产品,搜索类,9/23/2020,有道产品,翻译类其他产品,9/23/2020,在线监控与离线分析,9/23/2020,设计原则,不影响正常服务水表不能把水堵了通用性如果不够通用,9/23/2020,9/23/2020,目录,有道产品简介在线服务监控离线日志分析,9/23/2020,在线服务监控,访问控制系统性能监控系统异常报警系统,9/23/2020,访问控制系统,主要目的：防止非用户抓取冲击系统服务影响访问统计非法使用数据挑战灵活的控制规则减小对产品服务的影响,9/23/2020,访问控制规则,过滤规则 Key: Header字段，parameter Key: 正则表达式例子： Ip=123.45.*, age

2、nt=“firefox.*” 频度控制统计时间（span）次数的阈值（threshold）例子： span:3600000 threshold:1000,9/23/2020,访问控制系统,总体结构旁路统计规则封禁访问控制服务器维护规则库按规则进行统计为产品生成封禁列表产品服务端转发请求同步封禁列表实施访问控制,9/23/2020,访问控制系统,9/23/2020,性能监控系统,功能：实时统计服务中的性能参数如处理时间、吞吐率等特点通用性集中的数据分析与存储直观的展现方式,9/23/2020,性能监控的需求,通用性各种产品不同的需求自定的统计量不同的编程语言性能要求减小对产品服务的影响大数据量的分析与存储,9/23/2020,监控系统的设计,松耦合通过日志文件交换数据文本格式自定义统计量的三元组大数据量多分辨率压缩存储,9/23/2020,监控系统结构图,9/23/2020,9/23/2020,9/23/2020,异常报警系统,功能自动筛查日志中的Exception 发现问题自动发信报警优点通用性强使用简单,9/23/2

3、020,目录,有道产品简介在线服务监控离线日志分析,9/23/2020,离线日志统计,主要的目的用户使用习惯用户对产品的好感度系统运行状态市场推广情况,9/23/2020,日志收集,集中的日志服务器产品的服务器是分布式的，需要统一分析所有产品公用，降低运营复杂度大数据量存储服务器建立本地缓存最终保存在分布式文件系统中压缩存储防止日志丢失支持备份服务器分布式文件系统保证可靠性,9/23/2020,日志收集系统,9/23/2020,日志分析,主要的挑战超大数据量运算时间的要求组合统计解决方法分布式计算,9/23/2020,分布式分析程序,9/23/2020,常规统计,访问量时间地域用户新用户：推广与传播的效果老用户：真正使用这个产品功能切换页面切换产品切换,9/23/2020,一些有意思的统计规律,周末与非周末什么时候流量更大？,9/23/2020,周末与非周末,工具（网页搜索、海量词典）vs 娱乐（视频搜索、音乐搜索）,平时需要工具，周末需要娱乐,9/23/2020,一些有意思的统计规律,不同的时段访问有区别吗？搜索和吃饭的关系？,9/23/2020,工具 vs 娱乐,白天需要工具，晚上需要放松,9/23/2020,公网 vs 教育网,白领和中小学生要早睡，大学生都是夜猫子,9/23/2020,更多的分析,有道阅读的12个有趣的发现订阅博客范围，新老各有地盘职业和阅读习惯阅读真的变成快餐了明星博客，各领风骚三两天大部分人订阅不过10个，阅读不超20分钟阅读还是很个人 ,9/23/2020,总结,在线服务监控保证服务正常运行离线日志分析了解用户，改进产品,

《大数据应用--系统监控与日志分析课件》由会员我***分享，可在线阅读，更多相关《大数据应用--系统监控与日志分析课件》请在金锄头文库上搜索。

点击阅读更多内容

TA的资源