爆炸式增长的斗鱼互联网平台架构.pptx

爆炸式增长的斗鱼互联网平台架构,技术创新 变革未来,议 程,斗鱼平台架构整体介绍 斗鱼配置中心 斗鱼统一日志监控系统 赛事活动的运维保障,斗鱼碰到的问题,亿级用户和百万级主播 高并发请求和海量数据,系统技术栈较多 迭代周期快,同时,优化方向,偿还技术债 系统可扩展化,斗鱼去年的样子,斗鱼全站架构拓扑,斗鱼的量有多大,DAU 2000w ALEXA排名：全球200，国内20,大型赛事活动的量有多大,,要扛住这个量，为了能加机器，服务化是唯一出路,,服务化的话题这么大，先聊一个核心组件,,为什么要先做配置中心？,配置散落在各工程中 Dev、Test、Stg、Prod多套配置 资源环境安全隐患 服务化后，降级功能至关重要,配置中心的基本目标,统一维护配置 多套环境配置隔离,现在配置中心的特性,应用可动态获取配置更新 高可用 资源配置类型 集群配置 配置项可继承,安全,添加秘钥安全认证 添加IP白名单 配置请求服务访问频率,之前是这样的,,,,,,配置中心架构,配置中心UI,服务层,客户端封装,,,,,本地快照存储,加密,,加密,集成客户端对象,,配置项管理,配置项逻辑关系,权限管理,回滚配置,配置项管理 接口,安全认证,存储层抽象,配置内容MySQL持久化 （主从读写分离）,参数配置,资源配置,第三方集成,Java对象实例,,加密,本地snapshot,本地snapshot,MD5比对 || 拉取更新,现在是这样的,现在是这样的,PropertiesConfigClientconfigClient=newPropertiesConfigClient( live/prod, project, config-file, refresh-interval); configClient.getRequiredInt(data.query.page.size);,配置中心正在做的,资源依赖识别、资源监控,抗住了量，赛事活动时，还需要监控,,为什么要做统一日志监控系统,技术栈多样、版本过多 快速定位 开源组件二次开发能力弱,最关心的监控项,接口访问量监控 HTTP 500监控 接口响应时间监控 视频流监控 系统错误日志的监控 资源层的监控 服务器的性能监控,实践 1.2,添加内容,实践 1.3,添加内容,实践 2.1,添加内容,全调用链监控：,ELK 的使用经验,ELK vs. TSDB LogstashHangoutSpark Streaming Agent效率 自研Agent,怎样保障大型赛事,核心服务运维保障,缓存 资源 隔离 降级 监控 机房 HTTPS,斗鱼核心服务,直播视频 直播间列表 超管功能 弹幕服务 交易,视频流是关键,推拉流线路保障 CDN CDN-SLA CDN厂商 保证沟通渠道畅通,大家不太常见的关键服务,弹幕,回顾一下,配置中心 统一监控 视频流保障 弹幕保障,谢谢聆听！,。