何鸿凌-电信运营商大数据应用和架构实践.pdf

LOGO电信运营商大数据应用和架构实践何鸿凌Hongling HeBigData分析小象科技 让你的数据产生价值2 业务趋势与数据特征 大数据应用案例 典型的大数据平台架构 一些思考和观点电信运营商大数据 应用和架构实践小象科技 让你的数据产生价值3移动数据流量的增长Source: 爱立信小象科技 让你的数据产生价值4中国移动的数据量的增长每分钟800万次通话每天净增用户16.6万每秒发送短信2.4万条每分钟应用下载1142人次每分钟销售终端251部每天话单数据10TB每天信令数据100TB基站总数104 万35%35%140 万无线数据流量1 ZB100%100%2 ZB移动数据流量290 PB82%82%527 PB3G客户数0.88 亿118%118%1.9 亿3G销量0.5 亿180%180%1.5 亿物联网终端数2245 万43%43%3200 万Source: 中国移动集团2012年、2013年业绩年报2012201220132013VSSource: 内部统计，2013年底小象科技 让你的数据产生价值5中国移动大数据平台数据量时间数据量传统数据信令数据网络日志当前每日新增结构化数据8T，每日新 增日志类数据400T。

每日处理的数据10倍于此，每日查询 的数据100倍于此 未来考虑4G日志、信令等数据纳入大 数据平台小象科技 让你的数据产生价值6中国移动数据特征存储特征处理特征访问特征1. 数据单位存储价值不同高价值：CRM\BOSS的各类 资料数据、账单、清单低价值：日志、网页中价值：高价值中长期数据 和低价值收敛数据2. 实时要求不同分钟、小时、日、周、月3. 数据类型不同结构化、半结构化、非结构 化1. 调度模式不同批量任务小批量任务流式处理2. 加工特征不同关联整合处理汇总，抛弃输入汇总，不抛弃输入关联+汇总更新，不保留历史1. 使用角色不同业务人员：低操作能力IT分析师：中操作能力数据科学家：高技术能力2.使用方式不同消息型：向一线推送浏览型：决策层简单处理型：业务人员复杂处理探索型：分析师高级编程型：不直接使用型：机器处理Ad-hoc类使用成为趋势小象科技 让你的数据产生价值7“云-管-端”各数据采集点分析• 云 网站、应用的后台服务器• 管 物理管道：无线、宽带、WIFI 逻辑管道：应用平台（、百度轻应用）• 端 智能终端OS（苹果、小米） 浏览器插码、APP SDK深度广度质量难度小象科技 让你的数据产生价值8 业务趋势与数据特征 大数据应用案例 典型的大数据平台架构 一些思考和观点电信运营商大数据 应用和架构实践小象科技 让你的数据产生价值9运营商大数据应用历程• 投资Tellabs“洞察力分析”服务• 借助大数据改善服 务水平，提升用户 体验2010201120122013• 使用IBM的InfoSphere Streams等分析工具• 采用splunk平台进行实时营销• 新分离一家平台公 司SK Planet，专 门处理与大数据相 关的业务• 向购买“T Cloud Biz”数据保存服务的用户提供 大数据分析器(T-MR)免费试用服务• 更新了隐私政策，计划开始销售数据给广告客户• 利用个人健康数据提 供创新医疗支持服务• 成立精准营销部门• 合作开发the AutoLinQ™平台• 发布新安全数据分 析服务• 旗下的网络提供商 推出了免费WiFi服 务内 部外 部• 承担法国很多公共服 务项目的IT系统建设• 着手规划大数据， 收集整理用户信息• 借助大数据分析客 户群体，维系客户。

• 分析网络信令、实 时分析、网络优化• 呼叫中心记录的实 时分析：智能关键 词跟踪，网络优化• 获取客户洞察数据，参与市场调研和分析行 业• 智慧足迹（Smart Step)，服务零售• 互联网广告实时交易平台（RTB），数据咨询与服务• 福建 互联网广告实时交易平台（RTB），江苏智 慧洞察小象科技 让你的数据产生价值10T-Mobile：基于社交网络的精确营销和客户维系T-Mobile USA美国的无线网络运营商挑战美国各大运营商对用户争夺的竞争非 常激烈，用户获取成本上升，T- Mobile营销团队希望利用大数据技 术对其庞大的用户数据进行洞察，寻 找新方法来维系客户解决方案T-Mobile利用SAS的Customer Link Analytics技术对用户社交网络 进行分析，通过挖掘用户的社交关系、 所在群体来提高用户的保有率，实现 交叉销售和向上销售，基于社会影响 和社交变化对目标用户进行细分取得的收益T-Mobile USA的营销人员可识别社 交网络中的头羊、跟随者以及其他成 员，通过定义基于角色的变量，识别 目标客户群中最有影响力的用户头羊头羊头羊注：头羊，即通过社交网络分析，发现的高影响力用户小象科技 让你的数据产生价值11AT&T：网络规划和动态优化AT&T美国最大的本地和长途公司挑战高负载下，需求易引起掉话以及移动流量 拥塞，网络性能下降；人工处理不及时解决方案基于动态SON平台，根据地理位置，实时 分析用户网络状况，用自优化网络技术， 动态调整基站半径，个性化配置网络资源用大数据来进行分钟级数据流处理；网络实时快速/响应高度定制化/个人化网络分配存储超过一年存储的数据离线处理产生的收益精准覆盖：覆盖95%，未来5～7年，运营 成本降低50～70亿美元掉线率降低10%；网络拥塞减少30%左右；动态 SON平 台亮点：根据地理位置，实时分析用户网络状况，用自优化网络技术， 动态调整基站半径，个性化配置网络资源其他网络侧 数据地理位置数据网络状况信令数据实时分析个性化优化AT&T 历史数据离线处理大数据平台应用服务器数据信令数据地理位置数据财务业务量/数据手持设备信息……网络覆盖规 划容量设计AT&T的实时网络自优化小象科技 让你的数据产生价值12NTT Docomo：与Omron合作健康大数据docomo Healthcare主要提供管理、使用和共享身体、健康及医疗 数据的平台业务所有权：NTT DOCOMO 66%，Omron Healthcare 34%目标通过积累的健康数据，提供创新、安全、高品 质的医疗保健服务，打造“智能生活”解决方案docomo Healthcare将智能与欧姆龙公司 的医疗器械相连来获取用户的身体成分、血压 及睡眠监测数据，使用户可以轻松收集数据并 上传至云，无缝集成各种信息和健康管理数据用大数据来进行健康数据分析、身体健康预测健康相关数据的无缝和全方位管理创新医疗支持服务已推出智能腕带（Moveband）还将提供“WM（我运动）”与“身体生物钟 WM”等APPHealthcare Plateform搜集分析预测健康数据•通过智能，收 集日常健康数据•通过测量工具，分 析健康数据•通过合作伙伴提供 的产品和服务，改 善健康水平根据个人健康状况，打造智能快乐生活客 户•基于健康数据为客 户提供新生活方式 建议合作 伙伴•利用健康数据为合作 伙伴提供创新市场价 值123小象科技 让你的数据产生价值13Orange：智慧城市交通优化阿比让公共交通西非国家科迪瓦特的首都有539辆大型公交车，5000辆小型公 交车，11000辆出租车挑战数据量大： Orange提供了阿比让 500万用户2011年12月到2012 年4月的2.5亿条通话记录，以及地图 应用程序获取的拥有GPS功能智能手 机用户的位置数据解决方案IBM建立AllAboard模型，基于 orange提供的数据，查询出与乘公 交车上下班有关的50多万条记录， 并对此进行研究用大数据来进行利用orange提供的数据来优化 阿比让的城市交通网络取得的收益做出了优化城市交通系统的科学决策， 新增两条线路，延长现有的一条线路为乘客节省了10%的出行时间•当呼叫所在基站发生变化时，即可被定 位于新的位置，用户的移动轨迹以及相 应的时间信息即可描绘出来。

•当用户使用通话或 发短信时，即可被定位 于某个基站覆盖范围内 的确定位置；21小象科技 让你的数据产生价值14Telefonica：Smart Step数据源：基于完全匿名和聚合的O2移动网络数据处理平台：Smart Step本身就是Telefonica的大数据平 台，整合VoIP、社交网络等业务合作方：GFK的专业性确保其作为西班牙电信进入市场 的合作伙伴在建立智慧足迹的过程中，GFK保障为西 班牙电信提供独特的价值主张，使其客户更好地做重大 决策目标客户：政企客户如何使用：可对某个时段、地点人流量的关键影响因素 进行分析，将结果提供给政企客户业务名称：智慧足迹（Smart Step)业务简介智慧足迹为TDI推出的首款产品，洞察结果可为零售商新店设计和选址、设计促销方式、与客户反馈等提供决策支撑帮助零售商更好地理解和满足客户需求、降低成本也可帮助市政委员会统计、预测各种场景下的人流量智慧足迹现有产品与服务: - Smart Step & Retail Week Christmas Shopper Trends .- Smart Step & Retail Week Christmas Shopper Trends .商务模式小象科技 让你的数据产生价值15Sprint：利用大数据参与市场调研和分析行业Sprint美国第三大运营商挑战传统通信业务价值收窄，行业内外竞争加剧， 需要探索更多新兴业务解决方案利用现有技术，快速采集跨域及外部数据为行业客户提供消费者和市场洞察（人口、 行为等分析）、季节性分析（时间、地域变 化等）用大数据来进行结构化数据与非结构化相互作用：通话、账 单、位置、数据等记录；SMS、SNS、 Web浏览、媒体下载、APP估计的收益参与数十亿美元市场调查和分析行业，拓 展新业务机会，发展非通信市场交通零售医疗保健娱乐金融市场调研服务小象科技 让你的数据产生价值16规划产品Verizon：Precision Marketing Division户外广告测量帮助企业评估户外广告的效果场所观众测量提供在某场所参加活动的观众 人口统计学信息及行为习惯零售点分析提供零售点消费者人口统计学 信息、行为习惯及购买兴趣媒体商产品提供消费者消费偏好、行为规 律、及接触到户外媒体的消费 者数量和频率赞助商产品进行事件分析，评估赞助效果现有产品•Precision Marketing Division部门致力于提 供基于用户数据的精准营销解决方案•目标在于实现“电信行业大数据货币化”，变 现客户数据，开辟新的收入来源用户数据地理位置信息应用下载数据网络接入情况人口统计学 信息小象科技 让你的数据产生价值17中国电信：移动广告互联网广告实时交易平台（RTB）事件：2013年12月，中国电信与集奥聚合共同打造服务中国互联网行业的优势DMP平台，致力于推动三屏融合， 大数据分析与RTB广告业务合作方式：中国电信集团拥有优势网络与数据资源，北京集奥聚合科技有限公司拥有大数据领域先进的技术储备 和丰富的广告运营经验目标：提升运营商主营业务营销及精准广告投放效果实例：2013年12月，国内首个电信运营商自主研发的RTB在浙江电信上线•整合电信内部各数据资源，以固网宽带数据为主， 形成统一的大数据平台，和众多DSP 1对N合作， 由DSP加载各自标签算法，电信对标签定价， DSP按每月10万保底+分成合作，但据说分成部 分几乎没兑现过。

•构建统一的DMP进行数据标签开放与管理两级 架构，集团+（广东、上海、江苏）三个省份•DMP数据开放两种形式：a）报表；b）基于用户 级的标签（面向DSP）•初期聚焦传统家庭宽带互联网，同时规划移动互 联网小象科技 让你的数据产生价值18艾瑞咨询：数据咨询与服务艾瑞公司作为知名咨询公司，建立了大数据。