光环大数据培训_奇虎360的大数据应用 大数据应用层次

光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn光环大数据培训光环大数据培训_ _奇虎奇虎 360360 的大数据应用的大数据应用 大数据应用层次大数据应用层次光环大数据培训机构光环大数据培训机构，傅志华：我就不做自我介绍了，因为时间紧张，只有 35 分钟演讲时间，还有 5 分钟互动。今天跟大家介绍的是关于这三方面的内容：第一部分是大数据发展的动力，第二部分是想跟大家分享一下大数据在互联网 里面的应用的各种层次，就是它都有哪些应用场景，第三方面是不仅仅是互联 网行业，我们想看看其他行业未来大数据都有什么样的机会。因为时间比较短， 所以每一块我都只能是提纲挈领的去跟大家分享一下，大家有问题可以等我下 来以后交流。大数据这两年为什么这么火，除了技术本身逐渐成熟以外，我认为还有一个很 重要的驱动力，这个数据大家应该有概念，这个数据是是网民数，今年上半年 网民数有 6.7 亿，这个数据是什么?通过手机上网的比例，就相当于说，有 6 亿的手机网民。这个意味着这什么呢? 因为大数据或者一样新的技术，一定是要有新的商业价值，才会发展的比较好。 那我们可以看到，移动互联网发展对于大数据来说是有两个好处的，第一个是 数据采集的成本降低了，就是从数据采集的角度来说成本降低了，原来我们可 能是通过比如说摄像头，或者其他的方式采集数据，通过摄像头采集数据的话 采集成本成本就很高。但是由于移动互联网的发展让我们采集数据效率更快， 另外是说移动互联网采集数据和 PC 采集的数据完全不一样的是，对于用户来说 我们可以采集到更完整的信息。原来在 PC 的时候，他下班以后你可能就不知道 它在干吗，但是手机我们现在可能随身携带手机，比见你的家人还要多，从睡 觉到起床的时候，从那一刻打开手机，那采集的时间完整度也是比较的。还有一些重要的就是产品信息，这个产品信息和 PC 互联网时代不一样的，什么 意思呢?原来 PC 互联网里面没有的数据是什么呢?比如说位置信息，就是你的精 确的比如说你的经纬度，那位置信息可以反映什么呢?比如说你要是已经结婚了， 搞婚外恋那你就要小心了，你在哪里活动很容易都被知道。不是说安全问题， 就是说位置其实能反映你的消费能力，很容易的反映到你的消费能力，比如你 住哪个小区、经常出没哪些商场。包括你移动的速度也能反映到你的状态，你 经常性移动速度比如说定期的周末移动速度很快，很可能是因为你在跑步。但 是在 PC 互联网时代是不太容易知道。由于移动互联网，让我们对这个人全方位 的了解更加容易了。另外一个很重要的原因是移动互联网又是数据反馈、数据应用的一个很重要的 渠道，我知道他可能在一个消费场所里面有消费欲望的时候，我可能通过大数 据及时给他推荐他可能感兴趣的信息。所以简单说我认为除了技术逐渐成熟之 外，很重要的是移动互联网的发展，我们在用大数据的时候，一定是要充分的光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn运用移动互联网的数据，不仅仅是你企业拥有什么数据，一定要想办法要跟移 动互联网的数据打通，因为这里面太多有价值的信息。这个我刚才说过了，另外一个我说到的移动互联网，移动互联网还有一个很重 要的特点，为什么那它对数据依赖度这么高，PC 互联网的时候，我们看这里面 这个屏幕，这个是 12 还是 13 寸的屏幕很大，对产品经理来说，或者对于营销 人员来说，比如说他看广告，他可以随便放，反正一个页面可以放 10 个广告， 那我命中概率还是比较高的，但是一个手机这么小屏幕，它能可以随便放 10 广 告吗?比如你们上次接上房产网站，经常一打开就是满屏的广告，你在手机上做 不到，因为那样用户体验一定很差，所以我为什么这个手机上我只放三个或者 两个广告，那产品经理是要拍脑袋去决策还是说他有什么样的办法投其所好， 拍脑袋的时代已经过去了。由于屏幕小就更要我们去了解这个用户是谁，他的 兴趣爱好是什么?然后我投广告的时候就更加精准，所以我们看到 6 亿移动互联 网民里面都需要用大数据去服务他们，你说这个市场多大，对吧?因为我之前上一家公司是一个社交公司，在深圳也是比较大的，也是亲身感受 到移动互联网的魅力。因为那时候我看到某个你们经常用的一个社交应用，它 在 2011 年底的时候，手机用户活跃量已经超过 PC 的活跃量，所以我们可以通 过那个数据亲眼看到移动互联网是怎样超过 PC 互联网，就那个瞬间我们就能感 觉到大数据的应用价值越来越大。你们需要服务这 6 亿网民，你要想办法把 6 亿网民的数据或者是移动互联网数据收集回来，为你企业的运营，精细化营销 所用。第二方面我会跟大家分享一下，在互联网企业里面数据的应用体系都有哪些应 用层次。我们看到，上面有应多应用层。第一层是业务运营监控，第二是用户 体验优化，第三层是精细化营销层，第四、五、六层分别是传播、经营和战略 分析，今天不可能都完全讲，因为讲完这个金字塔体系要两天。我主要跟大家分享，这个金字塔要要用好，底层要做的很好才行。底层是什么 呢?这个数据基础平台很重要。数据基础平台如果从业务价值的角度来看，要做 到什么呢?我希望通过搭建这个数据平台，除了数据质量要提升，数据准确度、 数据稳定性，还有很好的业务价值。那这一层的业务价值是什么?我希望是我对这个互联网企业的用户了解，都跟我 的家人一样了解，底层搭建的目的的业务的含义，就是我对每个客户、每个用 户都非常了解，那我怎么了解，我就给他打标签，我们从这个叫用户画像，如 果你画像做的不好，你上面有再好的算法，如果你数据完整度不够的话，你的 算法起得效率很容易在碰到瓶颈。所以底层这一块，要想办法把公司的数据管 理起来，把各个业务的部门的数据打通。在传统的企业，甚至一些互联网企业里面，也是也很多的问题，比如说数据质 量不好、乱打点，你也不知道这个数据的背后的含义是什么，元数据管理也做 不好，有很多各方面的问题。而其中最大的问题数据不打通，因为在是有很多光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn大型的企业里面，是有不分享的。不同业务部门之间都不太愿意共享数据，甚 至怕别的部门通过中立部门偷看到他们的数据。我们技术人员不太好改变这个 问题，除非老板去授权。你要想办法让去影响到老板，让老板重视这个事，让 老板授权去打通数据，然后做一个更完全的用户画像，你后面再做上面的应用 的时候，个性化推荐的营销、用户航游戏等等，那个效果它会更好。你要跟老板讲，数据就需要像无形资产一样要把它管理起来。往往是我们一上 来大数据团队就想办法做各种算法、做各种优化，但是这个只是在局部做事情， 我希望你们可以站的更高，跟老板沟通，把数据当成一个无形资产管理起来， 专门形成数据整合、数据质量管理的委员会。这才有可能把数据充分的挖掘， 所以我今天更多的不是讲算法的问题，在这一部分我要强调的是数据怎么去打 通和管理，然后下面我们各种层面的才可以更好的优化。关于应用案例，我举几个案例。我会跟大家分享一下业务运营监控、信息化运 营、用户体验优化，这几个层面我简单举几个案例。关于业务运营监控。我统计过 BI 的同事的工作，很多时间他们是在分析老板问 的问题“数据为什么下跌”。然后你经常遇到这种问题的时候，就急急忙忙的、 很匆忙的去跑数据，然后老板又跳出来说你怎么那么慢，你告诉他说，这个数 据要两天后我才能算出来，或者三天后才可以算出来，那没办法对吧?经常是遇 到这种问题。那怎么解决这种问题呢?那既然要花那么大工作量，为什么不把它 IT 化。也就是说，你可以跟业务人员一起梳理他们的 KPI，你就假设他的 KPI 下跌的时候，可能有哪些分析纬度。现在有一些开源的软件，是可以做成脑图的方式的，同时，脑图中哪个节点有 异动，你用不同的颜色标出来，用计算机自动的标注出来。如果你能把这个事 情做好，那下跌的问题你就如容易发现，不用重新提出。因为你这个数据脉络 已经梳理出来了，我们每天去监控，业务人员看了这张图就知道，也许这个点 标红，那个点，要值得关注，他就不用你们去写报告，或者提数据，所以这个 事情是非常重要的。怎么样去打造一个数据体系，完整的把企业的运营监控跟 数据相关的脉络都监控起来。这个好比是我们做出了一个智能的体温计，每天我去做这个体温，他的运营过 程中有什么问题，通过我的数据手段去测，一测 38 度那就发烧。第二方面是用户生命周期管理。一个完整的用户分为获取、磨合、成长、成熟、 衰退和离开这 6 个阶段，对于互联网用户来说，每个阶段都可以用我们的大数 据，用我们的算法去辅助它，更好的做优化。比如说我们在获取用户阶段，怎 么去挖掘潜在客户我们可以通过很多算法，逻辑回归、决策树、随机森林等等， 很多算法帮助去发现潜在客户，包括流失也是。你们觉得做用户防流失在哪个阶段做比较合适?成熟期还是衰退期还是哪些阶段?成 长?还有吗?磨合?差不多每个阶段说完了，就差获取期了。防流失有两个的阶段，光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn磨合期和成熟到衰退的过渡阶段，但是磨合期的效果是比较好的。为什么呢?很 多人喜欢做衰退时期的防流失，但这方面但工作像啃一块硬骨头，因为就跟谈 恋爱一样，如果这个人跟你谈了 8 年了，想要跟你分手，你怎么再挽留，通过 什么方式挽留也没用，即使欧洲游花 10 万 8 万也没用。但是磨合期谈了两三个 月，你可能去郊区转一转，花了可能 2000、3000 块钱，可能还不用，如果当天 来回还不用，就有可能不分手了。这性价比有多高，所以我花那么多钱，去做 防止衰退，还不如再找一个新的女朋友。所以你们做算法的时候要注意，不要 一直往这个硬骨头去啃，虽然说什么忠诚客户什么啊，客户价值有多高，但是 对互联网产品来说，他用脚投票，转换门槛低，他很容易就切走了，所以你们 要聚焦很容易出效果的那个地方。而且我们整套体系做完以后，你们就不用每次都提数据、挖数据，然后来写报 告，帮业务人把尤其流失用户提出来，如果你模型固化以后，你可以把算法的 规则放在生产系统里面，那这个生产系统每天去或者每周去预测下一周这个用 户是需求什么，是属于高风险流失还是属于高付费的概率的用户，你可以让算 法自动的给它打标签，那样业务系统就自动滚动起来。所以我今天说了很多都 是希望把很多算法、很多分析能力 IT 化，这个行业里面有一个 DT 就是这个概 念，我希望我把很多能力就 IT 化的搞起来，这样我就重点去优化这个算法就行 了。可能两三个月去优化一次算法。第三个面是防作弊，因为其实在移动互联网上面推广，至少有一半是假量。按 下载付费的情况下，你怎么去发现这些用户是假的呢?我们通过数据可以帮公司 节省推广费用。防作弊最核心的是什么?最核心的算法是讲，看这个用户是不是 真的是人?那你设计纬度和指标的时候，你知道正常人是怎么样的，不正常的人 是怎么样的。这个留存是看他是不是正常的一个人的其中一个纬度而已，我只 是今天把这个纬度展开给你看看。对用户量产品来说，用户的的留存率是比较有规律的，比如说对于游戏来说， 留存率属于幂函数分布的，什么叫留存率?比如说今天我发展了