用户行为数据分析项目开发计划书

用户行为数据分析项目计划书 目录一、 项目背景 5二、 相关术语 51. Web 数据挖掘 51) Web 数据挖掘分类 62) Web 数据的特点 73) 典型 Web 挖掘的处理流程 74) 常用的数据挖掘技术 75) Web 商业智能 BI（Business Intelligence） 82. 网站流量统计 103. 统计指标/术语 104. 用户分析 - 网站用户的识别 135. WEB 日志的作用和缺陷 156. 漏斗模型（Funnel Model） 177. 目前提供此服务产品/企业 18三、 项目目的 18四、 项目需求 181. 页面统计 182. 用户行为指标 193. 潜在用户特征分析 194. 指定 User Cookie 的分析 205. 用户趋势分析 20五、 项目系统设计 20六、 项目详细设计 211. 数据收集 212. 数据模型 221) 统计 PV 量(趋势) 222) 消重 统计独立 IP 量 / IP 的平均访问页面量(趋势) 223) 消重 统计独立 UV 量 / UV 的平均访问页面量(趋势) 234) 统计 URL 的访问来源 Ref 的量 / Ref 排行(趋势) 235) 统计 Ref=URL 的去访 URL*/跳出的量 / 去访/跳出排行(趋势) 236) 统计分析/预测/规律 特定用户的行为(趋势) 247) 统计新访客/老访客(趋势) 248) 页面平均停留时间 / 页面平均时长 (趋势) 249) 搜索引擎列表 2410) 搜索引擎关键词 2511) 搜索引擎关键词(各搜索引擎) 2512) 老用户回头率（用户黏性） 2513) 新增用户增加/流失（用户黏性） 2514) 不活跃用户激活（用户黏性） 2615) 用户浏览深度（用户黏性） 26技术开发部 用户行为数据分析项目计划书 16) 用户访问兴趣分析（用户黏性） 2617) 性别结构(访客特征分析) 2618) 年龄结构(访客特征分析) 2619) 学历结构(访客特征分析) 2620) 收入结构(访客特征分析) 2721) 操作系统类型(客户端信息) 2722) 操作系统语言(客户端信息) 2723) 操作系统时区(客户端信息) 2724) 浏览器(客户端信息) 2725) 显示器颜色(客户端信息) 2726) 屏幕分辨率(客户端信息) 2827) 国家/省份 - 地址位置(客户端信息) 2828) 城市 - 地址位置(客户端信息) 2829) 接入商(客户端信息) 2830) 场所(客户端信息) 283. 数据处理 284. 数据展示 281) 参考网站 292) 趋势 曲线图趋势 353) 忠诚度 / 用户黏性 394) 用户客户端 浏览器 415) 来源分析：Ref分析、 站内/站外、站外统计 416) 用户行为 45七、 项目约束 45八、 项目资源 45九、 项目周期 46十、 项目交付 48十一、 其他信息 48技术开发部 用户行为数据分析项目计划书 一、 项目背景数据挖掘技术是近年来计算机技术发展的热点之一。通过对历史积累的大量数据的有效挖掘，可以发现隐藏的规律或模式，为决策提供支持，而这些规律或模式是不能够依靠简单的数据查询得到，或者是不能在可接受的时间内得到。这些规律或模式可以进一步在专业人员的识别下成为知识。数据挖掘面对的任务是复杂的，通常包括分类、预测、关联规则发现和聚类分析等。企业网站的绩效考评就是指企业网站访问情况的绩效考评，在网络营销评价方法中，网站访问统计分析是重要的方法之一，通过网站访问统计报告，不仅可以了解网络营销所取得的效果，而且可以从统计数字中发现许多有说服力的问题。网站访问量统计分析无论对于某项具体的网络营销活动还是总体效果都有参考价值，也是网络营销评价体系中最具有说服力的量化指标。销售预测在提高企业的经济效益及决策支持水平方面占有重要的地位。随着企业信息化水平的提高，企业销售数据的日益丰富，管理者对其中隐藏的销售预测信息的渴望日益强烈。用传统的方法来分析这些海量数据中的销售信息非常困难，已不能适应时代的要求。如何找到更好的方法挖掘出销售数据中隐藏的销售预测信息。二、 相关术语1. Web 数据挖掘Web 数据挖掘建立在对大量的网络数据进行分析的基础上，采用相应的数据挖掘算法，在具体的应用模型上进行数据的提取、数据筛选、数据转换、数据挖掘和模式分析，最后做出归纳性的推理、预测客户的个性化行为以及用户习惯，从而帮助进行决策和管理，减少决策的风险。Web 数据挖掘涉及多个领域，除数据挖掘外，还涉及计算机网络、数据库与数据仓储、人工智能、信息检索、可视化、自然语言理解等技术。技术开发部 用户行为数据分析项目计划书 1) Web 数据挖掘分类Web 数据挖掘可分为四类：Web 内容挖掘、Web 结构挖掘、Web 使用记录挖掘和 Web 用户性质挖掘。其中，Web 内容挖掘、Web 结构挖掘和 Web 使用记录挖掘是 Web1.0 时代就已经有了的，而Web 用户性质挖掘则是伴随着 Web2.0 的出现而出现的。2.1 Web 内容挖掘(WCM，Web Content Mining)2.2 Web 结构挖掘(WSM，Web Structure Mining)的基本思想是将 Web 看作一个有向图，他的顶点是 Web 页面，页面间的超链就是图的边。然后利用图论对 Web 的拓扑结构进行分析。2.3 Web 使用记录挖掘(WUM，Web Usage Mining)Web使用记录挖掘也叫 Web日志挖掘或 Web访问信息挖掘。它是通过挖掘相关的 Web日志记录，来发现用户访问 Web页面的模式，通过分析日志记录中的规律，可以识别用户的喜好、满意度，可以发现潜在用户，增强站点的服务竞争力。Web使用记录数据除了服务器的日志记录外， 还包括代理服务器日志、浏览器端日志、注册信息、用户会话信息、交易信息、Cookie中的信息、用户查询、等一切用户与站点之间可能的交互记录。Web使用记录挖掘方法主要有以下两种：(1) 将网络服务器的日志文件作为原始数据，应用特定的预处理方法进行处理后再进行挖掘；(2) 将网络服务器的日志文件转换为图表，然后再进行进一步的数据挖掘。通常，在对原始数据进行预处理后就可以使用传统的数据挖掘方法进行挖掘。2.4 Web 用户性质挖掘Web用户性质挖掘是伴随着 Web2.0的出现而出现的。基于 RSS、Blog、SNS、Tag以及 WiKi等互联网软件的广泛应用，Web2.0帮助人们从 Web10时代各大门户网站“填鸭”式的信息轰炸，过渡到了“人人对话”，每个普通用户既是信息的获取者，也是信息的提供者。4面对 Web2.0的诞生，Web数据挖掘技术又面临着新的挑战。如果说 Web使用记录挖掘是挖掘网站访问者在各大网站上留下的痕迹，那么 Web 用户性质挖掘则是要去 Web用户的老巢探寻究竟。在 Web2.0时代，网络彻底个人化了，它完全允许客户用自己的方式、喜好和个性化的定制服务创造自己的互联网，它一方面给予互联网用户最大的自由度，另一方面给予有心商家有待发掘的高含金量信息数据。通过对 Web 用户自建的RSS、Blog等 Web2.0功能模块下客户信息的统计分析，能够帮助运营商以较低成本获得准确度较高的客户兴趣倾向、个性化需求以及新业务发展趋势等信息。有关 Web2.0下的数据挖掘正在进一步的研究中。技术开发部 用户行为数据分析项目计划书 2) Web 数据的特点1)异构数据库环境。Web上的每一个站点就是一个数据源，每个数据源都是异构的，因而每一站点的信息和组织都不一样，这就构成了一个巨大的异构数据库。2)分布式数据源。Web页面散布在世界各地的 Web服务器上，形成了分布式数据源。3)半结构化。半结构化是 Web上数据的最大特点。Web上的数据非常复杂，没有特定的模型描述，是一种非完全结构化的数据，称之为半结构化数据。4)动态性强。Web是一个动态性极强的信息源，信息不断地快速更新，各站点的链接信息和访问记录的更新非常频繁。5)多样复杂性。Web包含了各种信息和资源，有文本数据、超文本数据、图表、图像、音频数据和视频数据等多种多媒体数据。3) 典型 Web 挖掘的处理流程包括如下四个过程：1)查找资源：根据挖掘目的，从 Web资源中提取相关数据，构成目标数据集，Web数据挖掘主要从这些数据通信中进行数据提取。其任务是从日标 Web数据(包括 Web 文档、电子邮件、电子文档、新闻组、网站日志、网络数据库中的数据等)中得到数据。2)数据预处理：在进行 Web挖掘之前对“杂质”数据进行过滤。例如消除数据的不一致性；将多个数据源中的数据统一为一个数据存储等。预处理数据的效果直接影响到挖掘算法产生的规则和模式。数据预处理主要包括站点识别、数据选择、数据净化、用户识别和会话识别等。3)模式发现：利用挖掘算法挖掘出有效的、新颖的、潜在的、有用的及最终可以理解的信息和知识。常用的模式发现技术包括：路径分析、关联规则挖掘、时序模式发现、聚类和分类等技术。4)模式分析：利用合适的工具和技术对挖掘出来的模式进行分析、解释、可视化，把发现的规则模式转换为知识。4) 常用的数据挖掘技术6.1 路径分析技术我们通常采用图的方法来分析 Web页面之问的路径关系。G(V，E)，其中：V是页面的集合，E是页面之间的超链接集合，页面定义为图中的顶点，而页面闻的超链接定义为图技术开发部 用户行为数据分析项目计划书 中的有向边。顶点 v的人边表示对 v的引用，出边表示 v引用了其他的页面，这样形成网站的结构图，从图中可以确定最频繁的访问路径。路径分析技术常用于进行改进站点的结构。如 70的用户访问companyproduct时，是从company开始，经过companynewcompanyproductscompanyproduct。此时可以将路径放在比较显著的地方，方便了用户访问，也提高了该产品的点击率。6.2 关联规则技术关联规则挖掘技术主要用于从用户访问序列数据库的序列项中挖掘出相关的规则，就是要挖掘出