《电子商务数据分析与应用》课件04数据的采集.ppt

电子商务数据分析与应用电子商务数据分析与应用第4章 数据的采集本章提纲 电子商务相关数据的获取概述电子商务相关数据的获取概述4.1 网络数据的爬取网络数据的爬取4.2 店铺数据获取的主要渠道店铺数据获取的主要渠道4.3 问卷调查的设计与回收处理问卷调查的设计与回收处理4.4思维导图案例引入u优衣库的库存清优衣库的库存清空空u优衣库的系统化，高容错和低错误率业务模型，其背后是大量数据的收集和准确分析在起支撑作用u优衣库的员工必须在应用数据方面非常熟练多年来，他们维护着每日数据，例如每周销售数据，样式代码、市场状况以及每家线上和线下商店的销量分析制定相应的产销策略，降低成本，提高容错率，实现“零库存”u优衣库对数据的成功采集和分析取得了巨大的应用价值，使得其在中国的快时尚市场站稳脚跟u那么如何收集这些数据成了众多渴望成功的商家的关注重点，接下来就介绍数据获取的一些方法和渠道4.1 电子商务相关数据的获取概述u在做数据分析之前，首先需要完整、真实、准确地收集和获取数据，以便于量化分析工作的开展一般商务数据的获取有以下几个常见途径：从公开数据源获取、利用网络爬虫抓取数据以及设计调查问卷收集数据。

特别，针对电子商务平台和卖家，可以通过网站后台获取运营数据4.1 电子商务相关数据的获取概述v4.1.1 公开数据源公开数据源v4.1.2 网络爬虫网络爬虫v4.1.3 问卷调查问卷调查4.1.1公开数据源u比较权威的公开数据源包括：国际货币基金组织、世界银行、世界卫生组织、经济合作和发展组织、UCI数据库等4.1.2 网络爬虫u由于网络爬虫可以自动访问网页并记录网页对应的内容，因此被用作数据获取工具这里主要介绍用作数据获取工具的网络爬虫u爬虫只是一类批量自动访问网页的工具，核心功能是访问网页网页中的素材存在于网站所在的服务器上，当这个服务器收到一个访问请求时，它会把对应的素材发送到请求发出的地方，这就是人们通过浏览器可以看到别人服务器上的内容的原因4.1.3 调查问卷u调查是获取一手数据的重要方式之一通常而言，调查是指为了了解总体的某些属性特征，而对其中的所有或部分个体开展信息搜集的系统方法4.2 网络数据的爬取v4.2.1 网络爬虫的基础知识网络爬虫的基础知识v4.2.2 网络爬虫的两种主流工具网络爬虫的两种主流工具v4.2.3 PythonPython爬取数据爬取数据4.2.1网络爬虫的基础知识u网 络 爬 虫 成 为 获 取 网 络 数 据 资 源 的 有 效 方 式 。

网 络 爬 虫 （ Web Crawler）又称为网络蜘蛛（Web Spider）或Web信息采集器，是一种按照指定规则，自动抓取或下载网络资源的计算机程序或自动化脚本4.2.1网络爬虫的基础知识u【前沿话题】爬虫须知u网络爬虫作为一项技术，更应该服务于社会在使用该技术的过程中，应遵守Robots协议（互联网行业数据抓取的道德协议）同时，需要注意对数据所涉及的知识产权和隐私信息进行保护另外，采集数据时，不要频繁地请求网页，以防止给数据提供者的服务器造成不良影响在使用所采集的数据时，需要注意是否涉及商业利益和相关法律4.2.2 网络爬虫的两种主流工具u1. 八爪鱼u（1）介绍八爪鱼u八爪鱼采集器是深圳视界信息技术有限公司研发的一款业界领先的网页采集软件，具有使用简单、功能强大等诸多优点八爪鱼采集器可简单快速地将网页数据转化为结构化数据，存储于Excel或数据库等，并且提供基于云计算的大数据云采集解决方案，实现精准、高效、大规模的数据采集4.2.2 网络爬虫的两种主流工具u（2）八爪鱼简易模式下“京东商品列表采集”u京东商品数据采集下来有很多作用，如可以分析京东商品价格变化趋势，了解评价数量、竞品销量和价格，分析竞争店铺等，快速掌握市场行情，帮助企业决策。

下面重点介绍八爪鱼简易模式下“京东商品列表采集”的使用过程及注意要点u下载八爪鱼软件并登录u设置京东商品列表抓取规则u掌握模板的使用方式u保存并运行京东商品列表采集规则4.2.2 网络爬虫的两种主流工具u2. Web ScraperuWeb Scraper是 一 个 轻 量 级 的 Chrome浏 览 器 爬 虫 插 件 ， 用 于 抓 取 任 意 Web页 面 并 使 用 几 行 JavaScript代码从中提取结构化数据它能够加载web页面并实现动态抓取4.2.2 网络爬虫的两种主流工具u（1）Web Scraper的安装u如果网络状况较好，可以选择在Chrome网上应用商店下载，也可以在其他提供下载的网站下载，下载后保存有一个以.crx结尾的文件u打开Chrome浏览器，找到“扩展程序” u打开开发者模式u将下载下来的crx文件更改后缀名为“zip”并解压，点击“加载已解压的拓展程序”，选中解压后的文件夹4.2.3 Python爬取数据u使用Python进行网络爬取需要使用者具有一定的Python基础，包括Python的下载、环境配置、包的安装方法，基本语法和函数的使用，脚本的执行等，可通过其他书籍或网上资源习得。

u下面介绍Python进行爬虫的思路和基本操作如果要爬取淘宝网站的商品数据：4.2.3 Python爬取数据u执行如下程序，这个简单的程序定义了一个网络爬虫程序普遍的流程：访问站点；定位所需的信息；得到并处理信息u这个程序执行后会生成一个“crawdata.txt”文本文档，打开后看到输出商品的序号、价格、商品名称等信息u也可进一步将文本文件导入到Excel中进行数据分析（将文本文件导入Excel的操作参见5.1.1节）4.3 店铺数据获取的主要渠道u以电商卖家的视角切入，介绍数据分析中的第一步数据收集的获取渠道u主要包括：店铺流量数据、商品数据、交易数据、客户服务和物流服务数据以及市场和竞争数据的收集渠道4.3 店铺数据获取的主要渠道v4.3.1 流量数据流量数据v4.3.2 商品数据商品数据v4.3.3 交易数据交易数据v4.3.4 客户服务和物流服务数据客户服务和物流服务数据v4.3.5 市场和竞争数据市场和竞争数据4.3.1 流量数据u流量是非常重要的电商指标一个店铺的流量来源有很多，有免费的、付费的、站内的、站外的本小节主要介绍站内免费流量数据、站内付费流量数据和自主流量数据的收集指标和采集方法。

u1. 站内免费流量数据u各平台站内免费流量的来源有很多，要想收集站内免费流量的数据，首先一定要清楚站内免费流量的结构，哪些是店铺已经做了的引流，哪些是店铺还可以去做的引流下面介绍淘系（阿里巴巴、淘宝、天猫）平台的流量结构u（1）流量的来源结构u淘系平台站内免费流量的入口有很多主要流量以无线端为主，入口也是以无线端为主，主要包括以下几项流量来源： 手淘搜索 手淘首页 手淘微淘 淘系站内活动 淘系类目频道4.3.1 流量数据u（2）流量数据查询工具/入口u在明确了淘系站内免费流量的来源后，接下来要了解从哪里可以查询到这些数据u对于卖家可以使用官方平台的数据工具生意参谋”是淘系店铺商家数据分析的工具生意参谋可以提供全面的店铺数据分析，是淘系商家的得力助手生意参谋能一站式地进行数据分析，针对性地给出诊断结果并提供解决方案u可以从以下两个入口进入生意参谋首页：商家中心入口账号登录进入商家中心，点击“商家地图”“营销数据管理”“生意参谋”千牛入口登录千牛软件，点击“店铺管理”“商家中心”；找到数据中心模块，点击“生意参谋”；进入生意参谋首页4.3.1 流量数据u【知识拓展】u生意参谋专业的电商数据分析平台u生意参谋为商家提供数据，让商家对于数据进行分析，然后去对自己的店铺进行布局规划，但是功能区分还是非常明显的，可分为两大类。

u一是淘系商家对自己店铺进行经营分析，帮助商家对店铺进行管理u主要包括：流量；商品；客户；营销；交易；服务u二是为淘系卖家提供行业整体的大盘数据，使其了解自己店铺中经营类目的整体市场行情u主要是生意参谋中的“市场竞争”功能模块包括：市场概况、市场看板、供需洞察、行业大盘、店铺排行、商品排行、属性排行、搜索词排行、搜索词查询、竞争洞察、竞店对比、零售市场洞察、跨境商机等4.3.1 流量数据u2. 站内付费流量数据u（1）淘系站内付费流量来源u直通车、淘宝客、钻展是淘宝/天猫平台站内三大付费流量的来源方式u宝贝展现量u点击量u点击率u点击转化率u投入产出比u关键词质量得分u（2）淘系流量数据查询工具u直通车、钻展及淘宝客开通之后，淘系卖家可以通过阿里巴巴集团官方出品的千牛工作平台，查询付费推广的各项数据，包括卖家工作台、消息中心、阿里旺旺、量子恒道、商品管理等主要功能采集推广效果数据，掌握付费推广为店铺带来的流量数据，了解投放效果4.3.1 流量数据u3. 自主流量数据u在各项流量数据中，自主流量多来自老客户，通过“购物车”“收藏夹”“直接访问”等方式访问店铺，这部分流量的转化率相对较高u（1）站内自主流量结构u站内自主流量有五种主要渠道。

u收藏夹u我的淘宝u已买到的商品u直接访问u购物车u（2）数据查询工具u淘系平台可以选择千牛平台的生意参谋进行操作登录千牛账户，点击从左向右数的第三个模块，打开千牛工作台在千牛工作台首页“数据中心”模块找到“生意参谋”，点击进入生意参谋首页4.3.2 商品数据u电商平台需要定期分析商品销售情况，比如不同商品的成交转化情况、访客浏览情况及售后服务情况等，从时间、商品的类别、价格等多个维度进行商品数据分析u1. 店铺商品效果数据u（1）店铺商品效果数据指标核心数据全量商品排行商品360u（2）数据查询工具u可以通过生意参谋的品类罗盘进行商品数据查询u品类罗盘可以为商家提供全店商品实时监控，商品人群精准营销，新品上市效果追踪，异常商品问题诊断等丰富的产品运营场景服务，其主要功能有：人群管理精准应用、宝贝标题精细优化、竞争单品对比剖析4.3.2 商品数据u2. 主推品单品分析数据u（1）主推品单品数据分析的数据指标u流量来源u销售分析u客群洞察u关联搭配u（2）数据查询工具u通过生意参谋能一站式地进行数据分析，具体操作步骤：登录淘宝千牛软件，点击“店铺管理”“商家中心”；找到数据中心模块，点击“生意参谋”；点击商品模块，进入单品分析界面。

4.3.3 交易数据u1. 店铺交易数据u（1）店铺交易数据指标u交易概况数据u交易构成数据u交易明细数据u（2）数据查询步骤u登录千牛平台的生意参谋工具，进入生意参谋工作界面进入生意参谋首页，点击“交易”板块u在左侧列表中，点击“交易概况”找到交易趋势，选择需要统计的周期，在交易趋势模块中点击右边的“下载”按钮u在左侧列表中，点击“交易构成”，分别在终端构成、类目构成、价格带构成和资金回流构成模块中，点击“下载”按钮u在左侧列表中，点击“交易明细”，对数据进行收录统计4.3.3 交易数据u2.主推品交易数据u（1）主推品交易数据u下单买家数与支付买家数u下单件数与支付件数u下单金额与支付金额u下单支付转化率与支付转化率u（2）主推品交易数据查询工具/入口u运用生意参谋中的品类板块可以搜索单个产品，进入单品交易数据板块，分析商品成为热销品的可能性u“商品洞察”中的“商品360”，包括销售分析、流量来源、标题优化、内容分析、客群洞察、关联搭配、服务分析等七种功能模块4.3.4 客户服务和物流服务数据u1. 客户服务数据u（1）客户服务数据指标u服务体验u接待响应u客服销售u售后维权u（2）客户服务数据查询工具u生意参谋的“服务洞察”功能主要用于监测子账号的各项服务数据，重点面向客服主管、一线客服等人员，提供数据监测分析、客服管理协同以及客服辅助支持3个方面的产品服务，帮助商家提升客服管理与执行能力。

4.3.4 客户服务和物流服务数据u2. 物流服务数据u（1）物流服务数据结构u创建订单数u发货订单数u揽收订单数u签收订。