数据分析过程中各个步骤中使用的工具讲解
数据分析过程中各个步骤使用的工具数据分析也好，统计分析也好，数据挖掘也好、商业智能也好，都需要在学习的时候掌握各种分析手段和技能，特别是要掌握分析软件工具！学习数据分析，一般是先学软件开始，再去应用，再学会理论和原理！没有软件的方法就不去学了，因为学了也不能做，除非你自己会编程序。下图是一个顶级的分析工具场，依次从X和Y轴看：第一维度：数据存储层>数据报表层>数据分析层>数据展现层第二维度：用户级>部门级>企业级>BI级我结合上图和其他资料统计了我们可能用到的软件信息。具体的软件效果还需要进一步研究分析和实践。1 第一步：设计方案可以考虑的软件工具： mind manager。Mind manager(思维导图又叫心智图)，是表达发射性思维的有效的图形思维工具 ，它简单却又极其有效，是一种革命性的思维工具。思维导图运用图文并重的技巧，把各级主题的关系用相互隶属与相关的层级图表现出来，把主题关键词与图像、颜色等建立记忆链接。思维导图充分运用左右脑的机能，利用记忆、阅读、思维的规律，协助人们在科学与艺术、逻辑与想象之间平衡发展，从而开启人类大脑的无限潜能。思维导图因此具有人类思维的强大功能。思维导图是一种将放射性思考具体化的方法。我们知道放射性思考是人类大脑的自然思考方式，每一种进入大脑的资料，不论是感觉、记忆或是想法包括文字、数字、符码、香气、食物、线条、颜色、意象、节奏、音符等，都可以成为一个思考中心，并由此中心向外发散出成千上万的关节点，每一个关节点代表与中心主题的一个连结，而每一个连结又可以成为另一个中心主题，再向外发散出成千上万的关节点，呈现出放射性立体结构，而这些关节的连结可以视为您的记忆，也就是您的个人数据库。2 第二步：数据采集可以考虑的工具软件：word、excel、access、oracle、mysql。2.1 Word、Excel和Access等有关office软件的内容，我们就不介绍了。2.2 Oracle Database又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的 适应高吞吐量的数据库解决方案。介绍：http:/baike.baidu.com/picture/1685727/1685727/0/f31fbe096b63f6241b74d9268544ebf81a4ca3ee.html?fr=lemma&ct=single#aid=0&pic=f31fbe096b63f6241b74d9268544ebf81a4ca3ee2.3 MySQL（发音为"my ess cue el"，不是"my sequel"）是一种开放源代码的关系型数据库管理系统（RDBMS），MySQL数据库系统使用最常用的数据库管理语言-结构化查询语言（SQL）进行数据库管理。这个也不做过多介绍。3 第三步：数据处理可以考虑的工具软件：Epidata、excel、 SPSS、ETL。3.1 EpiData工具是一个既可以用于创建数据结构文档，也可以用于数据定量分析一组应用工具的集合。EpiData协会于1999年在丹麦成立。EpiData采用Pascal开发。在允许的情况下，尽可能地使用开放标准（如HTML）。介绍：http:/baike.baidu.com/link?url=9z2e0tvF9yh7a59W-0sYFNf8sZzjpqL4u11Glxxj4J1HBMtSl8eSJMSTeUZxEMcMlMGo8LnZQCforWxTqwPPda下载地址：http:/bbs.pinggu.org/thread-386685-1-1.html3.2 Excel工具有关Office软件的信息不做介绍3.3 SPSS工具（Statistical Product and Service Solutions），“统计产品与服务解决方案”软件。最初软件全称为“社会科学统计软件包”（SolutionsStatistical Package for the Social Sciences），但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为“统计产品与服务解决方案”，标志着SPSS的战略方向正在做出重大调整。为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称SPSS，有Windows和Mac OS X等版本。百度百科介绍：http:/baike.baidu.com/link?url=Sx6UNQj33qC5igpst8Lz2PZl494sD0FAG8fcCYgrVy0_jlSPvvBFmrHEngsfG5ou233d9aAxvgrrlw-NqSiZoa下载地址：http:/www.ddooo.com/softdown/10039.htm备注：安装需要注册码3.4 ETL模式是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。目前，ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle开源的工具有eclipse的etl插件。cloveretl.数据集成：快速实现ETL百度百科介绍：http:/baike.baidu.com/link?url=EVl1pZdi9ZtCwa7yCH2LOM87LqVCE6XJVp68rJeB87v0hnvm6XXe_rywObzPm2QflItlwnSDrX5eUpsW8h-Ja0ISldXVuoMN0Pn5d1iCtTu 相关软件下载：FineBI工具http:/www.onlinedown.net/soft/222228.htm4 第四步：数据分析可以考虑的工具软件：SPSS、SAS、Matlab、Eviews、Stata、Excel、Weka、RapidMiner。4.1 SPSS是一个综合类数据分析处理软件，前面介绍了，我们在这一部分就不再介绍。4.2 SAS（全称STATISTICAL ANALYSIS SYSTEM，简称SAS）是全球最大的软件公司之一，是由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。百度百科介绍：http:/baike.baidu.com/link?url=JNRrNyC3ZhBPJXAL0HtQ2DGFBQP8RYeKWR81b6EtpF9PPuPPyC2AiRgRT2t_cnqej3AFYNATem8OdaP-Cp5TDS_7cXwJMxjc_oNSocHgru下载地址：http:/bbs.pinggu.org/thread-2114285-1-1.html备注：安装需要虚拟光盘、sid等信息。也可以购买sid。4.3 Matlab每个人都很了解，我就不做太多介绍了。4.4 Eviews是Econometrics Views的缩写，直译为计量经济学观察，通常称为计量经济学软件包。它的本意是对社会经济关系与经济活动的数量规律，采用计量经济学方法与技术进行“观察”。另外Eviews也是美国QMS公司研制的在Windows下专门从事数据分析、回归分析和预测的工具。使用Eviews可以迅速地从数据中寻找出统计关系，并用得到的关系去预测数据的未来值。Eviews的应用范围包括：科学实验数据分析与评估、金融分析、宏观经济预测、仿真、销售预测和成本分析等。介绍：http:/baike.baidu.com/link?url=vLJW8XexwC-_vZ-7sL4zNWZQcCvN4oWReneCHa7mopZtK4VAvbdF2hUjNwbYIgngbqTQdcm7ApSfoTwTR4Ct_下载地址：http:/bbs.pinggu.org/thread-752891-1-1.html4.5 Stata 是一套提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。它提供许许多多功能，包含线性混合模型、均衡重复反复及多项式普罗比模式。Stata 其统计分析能力远远超过了 SPSS ，在许多方面也超过了 SAS ！由于 Stata 在分析时是将数据全部读入内存，在计算全部完成后才和磁盘交换数据，因此计算速度极快（一般来说， SAS 的运算速度要比 SPSS 至少快一个数量级，而 Stata 的某些模块和执行同样功能的 SAS 模块比，其速度又比 SAS 快将近一个数量级！） Stata 也是采用命令行方式来操作，但使用上远比 SAS 简单。其生存数据分析、纵向数据（重复测量数据）分析等模块的功能甚至超过了 SAS 。用 Stata 绘制的统计图形相当精美，很有特色。介绍：http:/baike.baidu.com/link?url=QUuwD6I50_QADWtvXkXQl5lBf2qvSOvny590h8oxrlF2ar6-axuye6pEOfCpL_lifMCaz7LcrnFAfwzsNbOyna下载：http:/bbs.pinggu.org/thread-714027-1-1.html4.6 weka全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），是一款免费的，非商业化（与之对应的是SPSS公司商业数据挖掘产品-Clementine ）的，基于JAVA环境下开源的机器学习（machine learning）以及数据挖掘（data minining）软件。它和它的源代码可在其官方网站下载。有趣的是，该软件的缩写WEKA也是New Zealand独有的一种鸟名，而Weka的主要开发者同时恰好来自New Zealand的the University of Waikato。介绍：http:/baike.baidu.com/link?url=AR80v-BY2MUNu2j_JXqwBKDD6Df-hK7_LThpf_4vqUFYY5AIsOL47EwpChPhZi6tzJr8iIP8UQcablDhUj-MPK下载：http:/www.xpgod.com/soft/17508.html4.7 RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。免费提供数据挖掘技术和库100%用Java代码（可运行在大部分操作系统上）数据挖掘过程简单，强大和直观内部XML保证了标准化的格式来表示交换数据挖掘过程可以用简单脚本语言自动进行大规模进程多层次的数据视图，确保有效和透明的数据图形用户界面的互动原型命令行（批处理模式）自动大规模应用Java API（应用编程接口）简单的插件和推广机制强大的可视化引擎，许多尖端的高维数据的可视化建模值得一提的是，该工具在数据挖掘工具榜上位列榜首。备
