审计大数据数据中心需求分析

审计大数据数据中心需求分析 谈到大数据大家从互联网上可以查到很多信息 （我都认可， 因为从通用或标准方式来说 都是对的） ，列举以下几项内容： 1大数据具有 4V 特点：第一，数据体量巨大（Volume） ，从 TB 级别跃升到 PB 级别。 第二，处理速度快（Velocity） ，1 秒定律，这这一点也是和传统的数据挖掘技术有着本质的不 同。第三， 数据类型繁多（Variety） ， 有网络日志、视频、 图片、 地理位置信息等多种形式。 第四，价值密度低，商业价值高（Value） 。以视频为例，连续不间断监控过程中，可能有用 的数据仅仅有一两秒。 2大数据指为了更经济更有效地从高频率、大容量、不同结构和类型的数据中获取价 值而设计的新一代架构和技术架构和技术， 用它来描述和定义信息爆炸时代产生的海量数据， 并命名与 之相关的技术发展与创新。 3大数据的精髓在于促使人们在采集、处理和使用数据时思维的转变，这些转变将改 变我们理解和研究社会经济现象的技术和方法技术和方法。 可能还有很多我没有列举，而您也觉得很重要的描述，我就列这些。其实从这些描述来 看，难道审计现在没有“大数据”吗？我认为在很多方面都满足特征： 1所谓 4V 特点，目前的审计工作中都包括了啊：审计采回来的数据特别大，几百GB 甚至十几 TB，今后也会上 PB啊；查询数据的系统性能都要求不低，虽然不至于 1S，但大 多数都是在人使用的忍受范围内； 审计所使用到的数据的特别丰富、 方方面面， 财政、 地税、 社保、公安、工商等等；想从这些数据中看出问题一直是一项复杂而艰巨的工作，不就是价 值密度低吗？ 2大数据所谓的新一代架构与技术，我认为其实与Web 2.0 一样是老技术新名词。大 数据技术所常听到、用到的 Hadoop（泛指与之相关的所有技术）架构，其实就是分布式架 构的新代言。 国家审计工作中也已经在多个方面开展应用， 例如并行数据仓库的采用 （PDW） 、 依据访问量设计的分布数据分析系统（以数据分发机制为依托） 、依据审计项目动态生成审 计数据分析系统（私有云）等。 3所谓的思维转变，其实是对于数据认识深入的一种体现，也是将人工智能、机器学 习、挖掘算法等新归集的说法。原来由于数据量不够大、来源不够丰富、种类不够齐全等， 大多数这些智能算法还是依赖于设计者的算法。 国家审计中对于多维分析、 关联分析等技术 都已经广泛使用，数据挖掘也在课题研究中试点应用。 其实大数据各行各业都可能或多或少的涉及到了， 更为深入的当然是金融、通信、零售 等行业，相对落后的是传统行业，例如政务、化工/制造等企业。那么大数据概念的提出是 否无意义，当然不是， “大数据”的精髓在于促使人们在采集、处理和使用数据时思维的转 变，这些转变逐步促使我们用以理解和研究社会经济现象的技术和方法的不断升级。 本文中先只谈对于数据采集、处理中的转变。至于使用数据以及研究、理解数据的技术 以后再谈。我以熟悉的审计数据为例，其他行业可以参照梳理。 1审计所采集数据范围不够广 之所以说审计所采集的数据不广， 是因为对审计有帮助的很多种数据并没有纳入采集范 围（姑且认为没有不可能的技术和政策限制等） 。例如：互联网数据、非结构化数据（文本 方面） 、语音/图像/图片数据、空间数据等。 （1）互联网数据，涉及到交易数据、交互数据、传感数据等。这些数据根据时间衰减 特别快，而审计有时候又无法及时开展，也就丢失了这些数据所能提供的价值。 （2）非结构化数据（指文本方面的） ，有时候我们会获取，但是获取到的这些数据在存 储、处理方面都比较复杂，所以采集这类数据时就有大量的没有获取，缺失严重。 （3）语音/图像/图片数据，这类数据获取更加少，可能在某些取证过程中才会涉及。 （4）空间数据，只有在专项审计项目中才会采集，而且非常局限，同时也没有建立空 间数据与其他各类获得数据之间的关联，使得数据价值无法充分发挥。 所以在大数据环境下我们需要尽可能的扩张获取数据的渠道， 理论上说没有无用的数据， 只有价值未发现的数据。 2审计所采集数据具有“失真”的风险 审计现在进行数据采集基本都进行了数据规划和处理， 数据规划的逻辑来源于审计关注 点。这里说“失真”是表达由于我们对于数据的认识不足， 导致了规划过程中失去了原本数 据可以反映的事实。 所以在大数据环境下， 应该保留数据的原始状态，只有在进行特定分析的时候才应该对 数据做规划处理，服务于某个专项目标。 3审计所采集数据还没有全关联 审计数据采集来后，由于数据口径、数据类型、数据状态等差异，导致没有实现数据完 全关联，这就导致数据的价值无法充分显现，甚至数据所反映的“事实”是错误的。经典的 例子如图中的数据点， 从时间序上看到的事实、 从数值聚 集看到的事实、从空间看到的事实是截然不同。 所以在大数据环境下数据处理的唯一工作就是将数 据更全面的关联起来。 谈到这里已经把我对大数据中关于数据采集、处理的主要观点表达出来了， 那么我们建 立的大数据数据中心应该实现什么呢？我认为实现好以下四个方面的需求就足够了： 1 具有丰富的数据采集渠道， 能够不断扩充对不同源的数据获取；（解决数据采集问题） 2具有弹性存储架构设计，并对采集到的各种类型数据的实现存储与管理； （解决数据 存储问题） 3具有丰富的数据关联处理工具，能够建立的不同来源、不同类型、不同形式的数据 之间的关联； （解决数据存储问题） 4具有对所存储数据的简单查询、浏览功能。 （解决数据的基本可用问题） 其他的需求我认为应该划归大数据数据分析，包括数据仓库建设、分析主题构建 （人工 智能、机器学习、挖掘算法等） 、可视化展现。 初步构想一个如下审计大数据平台，不成熟，以后逐步完善 0t1t2t3t4t5t6t7T Time Axis . . . f1 f2 fi fp . . . . Feature Space x1 x3 x4 x2 x5 x6 x7 Geographic Space s1 s2 s1 s3 s4 s2 s5 s6 s7