大数据毕业论文.doc

/ 目 录1 大数据的概述11.1 大数据的概念11.1.1 大数据的发展21.1.2 大数据的分类31.2 大数据的四大特点41.2.1 海量性41.2.2易变性41.2.3多样性41.2.4高速性51.3大数据时代对生活、工作的影响51.4大数据时代的发展方向、趋势51.4.1发展方向51.4.2发展趋势61.5企业应如何应对大数据时代72 我国外贸型企业发展所面临的困难92.1我国外贸型企业面临的困境92.1.1 外贸型企业发展历程102.1.2 外贸型企业的困境112.2商业模式创新对我国外贸型企业发展的机遇122.2.1 商业模式的创新概念122.2.2 商业模式的创新特点122.2.3商业模式创新可以为外贸型企业带来什么133 基于大数据的分析，商业模式创新153.1 加大数据处理分析能力153.2 提高专业技术人员的技术水平153.3 理论与实践相结合促进商业模式的创新164 结论171 绪论进入2012年以来，大数据（Big Date）一词越来越多地被提与与使用，它已经出现过在《纽约时报》、《华尔街时报》的专栏封面，人们用他来描述和定义信息爆炸时代产生的海量数据，进入美国白宫网的新闻，在国一些网络主题的讲座沙龙中，被嗅觉灵敏的银河证券、国军证券、国泰君安等写进了投资推荐报告，大数据时代来临。

移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域有人说21世纪是数据信息时代，我们在享受便利的同时，也无偿贡献了自己的“行踪”各种数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性现在互联网不但知道对面是一只狗，还知道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉我们不得不接受这个现实，每个人在互联网进入到大数据时代，都将是透明性存在大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息1.1 大数据的概念大数据（Big Data）是指那些超过传统数据库系统处理能力的数据它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统为了获取大数据中的价值，我们必须选择另一种方式来处理它。

对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发对大数据进行分析能揭示隐藏其中的信息即使是在车库中创业的公司也可以用较低的价格租用云服务时间了例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价对大数据的二次开发则是那些成功的网络公司的长项例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者举一个有趣的例子人品与删除浏览记录，就是一个典型的曾经看似风马牛不相与的关联体但来自以色列西南财经大学天府学院大数据时代的信息分析实训报告的Shvat Shaked却通过努力告诉人们，如此寻常的行为中同样蕴含着道理，也许还蕴含着无限商机很多人喜欢上网后删除浏览记录在保护隐私的旗帜下，这种行为很少受到关注，也很少激起人们的兴趣，自然也就不能调动人们深入思考和仔细研究的积极性Shvat有一个坚定的信念：一个人的品行与其不经意间的行为密切相关，那些“坏人”为防被人追踪一定会不断删除自己在互联网上的踪迹，而“好人”则一般不介意在互联网上留下自己的印记。

基于这个信念，Shvat通过对海量数据的分析研究出了一款独特的欺诈系统这一防欺诈系统受到了ebay的关注后者的paypal系统允许两个通户通过电邮地址交易，这微钓鱼式攻击提供了可乘之机：一些欺诈伪装成真实以获得用户的登录信息paypal近年来不断加强安全却一直收获不大，Shvat的创意与其防欺诈系统出色的性能就在此时吸引了ebay2008年，ebay以1.69亿美元将Shvat与其公司Fraud Sciences收入囊中1.1.1 大数据的发展最早提出大数据时代已经到来的机构是全球知名咨询公司麦肯锡麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来大数据迅速成为了计算机行业争相传诵的热门概念，也引起了行业的高度关战略虽然大数据目前在国还处于初级阶段，但是商业价值已经显现出来未来，数据可能成为最大的交易商品但数据量大并不能算是大数据，大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化大数据的整体态势和发展趋势，主要体现在几个方面：大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。

大数据整体态势上，数据的规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享因此，大数据的价值是通过数据共享、交叉复用后获取最大的数据价值在他看来，未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将大数据变成一大产业随着大数据的共享越来越大，隐私问题也随之而来，比如说每天产生的通话、位置等等但这给带来了便利的同时也给带来了个人隐私的问题大数据的发展会催生许多新兴新职业，会产生数据分析师、数据科学家、数据工程师，有非常丰富的数据经验的人才会成为稀缺人才随着社会的不断发展，大数据对IT技术架构的挑战，大数据的生态环境问题，大数据的应用与产业链将日益突出随着大数据的发展，数据共享联盟将逐渐壮大成为产业的核心一环数据资源化，大数据在国家和企业和社会层面成为重要的战略资源，成为新的战略制高点和抢购的新焦点虽然大数据目前在国还处于初级阶段，但是商业价值已经显现出来未来，大数据的整体态势和发展趋势，只要体现在几个方面：大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响大数据整体态势上，数据的规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享。

随着大数据的发展，数据共享联盟将逐渐壮大成为产业的核心一环大数据的发展会催生许多新兴职业，会产生数据分析师、数据科学家、数据工程师，有非常丰富的数据经验的人才会成为稀缺人才随着大数据的共享越来越大，隐私问题也随之而来，比如说每天产生的通话、位置等等，但这给带来了便利的同时也给带来了个人隐私的问题数据资源化，大数据在国家各企业和社会层面成为最重要的战略资源，成为新的战略制高点和抢购的新焦点1.1.2 大数据的分类 （1）、按照数据分析的实时性，分为实时数据分析和离线数据分析两种 实时数据分析一般用于金融、移动和互联网B2C等产品，往往要求在数秒返回上亿行数据的分析，从而达到不影响用户体验的目的目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等要满足这样的需求，可以采用精心设计的传统关系型数据库组成并行处理集群，或者采用一些存计算平台，或者采用HDD的架构，这些无疑都需要比较高的软硬件成本互联网企业的海量数据采集工具，有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等，均可以满足每秒数百MB的日志数据采集和传输需求，并将这些数据上载到Hadoop中央系统上。

对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，应采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台但面对海量数据，传统的ETL工具往往彻底失效，主要原因是数据格式转换的开销太大，在性能上无法满足海量数据的采集需求2） 、按照大数据的数据量，分为存级别、海量级别三种、BI级别这里的存级别指的是数据量不超过集群的存最大值不要小看今天存的容量，Facebook缓存在存的Memcached中的数据高达320TB，而目前的PC服务器，存也可以超过百GB因此可以采用一些存数据库，将热点数据常驻存之中，从而取得非常快速的分析能力，非常适合实时分析业务海量级别指的是对于数据库和BI产品已经完全失效或者成本过高的数据量海量数据级别的优秀企业级产品也有很多，但基于软硬件的成本原因，目前大多数互联网企业采用Hadoop的HDFS分布式文件系统来存储数据，并使用MapReduce进行分析本文稍后将主要介绍Hadoop上基于MapReduce的一个多维数据分析平台BI级别指的是那些对于存来说太大的数据量，但一般可以将其放入传统的BI产品和专门设计的BI数据库之中进行分析。

目前主流的BI产品都有支持TB级以上的数据分析方案种类繁多，就不具体列举了1.2 大数据的特点1.2.1 海量性企业面临着数据量的大规模增长例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模围从几十TB到数PB不等简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑此外，各种意想不到的来源都能产生数据 上图是双击信息科技的数据，这个是美国进口LED灯的部分数据，它记录了日期、采购商、供应商、原产国、产品描述、和重量等，这样的数据是非常庞大的，如果这样的话数据给到中国出口型企业是没有用的，所以要进行专业的数据分析，让数据产生价值1.2.2易变性　　大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值1.2.3多样性　　一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。

然而，数据多样性的增加主要是由于新型多结构数据，以与包括网络日志、社交媒体、互联网搜索、通话记录与传感器网络等数据类型造成其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性1.2.4高速性　　高速描述的是数据被创建和移动的速度在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备2大数据的影响在数字时代，人们的生活方式和思考方式在发生一系列的变化，这种变化同样也使得人们的消费观念发生较大的转变大数据时代对生活、工作的影响 大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下它赋予消费者更广阔的视野，同时也在提高着消费者的自主意识这些影响足够消费者不再完全相信传统营销“轰炸式”的传播和灌输，他们更加倾向于受到质疑的品牌和产品，他们能够在基础上发表自己。