大数据关键技术
5页1、大数据关键技术 大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现的有力武器。 大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。 一、大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据,是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型,开发数据质量技术。大数据采集一般分为大数据智能感知层:主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统,实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层:提供
2、大数据服务平台所需的虚拟服务器,结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视化接口技术,大数据的网络传输与压缩技术,大数据隐私保护技术等。二、大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。1)抽取:因获取的数据可能具有多种结构和类型,数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型,以达到快速分析处理的目的。2)清洗:对于大数据,并不全是有价值的,有些数据并不是我们所关心的内容,而另一些数据则是完全错误的干扰项,因此要对数据通过过滤“去噪”从而提取出有效数据。三、大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来,建立相应的数据库,并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非关系型大数据管理与处理技术,异构数据
《大数据关键技术》由会员汽***分享,可在线阅读,更多相关《大数据关键技术》请在金锄头文库上搜索。
高一数学函数及其性质测试题及答案
护士节比赛演讲稿5五篇
浙江选考版高考化学一轮复习检测:专题8化学反应原理强化突破一检测含解析
2023三年级运动会加油稿15篇
店长竞聘演讲稿
(完整版)音乐课程标准理论测试题
标准化建设验收表(总1)
省考时政热点:春节压岁钱调查公务员子女压岁钱水平最高
国庆节教师爱国演讲稿
沪科版 八年级物理上册2.2 长度与时间的测量教案1
度公司培训计划
溢流坝工程施工设计方案
专业知识暖通空调设计方案阶段应作好哪些工作
我国上市公司内部控制白皮书模板
环保倡议书15篇
高一物理寒假学案
辩论--说服的艺术(周玄毅)
论文中的参考文献怎样标注
城市购房合同范本
应急预案演练记录表
2022-11-13 10页
2023-06-14 66页
2022-07-30 4页
2024-02-20 103页
2022-10-25 70页
2023-05-06 3页
2024-02-13 5页
2023-02-22 4页
2023-09-09 16页
2024-01-15 24页