医学资料 医疗大数据及相关技术 学习课件.pptx

Content,Page,#,Page,#,Page,#,Page,#,Page,#,医疗大数据及相关技术介绍,翟运开 博士,/,副教授,河南省数字医疗工程技术研究中心 副主任,数字化远程医疗服务河南省工程实验室 副主任,郑州大学第一附属医院 河南省远程医学中心 主任,中国卫生信息学会远程医疗信息化专业委员会 常委,/,秘书长,郑州大学硕士研究生导师,河南省五一劳动奖章获得者,河南省教学标兵、河南省技术标兵,河南省数字医疗工程技术研究中心副主任,河南省教育系统教学技能竞赛特等奖获得者,数字化远程医疗服务河南省工程实验室副主任,郑州大学第一附属医院河南省远程医学中心主任,中国卫生信息学会远程医疗信息化专业委员会常委,/,秘书长,教育部科学技术研究重点项目负责人河南省重大科技专项课题负责人国家科技部,科技惠民计划重大专项课题负责人参加国家科技部,863,项目、国家科技支撑项目、国家自然科学基金项目等,5,项获得河南省科技进步奖二等奖、河南省优秀社科成果奖二等奖、河南省自然科学学术奖一等奖等,6,项发表各类学术论文,80,余篇，出版专著,1,部，参编教材,4,部取得软件知识产权,10,项医疗信息化与远程医疗、医药电子商务与物流管理、科技创新与管理等,。

主要研究方向,主要参与课题,翟运开 博士,/,副教授,目录,大,数据时代,大数据带来的变革,大,数据相关技术,医疗大,数据,大数据时代反思,1,、大数据时代,左右未来十年的四大趋势,1,、大数据时代,数据源呈现指数级增长,IDC,（,International Data Corporation,）预计到,2020,年，全球将总共拥有,35ZB,的数据量,如果把,35ZB,的数据全部刻录到容量为,9GB,的光盘上，其叠加的高度将达到,233,万公里,，相当于,在地球与月球之间往返三次,1,、大数据时代,大,数据时代到来,(1),2012,年月份美国奥巴马政府发布了“大数据研究和发展倡议”（,Big data research and development initiative,），投资亿以上美元，正式启动“大数据发展计划”,美国政府认为，大数据是“,未来的新石油,”,1,、大数据时代,大,数据时代到来,(2),大数据是,2012,年月份的达沃斯世界经济论坛上的主题之一,该次会议还特别针对大数据发布了报告“,Big data,big impact:New possibilities for international development”,1,、大数据时代,大,数据时代到来,(3),联合国一个名为“,Global Pulse”,的倡议项目在,2012,年月发布报告,Big Data for Development:Challenges&Opportunities,该报告主要阐述大数据时代各国特别是发展中国家在面临数据洪流（,data deluge,）的情况下所遇到的机遇与挑战,1,、大数据时代,大,数据时代到来,(4),产业结构调整要依靠改革，进退并举,设立新兴产业创业创新平台，在新一代移动通信、集成电路、,大数据,、先进制造、新能源、新材料等方面赶超先进，引领未来产业发展。

李克强,政府工作报告,2014,年,3,月,5,日,1,、大数据时代,大,数据,定义,大数据至今尚无确切、统一的定义,麦肯锡（,McKinsey,）的定义：大数据是指,无法在一定时间内,用,传统数据库,软件工具对其内容进行采集、存储、管理和分析的,数据集合,IDC,的定义：大数据一般会涉及,2,种或,2,种以上,数据形式,它要收集超过,100TB,的数据,，并且是,高速、实时数据流,1,、大数据时代,大,数据特点,4V,Volume,海量的数据规模,Variety,多样的数据类型,Streams,Real time,Near time,Batch,TB,PB,EB,Structured,Unstructured,Semi-structured,All the above,Value,Velocity,快速的数据流转,巨大的数据价值,目录,大,数据时代,大数据带来的变革,大,数据相关技术,医疗大,数据,大数据时代,反思,2,、大数据带来的变革,信息技术革命的小周期,2,、大数据带来的变革,新思维,个体数据的精确性不再重要,数据就是货币,数据随时间迅速折旧,数据是资产,改变“数据是稀缺资源”的世界观,数据是原材料,信息是原油,2,、大数据带来的变革,新方法学,多数据源的整合,描述性分析,预测性和,处方性分析,大,数据,+,小算法,+,上下文,+,知识积累,数据民主化和开放数据,数据,资产、数据产品和社会化分析服务的货币化,数据极大丰富前提下的新分析思维和技术,数据市场和数据定价,社会化分析服务,实时性大于绝对的精确性,2,、大数据带来的变革,实时精准营销,利用,大数据能力可以帮助企业获得突破性回报,2,、大数据带来的变革,实时风险控制,利用,大数据能力可以帮助,企业进行实时风险控制，如，银行业,2,、大数据带来的变革,安全检测,将安全检测与大数据融合,2,、大数据带来的变革,医疗大数据,目录,大,数据时代,大数据带来的变革,大,数据相关技术,医疗大,数据,大数据时代,反思,成本,可承受（,economically,）,的情况下,通过,非常,快速（,velocity,）的采集、发现和,分析,；在,大,量化（,volumes,）,、,多,类别（,variety,）的数据中提取价值（,value,）,分析,的数据越全面，分析的结果就越接近于,真实,能够,从,这些数据,中获取新的洞察力，并将其与已知业务的,各个,环节,相融合,3,、大数据相关技术,计算,存储,数据库,网络,单机,集群,文件存储,单机,设备间连接,设备内连接,关系型数据库,10GE FC IB,分布式数据库,非关系型数据库,块存储,10GE SAS IB,横向扩展,块级虚拟化,横向扩展,分布式文件系统,3,、大数据相关技术,大,数据带来的技术变革,3,、大数据相关技术,大,数据系统,当前大数据系统主要包括：存储、计算、分析等。

3,、大数据相关技术,分布式文件系统,分布式,文件系统（,Distributed File System,）是指文件系统管理的,物理存储资源不一定,直接连接,在本地节点,上，而是,通过计算机网络与节点相连,分布式文件系统的设计基于,客户机,/,服务器,模式,大,数据系统中常用的分布式文件系统为,HDFS,3,、大数据相关技术,并行计算,传统并行计算拥有多个,CPU,，,计算资源,与,存储资源,分离，数据,统一存放,、,统一读取,对于数据密集型处理，,I/O,将成为整个系统瓶颈MapReduce,由普通,PC,组成，考虑数据局部性原理，将数据分布至各个节点，处理时，就近读取数据分组,聚合,X86,服务器,X86,服务器,3,、大数据相关技术,实时流式计算,实时计算一般都是针对,海量数据,进行,，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够,实时响应计算结果,，一般要求为,秒级,3,、大数据相关技术,数据分析流程,确定业务对象,数据准备,数据挖掘,结果分析,知识的同化,滥用缩写词,数据输入错误,数据中的内嵌控制信息,不同的惯用语,重复记录,丢失值,拼写变化,不同的计量单位,过时的编码,含有各种噪声,数据污染,格式标准化,异常数据清除,错误纠正,重复数据的清除,数据处理,大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作,目的是将数据按统一的格式提取出来，然后再转化，集成，载入数据仓库的工具（,ETL,）,抽取,：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

清洗,：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项因此要对数据通过过滤“,去噪,”从而提取出有效数据,3,、大数据相关技术,大数据预处理技术,3,、大数据相关技术,大数据分析挖掘,技术方法,分类,根据挖掘任务,：,分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等,根据挖掘对象,：,可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及,环球网,Web,根据挖掘方法,：,可分为机器学习方法、统计方法、神经网络方法和数据库方法重点技术,数据挖掘算法分割、集群、孤立点分析还有各种算法让我们精炼数据，挖掘价值这些算法要能够应付大数据的量，同时还具有很高的处理速度预测性分析预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断语义引擎人工智能从数据中主动地提取信息包括机器翻译、情感分析、舆情分析、智能输入、问答系统等数据质量和数据管理透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果顾名思义，数据挖掘就是从大量的数据中挖掘出有用的信息,数据挖掘技术投入商用的三种基础技术已发展成熟,海量数据搜集,强大的分布式并行处理技术,数据挖掘算法,知识发现（,KDD,）：从,源数据,中发掘,模式,或,联系,的方法,KDD,被,用来描述整个数据发掘的过程,，包括最开始的制定业务目标到最终的结果分析，而用数据挖掘（,DM,，,Data,Mining,）来描述使用挖掘算法进行数据挖掘的子过程。

数据挖掘所发现的知识有以下四类：,广义知识,：指类别特征的概括性描述知识,关联知识,：反应一个事件和其他,事件,之间依赖或关联的知识,分类知识,：反应同类事物共同性质的特征性知识和不同事物之间的差异性特征知识,预测性知识,：根据时间序列型数据，由历史的和当前的数据去推测未来的数据3,、大数据相关技术,大数据分析挖掘之数据挖掘与知识发现,关联规则挖掘：,在交易数据、关系数据或其他信息载体中，查找存在于项目集合或对象集合之间的,频繁,模式、关联、相关性、或因果结构应用：,购物篮分析、交叉销售、产品目录设计、,loss-leader analysis,、聚集、分类等买尿布的客户,二者都买的客户,买啤酒的客户,结论：,买啤酒和尿布的客户，占,50%,在买啤酒的客户中，,67%,会买尿布,3,、大数据相关技术,大数据分析挖掘之关联分析,序列模式定义：,给定一个由不同序列组成的集合，其中，每个序列由不同的元素按顺序有序排列，每个元素由不同项目组成，同时给定一个用户指定的,最小支持度阈值,，序列模式挖掘就是,找出所有的频繁子序列,，即该子序列在序列集中的出现频率不低于用户指定的最小支持度阈值,应用领域：,客户购买行为模式预测,Web,访问模式预测,疾病诊断,自然灾害预测,DNA,序列分析,工业控制,关联,解决了大量数据中的“关联”关系问题,数据价值中还有非常重要的“顺序”问题，需要依靠,序列,用户,时间,访问网站,A,A,20:00,20:20,XX,论坛,XX,购物,B,B,B,21:00,21:05,21:15,XX,论坛,XX,新闻,XX,购物,C,C,C,14:00,14:20,14:21,XX,论坛,XX,搜索,XX,购物,D,D,21:30,21:50,XX,论坛,XX,视频,目前应用最多的是基于“时间”关系的序列,访问,XX,论坛,15,分钟后，不低于,X%,的用户会访问,XX,购物,3,、大数据相关技术,大数据分析挖掘之序列模式,典型应用,信誉证实,目标市场,医疗诊断,性能预测,预测分类标号（或离散值）,根据训练数据集,和,类标号,属性，构建模型来,分类现有数据,，并用来,分类新数据,建立连续函数值模型，比如预测空缺值,分类,预测,比如将客户采用分类方法来判断信用卡发放的目标对象：,分类为：关注、不关注,经过不断干预训练，得到分类规则：,-【,年龄,(2540),、。