电子文档交易市场
安卓APP | ios版本
电子文档交易市场
安卓APP | ios版本

光环大数据 Hadoop之HDFS原理及文件上传下载源码分析_光环大数据培训

8页
  • 卖家[上传人]:gua****an
  • 文档编号:50740325
  • 上传时间:2018-08-10
  • 文档格式:DOCX
  • 文档大小:58.30KB
  • / 8 举报 版权申诉 马上下载
  • 文本预览
  • 下载提示
  • 常见问题
    • 1、 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/光环大数据光环大数据 HadoopHadoop 之之 HDFSHDFS 原理及文件上传下载源码分析原理及文件上传下载源码分析_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训认为,将继续介绍 hdfs 文件上传、下载源解析。文件上传文件上传先上文件上传的方法调用过程时序图:其主要执行过程:1.FileSystem 初始化,Client 拿到 NameNodeRpcServer 代理对象,建立与 NameNode的 RPC 通信(楼主上篇已经介绍过了)2.调用 FileSystem 的 create()方法,由于实现类为 DistributedFileSystem,所有是调用该类中的 create()方法3.DistributedFileSystem 持有 DFSClient 的引用,继续调用 DFSClient 中的 create()方法4.DFSOutputStream 提供的静态 newStreamForCreate()方法中调用NameNodeRpcServer

      2、 服务端的 create()方法并创建 DFSOutputStream 输出流对象返回5.通过 hadoop 提供的 IOUtil 工具类将输出流输出到本地下面我们来看下源码:首先初始化文件系统,建立与服务端的 RPC 通信1 HDFSDemo.java2 OutputStream os = fs.create(new Path(“/test.log“);调用 FileSystem 的 create()方法,由于 FileSystem 是一个抽象类,这里实际上是调用的该类的子类 create()方法1 /FileSystem.java2 public abstract FSDataOutputStream create(Path f,3 FsPermission permission,4 boolean overwrite,5 int bufferSize,6 short replication,7 long blockSize,8 Progressable progress) throws IOException;光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/

      3、 光环大数据光环大数据 http:/前面我们已经说过 FileSystem.get()返回的是 DistributedFileSystem 对象,所以这里我们直接进入 DistributedFileSystem:1 /DistributedFileSystem.java 2 Override 3 public FSDataOutputStream create(final Path f, final FsPermission permission, 4 final EnumSet cflags, final int bufferSize, 5 final short replication, final long blockSize, final Progressable progress, 6 final ChecksumOpt checksumOpt) throws IOException 7 statistics.incrementWriteOps(1); 8 Path absF = fixRelativePart(f); 9 return new FileSystemLinkR

      4、esolver() 10 Override11 public FSDataOutputStream doCall(final Path p)12 throws IOException, UnresolvedLinkException 13 final DFSOutputStream dfsos = dfs.create(getPathName(p), permission,14 cflags, replication, blockSize, progress, bufferSize,15 checksumOpt);16 /dfs为 DistributedFileSystem 所持有的 DFSClient 对象,这里调用 DFSClient 中的 create()方法 17 return dfs.createWrappedOutputStream(dfsos, statistics);18 19 Override20 public FSDataOutputStream next(final FileSystem fs, final Path p)21 throws IOException

      5、 22 return fs.create(p, permission, cflags, bufferSize,23 replication, blockSize, progress, checksumOpt);24 25 .resolve(this, absF);26 DFSClient 的 create()返回一个 DFSOutputStream 对象:1 /DFSClient.java 2 public DFSOutputStream create(String src, 3 FsPermission permission, 4 EnumSet flag, 5 boolean createParent, 6 short replication, 7 long blockSize, 8 Progressable progress, 9 int buffersize,10 ChecksumOpt checksumOpt,11 InetSocketAddress favoredNodes) throws IOException 12 checkOpen();13 if (permissi

      6、on = null) 14 permission = FsPermission.getFileDefault();15 16 FsPermission masked = permission.applyUMask(dfsClientConf.uMask);17 if(LOG.isDebugEnabled() 18 LOG.debug(src + “: masked=“ + masked);19 20 /调用 DFSOutputStream 的静态方法 newStreamForCreate,光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/返回输出流 21 final DFSOutputStream result = DFSOutputStream.newStreamForCreate(this,22 src, masked, flag, createParent, replication, blockSize, progress,23 buffersize, dfsClientConf.createChecksum(checksu

      7、mOpt),24 getFavoredNodesStr(favoredNodes);25 beginFileLease(result.getFileId(), result);26 return result;27 我们继续看下 newStreamForCreate()中的业务逻辑:1 /DFSOutputStream.java 2 static DFSOutputStream newStreamForCreate(DFSClient dfsClient, String src, 3 FsPermission masked, EnumSet flag, boolean createParent, 4 short replication, long blockSize, Progressable progress, int buffersize, 5 DataChecksum checksum, String favoredNodes) throws IOException 6 TraceScope scope = 7 dfsClient.getPathTraceScope(“newSt

      8、reamForCreate“, src); 8 try 9 HdfsFileStatus stat = null;10 boolean shouldRetry = true;11 int retryCount = CREATE_RETRY_COUNT;12 while (shouldRetry) 13 shouldRetry = false;14 try 15 /这里通过 dfsClient 的 NameNode 代理对象调用 NameNodeRpcServer 中实现的 create()方法 16 stat = dfsClient.namenode.create(src, masked, dfsClient.clientName,17 new EnumSetWritable(flag), createParent, replication,18 blockSize, SUPPORTED_CRYPTO_VERSIONS);19 break;20 catch (RemoteException re) 21 IOException e = re.unwrapRemoteException(22 AccessControlException.class,23 DSQuotaExceededException.class,24 FileAlreadyExistsException.class,25 FileNotFoundException.class,26 ParentNotDirectoryException.class,27 NSQuotaExceededException.class,28 RetryStartFileException.class,29 SafeModeException.class,30 UnresolvedPathException.class,31 SnapshotAccessControlException.class,32 UnknownCryptoProtocolVersionExcept

      《光环大数据 Hadoop之HDFS原理及文件上传下载源码分析_光环大数据培训》由会员gua****an分享,可在线阅读,更多相关《光环大数据 Hadoop之HDFS原理及文件上传下载源码分析_光环大数据培训》请在金锄头文库上搜索。

      点击阅读更多内容
    TA的资源
    点击查看更多
    最新标签
    监控施工 信息化课堂中的合作学习结业作业七年级语文 发车时刻表 长途客运 入党志愿书填写模板精品 庆祝建党101周年多体裁诗歌朗诵素材汇编10篇唯一微庆祝 智能家居系统本科论文 心得感悟 雁楠中学 20230513224122 2022 公安主题党日 部编版四年级第三单元综合性学习课件 机关事务中心2022年全面依法治区工作总结及来年工作安排 入党积极分子自我推荐 世界水日ppt 关于构建更高水平的全民健身公共服务体系的意见 空气单元分析 哈里德课件 2022年乡村振兴驻村工作计划 空气教材分析 五年级下册科学教材分析 退役军人事务局季度工作总结 集装箱房合同 2021年财务报表 2022年继续教育公需课 2022年公需课 2022年日历每月一张 名词性从句在写作中的应用 局域网技术与局域网组建 施工网格 薪资体系 运维实施方案 硫酸安全技术 柔韧训练 既有居住建筑节能改造技术规程 建筑工地疫情防控 大型工程技术风险 磷酸二氢钾 2022年小学三年级语文下册教学总结例文 少儿美术-小花 2022年环保倡议书模板六篇 2022年监理辞职报告精选 2022年畅想未来记叙文精品 企业信息化建设与管理课程实验指导书范本 草房子读后感-第1篇 小数乘整数教学PPT课件人教版五年级数学上册 2022年教师个人工作计划范本-工作计划 国学小名士经典诵读电视大赛观后感诵读经典传承美德 医疗质量管理制度 2
    关于金锄头网 - 版权申诉 - 免责声明 - 诚邀英才 - 联系我们
    手机版 | 川公网安备 51140202000112号 | 经营许可证(蜀ICP备13022795号)
    ©2008-2016 by Sichuan Goldhoe Inc. All Rights Reserved.