光环大数据 Hadoop之HDFS原理及文件上传下载源码分析_光环大数据培训
8页1、 光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/ 光环大数据光环大数据 http:/光环大数据光环大数据 HadoopHadoop 之之 HDFSHDFS 原理及文件上传下载源码分析原理及文件上传下载源码分析_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训认为,将继续介绍 hdfs 文件上传、下载源解析。文件上传文件上传先上文件上传的方法调用过程时序图:其主要执行过程:1.FileSystem 初始化,Client 拿到 NameNodeRpcServer 代理对象,建立与 NameNode的 RPC 通信(楼主上篇已经介绍过了)2.调用 FileSystem 的 create()方法,由于实现类为 DistributedFileSystem,所有是调用该类中的 create()方法3.DistributedFileSystem 持有 DFSClient 的引用,继续调用 DFSClient 中的 create()方法4.DFSOutputStream 提供的静态 newStreamForCreate()方法中调用NameNodeRpcServer
2、 服务端的 create()方法并创建 DFSOutputStream 输出流对象返回5.通过 hadoop 提供的 IOUtil 工具类将输出流输出到本地下面我们来看下源码:首先初始化文件系统,建立与服务端的 RPC 通信1 HDFSDemo.java2 OutputStream os = fs.create(new Path(“/test.log“);调用 FileSystem 的 create()方法,由于 FileSystem 是一个抽象类,这里实际上是调用的该类的子类 create()方法1 /FileSystem.java2 public abstract FSDataOutputStream create(Path f,3 FsPermission permission,4 boolean overwrite,5 int bufferSize,6 short replication,7 long blockSize,8 Progressable progress) throws IOException;光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/
3、 光环大数据光环大数据 http:/前面我们已经说过 FileSystem.get()返回的是 DistributedFileSystem 对象,所以这里我们直接进入 DistributedFileSystem:1 /DistributedFileSystem.java 2 Override 3 public FSDataOutputStream create(final Path f, final FsPermission permission, 4 final EnumSet cflags, final int bufferSize, 5 final short replication, final long blockSize, final Progressable progress, 6 final ChecksumOpt checksumOpt) throws IOException 7 statistics.incrementWriteOps(1); 8 Path absF = fixRelativePart(f); 9 return new FileSystemLinkR
4、esolver() 10 Override11 public FSDataOutputStream doCall(final Path p)12 throws IOException, UnresolvedLinkException 13 final DFSOutputStream dfsos = dfs.create(getPathName(p), permission,14 cflags, replication, blockSize, progress, bufferSize,15 checksumOpt);16 /dfs为 DistributedFileSystem 所持有的 DFSClient 对象,这里调用 DFSClient 中的 create()方法 17 return dfs.createWrappedOutputStream(dfsos, statistics);18 19 Override20 public FSDataOutputStream next(final FileSystem fs, final Path p)21 throws IOException
《光环大数据 Hadoop之HDFS原理及文件上传下载源码分析_光环大数据培训》由会员gua****an分享,可在线阅读,更多相关《光环大数据 Hadoop之HDFS原理及文件上传下载源码分析_光环大数据培训》请在金锄头文库上搜索。
做运营60%靠思维,40%靠经验,你的思维跟得上吗_光环大数据培训
长沙BI大数据培训_BI大数据工程师需要具备哪些高薪技能_光环大数据培训
智慧交通大数据平台搭建过程及应用案例_光环大数据培训
在DevOps中以API看待共享数据库_光环大数据培训
怎样才能成为一个高级Java工程师 —光环java培训机构
这可能是一篇数据化运营的大纲_光环大数据培训
自学大数据能找到工作吗_光环大数据培训
长沙大数据公司有哪些 参加大数据培训有钱途吗_光环大数据培训
中国大数据成熟盈利模型尚未建立_光环大数据培训
针对 MySQL 大规模数据库的性能和伸缩性的优化_光环大数据培训
怎样做数据分析_数据分析方法大全
怎么学习数据分析_数据分析软件汇总
怎样成为数据分析师_光环数据分析师培训
在大数据迅猛发展的今天隐私保护成了难题_光环大数据推出AI智客计划送2000助学金
长沙cpda数据分析培训_cpda考试流程
运营之道,千变万化,存乎一心_光环大数据培训
在Hadoop上运行Docker容器的六大陷阱_光环大数据培训
云计算平台点兵 谁在用AWS 谁在用Azure_光环大数据培训
自学java编程语言和参加java培训哪个更有前途—光环java培训机构
最用心的运营数据指标解读_光环大数据培训
2023-07-25 4页
2023-06-16 11页
2023-09-24 42页
2024-03-26 10页
2022-09-26 3页
2023-05-28 3页
2023-03-13 55页
2023-06-13 11页
2023-05-25 4页
2024-02-28 7页