Hadoop常见问题及解决方案_光环it学院培训机构

光环光环 IT 学院学院中国中国 IT 就业培训知名品牌就业培训知名品牌光环光环 IT 学院学院 http:/it.aura.cnHadoop 常见问题及解决方案常见问题及解决方案_光环光环 it 学院培训机构学院培训机构Hadoop 常见问题及解决方案。大数据已成为时代潮流，因此大数据也是一个非常热门的职位，光环 it 学院大数据讲师为您讲解下最近老是遇到小伙伴问一些 hadoop 的问题，在这里把一些 hadoop 常见的问题及解决方案分享给大数据初学者，如果再遇到同样的问题就对号入座。一、hadoop 安装完以后，在执行命令时，经常会提示一下警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform.using builtin-java classes where applicable原因：这个跟系统位数有关系，我们平常使用的是 Centos 6.5 64 位操作系统。解决办法：（1）如果你是 hadoop2.6 的可以下载下面这个：http:/dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar（2）下载完以后，解压到 hadoop 的 native 目录下，覆盖原有文件即可。操作如下：tar -x hadoop-native-64-2.4.0.tar -C hadoop/lib/native/二、在使用 combiner 的时候，出现 IntWritable is not Text，或者其他的类型不匹配问光环光环 IT 学院学院中国中国 IT 就业培训知名品牌就业培训知名品牌光环光环 IT 学院学院 http:/it.aura.cn题原因：这是设置 combiner 的时候，map 输出的 keyvalue 类型和 combiner 输出的keyvalue 类型不一致导致的。解决：如果设置 combiner，必须保证一点，map 输出的 keyvalue 类型和 combiner 输出的 keyvalue 类型必须一致!三、error：server IPC version 9 cannot communicate with client version 4原因：（1）如果是在使用插件操作 hdfs 时报错，是因为，eclipse 插件和 eclipse 的版本不匹配（2）如果是在执行 mapreduce 时报错：是因为 jar 包不匹配解决：重新编译 hadoop 插件，使用自己的 hadoop 和 eclipse 版本四、Could not locate executable nullbinwinutils.exe in the Hadoop binaries.原因：在使用 hadoop 插件的时候，会在本地找 winutils.exe 这个文件，而这个文件是hadoop 安装包下的文件，必须配置 eclipse 插件的 hadoop 的 windows 本地路径才行。解决：配置 windows 的 hadoop 环境变量，并且重启机器，让环境变量生效五、Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out光环光环 IT 学院学院中国中国 IT 就业培训知名品牌就业培训知名品牌光环光环 IT 学院学院 http:/it.aura.cn原因：程序里面需要打开多个文件，进行分析，系统一般默认数量是 1024，(用 ulimit -a 可以看到)对于正常使用是够了，但是对于程序来讲，就太少了。解决：修改 2 个文件。/etc/security/limits.confvi /etc/security/limits.conf加上：* soft nofile 102400* hard nofile 409600$cd /etc/pam.d/$sudo vi login添加 session required /lib/security/pam_limits.so六、Too many fetch-failures原因:出现这个问题主要是结点间的连通不够全面。解决：光环光环 IT 学院学院中国中国 IT 就业培训知名品牌就业培训知名品牌光环光环 IT 学院学院 http:/it.aura.cn1) 检查/etc/hosts，要求本机 ip 对应服务器名，要求要包含所有的服务器 ip+服务器名2) 检查 .ssh/authorized_keys，要求包含所有服务器(包括其自身)的 public key七、处理速度特别的慢 出现 map 很快 但是 reduce 很慢 而且反复出现 reduce=0%解决:修改 conf/hadoop-env.sh 中的 export HADOOP_HEAPSIZE=4000八、能够启动 datanode，但无法访问，也无法结束的错误原因：可能原因很多，需要查看日志定位，可能的原因是 namespaceId 不一致解决：（1）删除 namenode 的本地文件夹：$hadoop/namedir/*（2）删除 datanode 的本地文件夹：$hadoop/datadir/*（3）重新格式化（4）注意：删除是个很危险的动作，不能确认的情况下不能删除!做好删除的文件等通通备份!九 java.io.IOException:Could not obtain block:blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log原因：出现这种情况大多是结点断了，没有连接上。光环光环 IT 学院学院中国中国 IT 就业培训知名品牌就业培训知名品牌光环光环 IT 学院学院 http:/it.aura.cn解决：检查 datanode 是否有宕机情况，恢复十、java.lang.OutOfMemoryError: Java heap space原因：出现这种异常，明显是 jvm 内存不够得原因，要修改所有的 datanode 的 jvm 内存大小。解决：执行命令Java -Xms1024m -Xmx4096m一般 jvm 的最大内存使用应该为总内存大小的一半，我们使用的 8G 内存，所以设置为 4096m，这一值可能依旧不是最优的值。十一、单个 node 新加硬盘原因：datanode 的硬盘不够用了解决：（1）修改需要新加硬盘的 node 的 dfs.data.dir，用逗号分隔新、旧文件目录（2）重启 dfs十二、hdfs 的 namenode 内存飙升，不够用原因：可能是上传了过多的小文件解决：用命令合并 HDFS 小文件 hadoop fs -getmerge 光环光环 IT 学院学院中国中国 IT 就业培训知名品牌就业培训知名品牌光环光环 IT 学院学院 http:/it.aura.cn十三、hadoop OutOfMemoryError解决：mapred.child.java.optsname>-Xmx800M -servervalue>property>With the right JVM size in your hadoop-site.xml , you will have to copy thisto all mapred nodes and restart the cluster.或者：hadoop jar jarfile main class -D mapred.child.java.opts=-Xmx800M十四、Hadoop name -format 后 Incompatible namespaceIDS 错误解决办法原因：是格式化 namenode 后会重新创建一个新的 namespaceID,以至于和 datanode 上原有的不一致。解决：（1）删除 datanode dfs.data.dir 目录(默认为 tmp/dfs/data)下的数据文件，（2）hadoop namenode -format光环光环 IT 学院学院中国中国 IT 就业培训知名品牌就业培训知名品牌光环光环 IT 学院学院 http:/it.aura.cn（3）修改/home/hadoop/data/current/VERSION 文件，把 namespaceID 修成与namenode 上相同即可(log 错误里会有提示)十五、namenode 无法启动，不报错原因：可能原因是：之前用 root 用户启动过，导致 current 文件夹的权限和所属用户更改了，需要更改回来解决：current 文件夹位于 hadoop 安装目录同级目录的 tmp/dfs/namesecondary为什么大家会选择为什么大家会选择光环光环 it 学院学院？光环 it 学院讲师均为实战专家，具备 10 年以上软件开发经验，五年以上大数据实战经验，上市品牌，行业口碑好。光环 IT 学院与中关村达成战略合作，并签署合作协议，用海量优质企业资源保障学员顺利就业。学员在入学光环 IT 学院之前签署高薪就业培训协议，保障学员切身利益，让学员毕业即可获得自己满意的工作。学员毕业后平均薪资 10500，虽然不高但却真实！大数据培训大数据培训，java 培训培训，就选光环 it 学院！【报名方式】最新开班时间：2017.6.26光环大数据官方网站报名：http:/it.aura.cn手机报名链接：http:/it.aura.cn/mobile/光环光环 IT 学院学院中国中国 IT 就业培训知名品牌就业培训知名品牌光环光环 IT 学院学院 http:/it.aura.cn