Hadoop oozie sqoop --奇葩问题大杂烩_光环大数据培训
-
资源ID:49596454
资源大小:38.02KB
全文页数:3页
- 资源格式: DOCX
下载积分:0金贝
快捷下载
账号登录下载
微信登录下载
微信扫一扫登录
1、金锄头文库是“C2C”交易模式,即卖家上传的文档直接由买家下载,本站只是中间服务平台,本站所有文档下载所得的收益全部归上传人(卖家)所有,作为网络服务商,若您的权利被侵害请及时联系右侧客服;
2、如你看到网页展示的文档有jinchutou.com水印,是因预览和防盗链等技术需要对部份页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有jinchutou.com水印标识,下载后原文更清晰;
3、所有的PPT和DOC文档都被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;下载前须认真查看,确认无误后再购买;
4、文档大部份都是可以预览的,金锄头文库作为内容存储提供商,无法对各卖家所售文档的真实性、完整性、准确性以及专业性等问题提供审核和保证,请慎重购买;
5、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据;
6、如果您还有什么不清楚的或需要我们协助,可以点击右侧栏的客服。
|
下载须知 | 常见问题汇总
|
Hadoop oozie sqoop --奇葩问题大杂烩_光环大数据培训
光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cnHadoopHadoop oozieoozie sqoopsqoop -奇葩问题大杂烩奇葩问题大杂烩_ _光环大数据培训光环大数据培训光环大数据培训光环大数据培训,问题 1:sqoop 修改源码编译打包后如何配合 oozie 使用?oozie 需要依次执行:$OOZIE_HOME/bin/oozie.setup.sh prepare-war$OOZIE_HOME/bin/oozie.setup.sh sharelib create -fs hdfs:/xxxx:9000其中第二步是将$OOZIE_HOME/里的 oozie-sharelib-4.2.0.tar.gz 包含的 jar 上传到HDFS 目录里,而不是 lib 和 libext 里面的 jar,所以 sqoop 编译打包后需要把 sqoop-1.4.6-xxx.jar 放进 oozie-sharelib-4.2.0.tar.gz 压缩包里,并去掉里面自带的 sqoop jar那么调用 oozie 的时候,触发 sqoop 就是你修改了源码的 jar。如图 hdfs 目录Hadoop问题 2: oozie 调度 sqoop 的时候,总提示 NoClassDefoundxxxx 异常?需要把相关 jar 放进$hadoop_HOME/share/hadoop/下面的目录里面,而不是放进oozie 的 lib 目录里问题 3:如何远程调试?若发现有 oozie 调度 sqoop 有问题,最好直接运行 sqoop 命令来进行调试,这样才能 debug 进 sqoop 代码里面,更直观光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn调试命令:-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005把上面命令加进 $HADOOP_HOME/bin/hadoop 里面示例: HADOOP_DEBUG=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005HADOOP_OPTS=“$HADOOP_OPTS $HADOOP_DEBUG“suspend=y 意思是 jvm 一启动就等待远程 debug 连接。综上所述:不管 oozie 还是 sqoop 都是通过 hadoop 来运行,所以若有什么问题,在$HADOOP_HOME/logs/userlogs 目录下查找 log 进行问题定位,并且依赖什么的都最好放在$HADOOP_CLASSPATH 下面为什么大家选择为什么大家选择光环大数据光环大数据!大数据培训、人工智能培训、Python 培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请专业的大数据领域知名讲师,确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术,将前沿技能融入教学中,确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生更快的掌握技能知识,成就上万个高薪就业学子。【报名方式、详情咨询报名方式、详情咨询】光环大数据官方网站报名:光环大数据官方网站报名:http:/hadoop.aura.cn/http:/hadoop.aura.cn/光环大数据光环大数据-大数据培训知名品牌大数据培训知名品牌http:/hadoop.aura.cn 光环大数据光环大数据 http:/hadoop.aura.cn手机报名链接:手机报名链接:http:/http:/ hadoop.aura.cnhadoop.aura.cn /mobile/mobile/