博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
sqoop配置与使用
阅读量:6112 次
发布时间:2019-06-21

本文共 1142 字,大约阅读时间需要 3 分钟。

hot3.png

1.下载 http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

2.下载 http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz

3.解压 2

4.复制3里hadoop-core-0.20.2-CDH3B4.jar到sqoop的lib下

5.在某处复制mysql-connector-java-5.1.10.jar到sqoop的lib下

6.修改configure-sqoop

注释掉hbase zookeeper检查:

#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi

7.运行:

列出mysql所有的表:

./sqoop list-tables –connect jdbc:mysql://127.0.0.1/operation –username root –password 123

将mysql中的表导入hive中:

$ sqoop import --connect jdbc:mysql://IP:PORT/DATABASE --username USERNAME --password PASSWORD --table TABLE --hive-import  

如果曾经执行失败过,那再执行的时候,会有错误提示:

ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory xxx already exists

执行 $HADOOP_HOME/bin/hadoop fs -rmr xxx 即可

转载于:https://my.oschina.net/sansom/blog/188043

你可能感兴趣的文章
Mysql优化
查看>>
Lua的各种资源1
查看>>
了解大数据的特点、来源与数据呈现方式
查看>>
第十二周作业
查看>>
Server Develop (四) select实现非阻塞sever
查看>>
【转载】程序员新年要做的10个决定
查看>>
自学之jQuery
查看>>
CV、PR方向的资源
查看>>
使用FusionCharts Free显示图表(JSP)
查看>>
如何根据日志查看删除的数据(转译)
查看>>
《软件设计师》考点分布
查看>>
02 jmeter性能测试系列_JForum测试论坛的环境搭建
查看>>
flume-采集报错
查看>>
六. numpy数据矩阵
查看>>
关于scrollview的无限滚动效果实现
查看>>
Android中利用ant进行多渠道循环批量打包
查看>>
[Android] ImageView.ScaleType设置
查看>>
mysql
查看>>
Java:详解内部类
查看>>
Fragment分解使用
查看>>