第十二章 TDH发行版本 - 4 Sqoop的使用

sqoop操作步骤：

1. 在Inceptor metastore节点服务器上安装sqoop服务
   yum install sqoop

2. 由于Inceptor-SQL中metastore中已经安装了mysql，就不需要安装mysql了

3. 将mysql-connector-java-5.1.38tar.gz驱动包先解压

tar -zxvf mysql-connector-java-5.1.38tar.gz

1. cd进刚刚解压后的目录，将里面的mysql-connector-java-5.1.38-bin.jar包copy到/usr/lib/sqoop/lib本地目录下

2. 在Inceptor Server节点上输入mysql -u [用户名] -p连接数据库,此时提示输入密码，通过后输入mysql命令，再执行Grant操作：

   ——add user to mysql（username＝tdh，password＝123456），授权可以访问所有数据库

GRANT ALL PRIVILEGES ON *.* TO 'tdh'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

（若仅授权db1数据库里所有表，则可以这样指定)：

GRANT ALL PRIVILEGES ON db1.* TO 'tdh'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;）

1. 浏览mysql数据库

sqoop list-databases 
--username tdh 
--password 123456 
--connect jdbc:mysql://<mysql IP>:3306/

1. 浏览SQL SERVER数据库

浏览SQL SERVER
sqoop list-databases --connect "jdbc:sqlserver://192.168.1.139:1433;username=sa;password=123456"

1. 浏览mysql数据库中的表，db1为mysql中的一个数据库，可以使用describe [table名]命令查看mysql中表的信息

sqoop list-tables 
--username tdh 
--password 123456 
--connect jdbc:mysql://<mysql IP>:3306/db1

1. 浏览SQL SERVER中的表并且导入到HDFS中

sqoop list-databases --connect "jdbc:sqlserver://192.168.1.139:1433;username=sa;password=123456"
sqoop list-tables --connect "jdbc:sqlserver://192.168.1.139:1433;username=sa;password=123456;database=pubs"
sqoop import --connect "jdbc:sqlserver://192.168.1.139:1433;username=sa;password=123456;database=pubs" --table sales --target-dir /user/lm/sqoop/data/sales -m 1

1. 从mysql————>HDFS上（import，将mysql中的db1数据库里面的表导入到/user/datadir，这里的datadir目录一定不要事先创建，不然会报错，语句执行的时候会自动创建目录的！最后一行的－m表示map成4个文件）

sqoop import 
--username tdh 
--password 123456 
--connect jdbc:mysql://<mysql IP>:3306/db1 
--table country 
--target-dir /user/user1/data/sqoop -m 4

1. 从HDFS————>mysql表上（export）

sqoop export 
--username tdh 
--password 123456 
--connect jdbc:mysql://<mysql IP>:3306/db1 
--table cc 
--export-dir /user/testdir 
--staging-table tmptable

1. 查看sqoop导入进来的文件

hadoop fs -cat /user/user1/data/inceptor/part-m-00000 | more

注意事项

• 在执行导入导出数据时，可能由于yarn资源不足或者其他进程的占用，而一直停留在job作业等待处理中，
  此时可以通过浏览器进入YARN中Resource Manager节点中的8088端口查看被占用的Application ID号，里面描述为Application master为常驻进程，不用
  杀掉，再在shell中输入命令

yarn -application -kill <Application ID>
来杀死卡掉的进程，再运行上面的import、export语句。

原因很简单，Inceptor-sql的常驻进程ApplicationMaster跑的是spark任务，非常消耗内存使用量，约为7-8G，所以在没有用到Inceptor-SQL的操作场景的时候就应该关闭该服务。