Sqoop1.4.6使用指南

sqoop使用指南

一、sqoop介绍

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具。 可以将一个关系数据库（例如:MySQL,Oracle等）中的数据导进到Hadoop的HDFS文件系统中，也可以将HDFS的数据导进关系型数据库。

二、sqoop数据导入（以SQLServer数据库为例）

(1)、全表导入 全表导入，顾名思义就是将关系型数据库指定的表数据导入到HDFS文件系统的根目录。 sqoop import --connect 'jdbc:sqlserver://192.168.1.116:1433;database=movielens' --username sa --password 123 --table glass #--connect：指定数据库JDBC链接字符串并且指定数据库名jdbc:sqlserver://192.168.1.116:1433;database=movielens #--username：指定数据库用户名 #--password：指定数据库密码 #--table:指定数据库表名 (2)、全表导入到HDFS文件系统指定文件夹 顾名思义，就是将关系型数据库指定的表数据导入到HDFS文件系统的指定文件目录。指定的文件夹必须不能存在，sqoop会拒绝向已经存在的文件夹写入，以避免覆盖数据。 sqoop import --connect 'jdbc:sqlserver://192.168.1.116:1433;database=movielens' --username sa --password 123 --table glass --target-dir /movielens/glass #--connect：指定数据库JDBC链接字符串并且指定数据库名jdbc:sqlserver://192.168.1.116:1433;database=movielens #--username：指定数据库用户名 #--password：指定数据库密码 #--table:指定数据库表名 #--target-dir:指定存放数据的HDFS文件系统目录 (3)、部分表导入到HDFS文件系统 顾名思义，就是将关系型数据库指定的表数据中的部分数据导入到HDFS文件系统中。 sqoop import --connect 'jdbc:sqlserver://192.168.1.116:1433;database=movielens' --username sa --password 123 \ --query 'SELECT top 10 * FROM glass WHERE $CONDITIONS' --split-by 'no' --target-dir /movielens/glass #--query :query查询语句'SELECT top 10 * FROM glass WHERE $CONDITIONS'，以确定需要导入的数据。 #--split-by 'no'： sqoop import --connect 'jdbc:sqlserver://192.168.1.116:1433;database=movielens' --username sa --password 123 \ --table glass --where "no = '1'" --target-dir /movielens/glass1 #--where：选取"no = '1'"的这条数据导入到HDFS文件系统 (4)、保护密码 顾名思义，就是在输入数据库的密码的时候，命令sqoop从键盘键入中获取密码 sqoop import --connect 'jdbc:sqlserver://192.168.1.116:1433;database=movielens' --username sa -P \ --table glass --where "no = '1'" --target-dir /movielens/glass2 #--P:命令sqoop从键盘键入中获取密码 (5)、使用其他符号分割数据字段 顾名思义，在sqoop传导数据时，默认的数据字段分割符为','，用户可以自定义数据字段分割符。 sqoop import --connect 'jdbc:sqlserver://192.168.1.116:1433;database=movielens' --username sa --password 123 \ --table glass --where "no = '1'" --target-dir /movielens/glass6 --fields-terminated-by '\t' #--fields-terminated-by:使用用户自定义的符号来作为字段分割符 sqoop import --connect 'jdbc:sqlserver://192.168.1.116:1433;database=DocContent_F10News' --username sa --password 123 \ --table DocContent --where " DOCID = '888888'" --split-by 'DOCID' --target-dir /DocContent_F10News/DocContent sqoop import --connect 'jdbc:sqlserver://192.168.1.116:1433;database=DocContent_F10News' --username sa --password 123 \ --table DocContent --where " DOCID = '888888'" --split-by 'DOCID' --target-dir /DocContent_F10News/DocContent3 \ --fields-terminated-by '#' --mysql-delimiters --hive-drop-import-delims Drops \n, \r, and \01 from string fields when importing to Hive. --hive-drop-import-delims:只能删除字段中的\n, \r, and \01 暂时还没有找到方法来清除字段内的'\t'