FusionInsight SqoopShell使用案例

网友投稿 523 2022-05-30

1      SqoopShell使用简介

sqoop-shell是一个Loader的shell工具,其所有功能都是通过执行脚本“sqoop2-shell”来实现的。

sqoop-shell工具提供了如下功能:

支持创建和更新连接器

支持创建和更新作业

支持删除连接器和作业

支持以同步或异步的方式启动作业

支持停止作业

支持查询作业状态

支持查询作业历史执行记录

支持复制连接器和作业

支持创建和更新转换步骤

支持指定行、列分隔符

sqoop-shell工具支持如下模式:

交互模式

通过执行不带参数的“sqoop2-shell”脚本,进入Loader特定的交互窗口,用户输入脚本后,工具会返回相应信息到交互窗口。

批量模式

通过执行“sqoop2-shell”脚本,带一个文件名作为参数,该文件中按行存储了多条命令,sqoop-shell工具将会按顺序执行文件中所有命令;或者在“sqoop2-shell”脚本后面通过“-c”参数附加一条命令,一次只执行一条命令。

2      SqoopShell配置

2.1      配置Loader客户端

1.  使用“PuTTY”工具,使用安装客户端的用户登录客户端所在节点。

2.  执行以下命令,防止超时退出。

TMOUT=0

3.  执行以下命令,进入Loader客户端安装目录。例如,Loader客户端安装目录为“/opt/hadoopclient/Loader”。

cd /opt/hadoopclient/Loader

4.  执行以下命令,配置环境变量。

source /opt/hadoopclient/bigdata_env

5.  执行以下命令解压“loader-tools-1.99.3.tar”。

tar -xvf loader-tools-1.99.3.tar

解压后的新文件保存在“loader-tools-1.99.3”目录。

6.  执行以下命令修改工具授权配置文件“login-info.xml”,并保存退出。

vi loader-tools-1.99.3/loader-tool/job-config/login-info.xml

2.2      配置sqoopshell 配置文件

使用“PuTTY”工具,使用安装客户端的用户登录Loader客户端所在节点。

执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/hadoopclient/Loader”。

cd /opt/hadoopclient/Loader/loader-tools-1.99.3/sqoop-shell/conf

执行以下命令,配置认证信息。

vi client.properties

3      Sqoopshell使用示例

3.1      交互模式

1.  执行以下命令,进入交互模式(客户端以/opt/hadoopclient为例)。

source /opt/hadoopclient/bigdata_env

cd /opt/hadoopclient/Loader/loader-tools-1.99.3/sqoop-shell

./sqoop2-shell

2.       获取帮助信息(\h获取帮助信息,\cr获取create的帮助信息,\up获取更新的帮助信息,以此类推)

3.       查看连接器

以此类推,可以查看framework、job、Connection等信息

4.       创建连接器

根据show connector信息选择对应的连接器,根据create帮助信息创建connection,然后根据命令行提示,输入对应信息,假如提示的参数无需设置,可按enter直接跳过

5.       创建作业

根据show connection出来的信息选择对应链接,根据create帮助信息创建Job,然后根据命令行提示,输入对应信息,假如提示的参数无需设置,可按enter直接跳过

也可以使用—help查看创建job的选项信息

Json获取方法

1)      登录loader原生页面,创建一个相同类型的作业(如TaiPingTab)。

2)      导出作业的配置json文件,复制json文件中,hops的内容(包括大括号),保存为新的json文件

3)      根据业务需要调整json文件。

3.2      批量模式

批量模式有两种方式,一种是./sqoop2-shell+脚本的方式,脚本中配置待执行的命令

FusionInsight SqoopShell使用案例

另一种是./sqoop2-shell -c “待执行的命令”方式

获取帮助:

./sqoop2-shell -c "create connection -cn generic-jdbc-connector --help"获取创建connection的帮助信息

./sqoop2-shell -c "create job -xn mysql -t import --help"查看创建Job帮助信息

1.     脚本方式

cd /opt/hadoopclient/Loader/loader-tools-1.99.3/sqoop-shell

vi batchCommand.sh

更新作业

2.     –c 方式(使用-c参数附带一条命令,sqoop-shell可以一次只执行附带的这一条命令)

创建链接为mysql名称为TaiPingTab的导入任务

./sqoop2-shell -c "create job -xn mysql -t import -name TaiPingTab --connector-table-schemaName keshangbank --connector-table-tableName Tab --connector-table-needPartition false --connector-table-columns id,name,value --framework-output-storageType HIVE --framework-output-outputDirectory /user/loader/Tab --framework-throttling-partitionHandlers 10 --framework-throttling-extractors 10   --trans /opt/client/Loader/loader-tools-1.99.3/loader-tool/job-config/TaiPing.json  --queue root.default"

启动:./sqoop2-shell -c "start job -n TaiPingTab -s"

删除:./sqoop2-shell -c "delete job -n TaiPingTab"

更新:./sqoop2-shell -c 'update job -j 37  -name update-test  --connector-table-sql "select *  from keshangbank.update_test where time < "2020-2-2" and ${CONDITIONS}" '

注: 1.  sqoop-shell目录中createConnection  createJob  helpCmd  startCmd中详细描述了各个参数的含义

3. 此文档中并未对参数详细介绍,参数部分可参考产品文档sqoop-shell章节

4. 更新的参数和创建的参数保持一致

附件: SqoopShell使用案例.docx 743.88KB 下载次数:2次

附件: Json.rar 1.13KB 下载次数:37次

EI企业智能 FusionInsight

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:应用绝对定位完美定位布局
下一篇:最新Flutter 微信分享功能实现
相关文章