博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
[大数据之Sqoop] —— Sqoop初探
阅读量:6945 次
发布时间:2019-06-27

本文共 480 字,大约阅读时间需要 1 分钟。

Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具,当然也支持把数据从hdfs或者hive导入到关系型数据库中。

Sqoop也是基于Mapreduce来做的数据导入。

关于sqoop的原理

sqoop的原理比较简单,就是根据用户指定的sql或者字段参数,从数据库中读取数据导入到hive或者hdfs中。也支持基于数据库导出工具导出,不过受限于数据库的版本。

在导出的过程中,sqoop会自动切分mapreduce任务。比如某个字段的主键是从1到1000,那么当设置num-mappers为2时,第一个mr任务会读取1-500的数据,第二个mr任务会读取500-1000的数据。如果是字符串还有其他的划分方法.

关于架构

sqoop目前有两个大版本,第一个版本比较简单,只能使用命令行

449064-20160912191446617-2021834782.png

第二个版本引入了sqoop server,统一处理连接等信息,并提供多种连接方式,还引入了权限控制,另外规范了连接的各项配置。

449064-20160912191456883-402465329.png

官方文档

没啥说的,学东西,还得阅读官方文档,

本文转自博客园xingoo的博客,原文链接:,如需转载请自行联系原博主。

你可能感兴趣的文章
账户修改密码后造成SQL Server服务启动异常
查看>>
Win7板凳哥升职记24 Win7技巧速成专区
查看>>
ubuntu 14.04 使用zram
查看>>
遭遇不能拖拽,居然被这样解决了
查看>>
MySQL Slave_IO_Running:NO解决办法
查看>>
邮件服务器案例:农行携手u-mail邮箱系统
查看>>
订单系统开发(仿淘宝和美团网) 之 项目总结(降低数据库并发量)
查看>>
行为型模式之六:责任链模式
查看>>
C#执行DOS命令(CMD命令)
查看>>
RB,CCR设备开启FastTrack
查看>>
区域性名称和标识
查看>>
Live Migrate 操作 - 每天5分钟玩转 OpenStack(42)
查看>>
java.sql.SQLException: Before start of result set
查看>>
word2007去掉文字当中的白色背景
查看>>
暑假转瞬即逝
查看>>
vi 图片上传封装函数
查看>>
php 文件上传实例代码
查看>>
我的友情链接
查看>>
www.mscode.cc:autohal.exe 应用程序错误
查看>>
出现 SSD 故障时 VSAN 群集会发生什么?
查看>>