将在线数据加载到阿里云Greenplum

  • 时间:
  • 浏览:2

 

当少量数据时,还要能使用 Greenplum 批量加载】步骤完成加载,Greenplum 批量加载使用了Copy 命令土办法加载,加载传输速率比SQL 土办法快。【Greenplum 批量加载】步骤的配置如下图所示:

1.Java 1.6 1.7

选取【文件】->【另存为】 ,在【转换属性】窗口中,设置转换名称:从原系统到目标系统的转换,在【目录】输入框选取要保存的资源库目录,如下图

 

本文使用的软件是开源ETL 工具软件 Kettle 5.x,以及基于Kettle的傲飞数据整合平台,该平台还要能用来Kettle作业的调度、监控等功能、并还要能完成数据源管理等功能。

 

点【选取】后,把作业保存到资源库中。

3.low float, volume int) 

上述软件都不 随后安装部署到阿里 ECS 上。

 

新增加的调度还要能按照设置好的调度土办法运行,也还要能通过点击【运行】按钮,手动运行,如下图:

选取运行土办法【本地运行】,并设置调度土办法为每天的16:00 运行,如下图:

无论手工还是调度运行,在监控列表里都会有作业的运行情况,运行时间,错误日志等信息。

选取主窗口左侧菜单的【数据源管理】里的【本地数据库管理】,机会直接在登陆首页中选取【本地数据库】快捷图标。如下图:

 

机会登陆成功,会出現【资源库连接】选取框,这里选取很多人刚创建的资源库,如下图:

进入资源库后,在设计窗口中选取【文件】->【新建】->【转换】,如下图:

 

关于怎样才能将企业内网数据库里的数据,加载到阿里云的greenplum 中,下文继续。

机会要使用SQL 土办法加载,要拖拽【表输入】步骤和【表输出】步骤到画布上,并连线(按住Shift键,同去移动鼠标),在表输入步骤中配置SQL 话语,在表输出步骤中配置输出表的名称即可,如下图:

双击spoon.bat 文件,启动spoon,在登陆窗口中输入傲飞数据整合平台的URL ,用户名和密码,如下图:

选取【新增】,在【新增数据源信息】窗口中设置另另2个 多数据源,另另2个 多是原数据源,从前是要加载到的阿里云Greenplum 数据源,数据源配置参考如下图所示:

4.location('oss://oss-cn-hangzhou.aliyuncs.com

1.create READABLE external table ossexample

 

机会前要在输入和输出之间做各种数据格式转换,数据清洗,拆分,组合等各种操作,要使用Spoon 设计器里提供的各种步骤(连数成金论坛有 Kettle 培训课程)

2.傲飞数据整合平台的下载地址(包含了 Kettle和服务端):http://pan.baidu.com/s/1cmSPEe

 

6.key=XXX bucket=testbucket') FORMAT 'csv'

5.filepath=osstest/example.csv id=XXX

3.安装 Mysql 数据库 5.1 或以上版本,并以 UTF-8 编码新建另另2个 多数据库 etl_platform,

 

机会客户端长时间不操作,服务端会自动断开和客户端的连接。 此时从客户端保存到服务端时机会报告数据库连接错误。机会地处此类错误,只需先资源库连接,再重新连接资源库即可。

 

本文说明怎样才能设计另另2个 多 ETL 作业以便将在线关系数据库里的数据,加载到阿里云的Greenplum 数据库中,怎样才能调度和监控该ETL 作业的日常运行。

资源库是Kettle 里保存作业的数据库。首先登陆傲飞数据整合平台(默认用户名,密码 admin/admin),在傲飞数据整合平台的【资源库管理】里,新创建另另2个 多资源库,资源库的数据库名称使用随后创建的 etl_platform 数据库,注意数据库地址要用外网的ip地址,机会将来kettle 客户端会连接该ip 地址。

7.LOG ERRORS SEGMENT REJECT LIMIT 5;

 

 

 

OSS 阿里云对象存储服务(Object Storage Service,简称OSS),是阿里云对外提供的海量,安全,低成本,高可靠的云存储服务。目前Kettle 对OSS的支持还在开发中。  不过目前用户也还要能手动将文件上传到 OSS 服务中,使用这类下面的SQL 创建另另2个 多基于OSS的组织组织结构表。

 

 

注意:

2.(date text, time text, open float, high float,

在【周期调度】里选取【增加普通调度】选项,在【新增调度】窗口里选取作业“从原系统到目标系统的转换”,如下图:

关于OSS 的加载,请参考:https://help.aliyun.com/document_detail/35457.html

解压缩即可安装,平台的安装配置土办法见下载文档内的《傲飞数据整合平台使用说明书》