ETL全量与增量总结

2021年1月29日发(作者：亚麻布)

.

.

Informatica PowerCenter 8.6

全量与增量总结

ζ太阳团队ξ

.

文档变更记录

版本编号

变更人

变更日期

备注

V1.0

郭鹏飞

2014-5-27

目

录

ETL

全量与增量

< br>............................................... .................................................. .................................................. .3

设置

Oracle

连接

.......................................... .................................................. ............................................3

设置时间变量

.......... .................................................. .................................................. ................................3

ETL

全量

.

...................................... .................................................. .................................................. .......................4

整个过程预览

..................... .................................................. .................................................. ..............................4

2

创建一个

Mapping

........................................... .................................................. .............................................4

3

源与目标的导入

< br>............................................... .................................................. ..............................................5

导入源

............. .................................................. .................................................. ...........................................5

导入目标表

.

................................................. .................................................. ...............................................6

4

组建

Mapping

< p>
............................................ .................................................. .................................................. ..7

打开源节点

.

............................................. .................................................. .................................................. .7

插入“表达式组件”

............... .................................................. .................................................. ...................7

添加字段

.. .................................................. .................................................. .................................................7

添加字段或修改字段类型

..... .................................................. .................................................. ..............7

添加目标表

.

................................. .................................................. .................................................. .............8

添加删除条件

............................................. .................................................. ...............................................8

连接目标表

.

................................................. .................................................. ...............................................9

ETL

增量

.

...................................... .................................................. .................................................. ....................

10

整个过程预览

..................... .................................................. .................................................. ...........................

10

组建

Mapping

.

............................................. .................................................. .................................................. ..

10

添加

Lookup Transformation ................................... .................................................. .........................

10

时间戳的定义

.......... .................................................. .................................................. .............................

11

Epression transformation

设置

........... .................................................. ..............................................

12

添加

Update Strategy Transformation

............... .................................................. ............................

12

测试

.

.. .................................................. .................................................. .................................................. ..............

13

注意事项全量

..................... .................................................. .................................................. ...........................

15

全量

.

.. .................................................. .................................................. .................................................. .....

15

注意事项增量

. .................................................. .................................................. ...............................................

16

.

.

ETL

全量与增量

< br>设置

Oracle

连接

在

oracleproduct10.2.0db_1network ADMIN

路径下，双击

oracle

连接进行配置。

例如：

ods = (DESCRIPTION=

(FAILOVER = yes)

(ADDRESS = (PROTOCOL = TCP)(HOST =10.100.20.11)(PORT = 1521))

(ADDRESS = (PROTOCOL = TCP)(HOST =10.100.20.13)(PORT = 1521))

(CONNECT_DATA =(SERVER = DEDICATED)

(SERVICE_NAME = cedb)

)

)

这个是

ODS

的连接地址。

文件，对

设置时间变量

点击

Mapping,

选择

，在点击

。

.

.

ETL

全量

ETL

全量，即将

源库

里的数据全部导 进

目标库

，其重要注意的是，可能要添加

'ETL_DATE'

这个字

段。

整个过程预览

2

创建一个

Mapping

（

1

）单击

Mapping,

点击

create< /p>

…

这

个

是

给

Mappin g

起

名

字

，< /p>

起

名

规

则

：

M_

目

标

表

表

明

。

例

如

：

M_

ODS_CE_BORROW_CONTRACT

（

2

）单击

Mapping,

点击

Edit

…

可以修改

Mapping

< p>
名，修改完成之后点击

OK

.

.

3

源与目标的导入

导入源

（

Source Analyzer

）点击这个按钮

在 工具栏点击

Sources

这个按钮

点击

Import from Datebase

…

点击

…

（如果已有

ODBC data source,

则直点击

进行选择）

.

.

点击添加，

< br>MySQL

的源就选择上面的

MySQL ODBC

…

)

选择

Oracle in

…

.(

如果要是

这里是源文件夹中的名字

这里是数据库配置的名字

完成后点击

OK

。

输

入

用

户

、

密< /p>

码

点

击

Connect

即

可

(

注

：

我

的

ODBC

data

source:ODS(OraDb10g_hom e2)

是我自己配置的，

一般的是

OD S(OraDb10g_home1)

)

当其显示

Re- connect

时，表示连接上了源数据库。

展开这两个节点

，单击所需要的源表，点击

OK

即可。

导入目标表

（

Target Designer

）点击这个按钮

其他的步骤与导入源一直，可参考上边的文档。

.

.

4

组建

Mapping

（

Mapping Designer

）点击这个按钮

打开源节点

选择

这个节点并打开。

选择你的源表，

点击右键

Designer

界面显示了。

，

选择

Open.

这样源表就会在右边的

插入 “表达式组件”

点击

F(x)

组件，

在右侧

Designer

界面在单击一下。

添加字段

将源中的字段全选，拖入表达式组件中。

添加字段或修改字段类型

有的

目标表

可能比

源表

多了一个

'ETL_DATE'

，这时 候需要我们在

Mapping

过程的

‘

Expression

.

.

Transformation

’

这个组件 ，

添加一列，

命名为

'ETL_DAT E'

，

字段类型

为

'date/time'

且只输出

（

O

）

，

在 后面条件框里边输入

'TO_DATE($$$$today,'yyyy-mm-dd hh24:mi:ss')'

注：

$$$$today

是在

< p>
Mapping

中自己定义的时间变量！

有

的

源

表

< p>
与

目

标

表

的

字

段

类

型

不

一

样

，

这

时

候

需< /p>

要

我

们

在

Mapping

过

程

的

‘

Expression

Tran sformation

’

这个组件中转换一下字段类型。

例如

:

源表中的< /p>

ahead_time

的字段类型是

ns tring

型，而目标中字段类型

为

'date/time'

，这时我

们需 要转换。

双击表达式组件，选择

点击 选中

ahead_time

行，单击

在 点击

粘贴

复制

Ports

页，

单击

按钮，在弹出来的对话框写入

to_date

(ahead_time,

'yyyy-mm-dd hh24:mi:ss'

)

输入完 成后点击

Validate,

显示

…< /p>

successfully

后即转换成功，

点击确定

->OK->

确定即设置成

功。

添加目标表

< br>打开

Targets

节点，

选择 目标表。

右键

->Open,

这时

右边的

Designer

界面就会显示目标 表。

添加删除条件

这里

'Truncate

清除表中数据

'

是指清除

目标表

中的数据， 这样从源表过来的数据就不会有重复。

.