关键词不能为空

当前您在: 主页 > 英语 >

ETL全量与增量总结

作者:高考题库网
来源:https://www.bjmy2z.cn/gaokao
2021-01-29 23:31
tags:

-

2021年1月29日发(作者:亚麻布)



.


.





Informatica PowerCenter 8.6



全量与增量总结












ζ太阳团队ξ




.


文档变更记录




版本编号



变更人



变更日期



备注



V1.0






郭鹏飞



2014-5-27

















ETL


全量与增量


< br>............................................... .................................................. .................................................. .3


设置


Oracle


连接


.......................................... .................................................. ............................................3


设置时间变量



.......... .................................................. .................................................. ................................3


ETL


全量



.


...................................... .................................................. .................................................. .......................4


整个过程预览


..................... .................................................. .................................................. ..............................4


2


创建一个


Mapping


........................................... .................................................. .............................................4


3


源与目标的导入


< br>............................................... .................................................. ..............................................5


导入源



............. .................................................. .................................................. ...........................................5


导入目标表



.


................................................. .................................................. ...............................................6


4


组建


Mapping

< p>
............................................ .................................................. .................................................. ..7


打开源节点



.


............................................. .................................................. .................................................. .7


插入“表达式组件”


............... .................................................. .................................................. ...................7


添加字段


.. .................................................. .................................................. .................................................7


添加字段或修改字段类型



..... .................................................. .................................................. ..............7


添加目标表



.


................................. .................................................. .................................................. .............8


添加删除条件



............................................. .................................................. ...............................................8


连接目标表



.


................................................. .................................................. ...............................................9


ETL


增量



.


...................................... .................................................. .................................................. ....................


10


整个过程预览


..................... .................................................. .................................................. ...........................


10


组建


Mapping


.


............................................. .................................................. .................................................. ..


10


添加


Lookup Transformation ................................... .................................................. .........................


10


时间戳的定义



.......... .................................................. .................................................. .............................


11


Epression transformation


设置


........... .................................................. ..............................................


12


添加


Update Strategy Transformation


............... .................................................. ............................


12


测试



.


.. .................................................. .................................................. .................................................. ..............


13


注意事项全量


..................... .................................................. .................................................. ...........................


15


全量



.


.. .................................................. .................................................. .................................................. .....


15


注意事项增量


. .................................................. .................................................. ...............................................


16


.


.






ETL


全量与增量


< br>设置


Oracle


连接




oracleproduct10.2.0db_1network ADMIN


路径下,双击


oracle


连接进行配置。



例如:



ods = (DESCRIPTION=





(FAILOVER = yes)





(ADDRESS = (PROTOCOL = TCP)(HOST =10.100.20.11)(PORT = 1521))





(ADDRESS = (PROTOCOL = TCP)(HOST =10.100.20.13)(PORT = 1521))





(CONNECT_DATA =(SERVER = DEDICATED)





(SERVICE_NAME = cedb)





)




)


这个是


ODS


的连接地址。



文件,对


设置时间变量




点击


Mapping,


选择


,在点击















.


.




ETL


全量



ETL


全量,即将


源库


里的数据全部导 进


目标库


,其重要注意的是,可能要添加


'ETL_DATE'


这个字


段。



整个过程预览




2


创建一个


Mapping




1


)单击


Mapping,


点击


create< /p>









Mappin g





,< /p>







M_











M_


ODS_CE_BORROW_CONTRACT



2


)单击


Mapping,

点击


Edit





可以修改


Mapping

< p>
名,修改完成之后点击


OK


.


.


3


源与目标的导入



导入源




Source Analyzer


)点击这个按钮



在 工具栏点击


Sources


这个按钮




点击


Import from Datebase





点击



(如果已有


ODBC data source,


则直点击


进行选择)



.


.


点击添加,

< br>MySQL


的源就选择上面的


MySQL ODBC



)


选择


Oracle in



.(


如果要是


这里是源文件夹中的名字



这里是数据库配置的名字




完成后点击


OK









密< /p>






Connect




(





ODBC


data


source:ODS(OraDb10g_hom e2)


是我自己配置的,


一般的是


OD S(OraDb10g_home1)


)



当其显示


Re- connect


时,表示连接上了源数据库。



展开这两个节点


,单击所需要的源表,点击


OK


即可。



导入目标表




Target Designer


)点击这个按钮




其他的步骤与导入源一直,可参考上边的文档。



.


.


4


组建


Mapping



Mapping Designer


)点击这个按钮



打开源节点



选择


这个节点并打开。



选择你的源表,


点击右键


Designer


界面显示了。




选择


Open.


这样源表就会在右边的


插入 “表达式组件”



点击


F(x)


组件,


在右侧


Designer


界面在单击一下。



添加字段



将源中的字段全选,拖入表达式组件中。




添加字段或修改字段类型



有的


目标表


可能比


源表


多了一个


'ETL_DATE'


,这时 候需要我们在


Mapping


过程的



Expression


.


.


Transformation



这个组件 ,


添加一列,


命名为


'ETL_DAT E'



字段类型



'date/time'


且只输出



O




在 后面条件框里边输入


'TO_DATE($$$$today,'yyyy-mm-dd hh24:mi:ss')'



注:


$$$$today


是在

< p>
Mapping


中自己定义的时间变量!






< p>
















需< /p>






Mapping






Expression


Tran sformation



这个组件中转换一下字段类型。



例如


:


源表中的< /p>


ahead_time


的字段类型是


ns tring


型,而目标中字段类型




'date/time'


,这时我


们需 要转换。



双击表达式组件,选择


点击 选中


ahead_time


行,单击


在 点击


粘贴



复制



Ports


页,


单击


按钮,在弹出来的对话框写入


to_date


(ahead_time,


'yyyy-mm-dd hh24:mi:ss'


)



输入完 成后点击


Validate,


显示


…< /p>


successfully


后即转换成功,


点击确定


->OK->


确定即设置成


功。



添加目标表


< br>打开


Targets


节点,


选择 目标表。


右键


->Open,


这时


右边的


Designer


界面就会显示目标 表。



添加删除条件



这里


'Truncate


清除表中数据


'


是指清除


目标表


中的数据, 这样从源表过来的数据就不会有重复。


.

-


-


-


-


-


-


-


-



本文更新与2021-01-29 23:31,由作者提供,不代表本网站立场,转载请注明出处:https://www.bjmy2z.cn/gaokao/587849.html

ETL全量与增量总结的相关文章

  • 余华爱情经典语录,余华爱情句子

    余华的经典语录——余华《第七天》40、我不怕死,一点都不怕,只怕再也不能看见你——余华《第七天》4可是我再也没遇到一个像福贵这样令我难忘的人了,对自己的经历如此清楚,

    语文
  • 心情低落的图片压抑,心情低落的图片发朋友圈

    心情压抑的图片(心太累没人理解的说说带图片)1、有时候很想找个人倾诉一下,却又不知从何说起,最终是什么也不说,只想快点睡过去,告诉自己,明天就好了。有时候,突然会觉得

    语文
  • 经典古训100句图片大全,古训名言警句

    古代经典励志名言100句译:好的药物味苦但对治病有利;忠言劝诫的话听起来不顺耳却对人的行为有利。3良言一句三冬暖,恶语伤人六月寒。喷泉的高度不会超过它的源头;一个人的事

    语文
  • 关于青春奋斗的名人名言鲁迅,关于青年奋斗的名言鲁迅

    鲁迅名言名句大全励志1、世上本没有路,走的人多了自然便成了路。下面是我整理的鲁迅先生的名言名句大全,希望对你有所帮助!当生存时,还是将遭践踏,将遭删刈,直至于死亡而

    语文
  • 三国群英单机版手游礼包码,三国群英手机单机版攻略

    三国群英传7五神兽洞有什么用那是多一个武将技能。青龙飞升召唤出东方的守护兽,神兽之一的青龙。玄武怒流召唤出北方的守护兽,神兽之一的玄武。白虎傲啸召唤出西方的守护兽,

    语文
  • 不收费的情感挽回专家电话,情感挽回免费咨询

    免费的情感挽回机构(揭秘情感挽回机构骗局)1、牛牛(化名)向上海市公安局金山分局报案,称自己为了挽回与女友的感情,被一家名为“实花教育咨询”的情感咨询机构诈骗4万余元。

    语文