Informatica_PowerCenter_v8

1、1 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試2INFA產(chǎn)品線產(chǎn)品線3PowerCenter選件選件豐富的豐富的ETL功能功能 Real-Time 實時功能 Partitioning 分區(qū)功能 High Availability 高可靠性功能 Pushdown 功能 Enterprise Grid網(wǎng)格功能 Team-based Development 團(tuán)隊開發(fā)功能 Metadata Exchange 元數(shù)據(jù)交換功能 Unstructured Data 非結(jié)構(gòu)化數(shù)據(jù)功能 Visio 模板Mapping生成器功能

2、 Data Federation 數(shù)據(jù)聯(lián)邦功能 Data Profiling 數(shù)據(jù)質(zhì)量探查功能 異構(gòu)數(shù)據(jù)源，異構(gòu)目標(biāo) 實現(xiàn)多種緩慢變化維 全局變量及參數(shù)，參數(shù)文件 局部變量，前后記錄比較 條件匯總 異構(gòu)數(shù)據(jù)源關(guān)聯(lián) 行/列轉(zhuǎn)換 靜態(tài)、動態(tài)Lookup支持 ETL事務(wù)處理 自定義SQL Pre SQL和Post SQL 復(fù)用組件 復(fù)用Mapping 調(diào)用存儲過程 調(diào)用外部用戶自定義過程 可視化Debug 強(qiáng)大函數(shù)支持、豐富轉(zhuǎn)換語言 數(shù)據(jù)源為文件列表 Session Recovery 基于多目標(biāo)表約束裝載 錯誤數(shù)量控制 FTP 源和FTP目標(biāo) ETL任務(wù)分區(qū) 增量匯總 測試裝載 Bulk Loadi

3、ng External Loader (Oracle、DB2.) 復(fù)用Workflow 功能豐富的Workflow控制 任務(wù)串行、并行控制 基于時間、事件和指示文件觸發(fā) 任務(wù) Workflow中調(diào)用OS外部命令 Workflow中調(diào)用Email 多ETL Server協(xié)同工作 Informatica 8INFA8系列產(chǎn)品功能情況系列產(chǎn)品功能情況4Informatica客戶端客戶端數(shù)據(jù)源數(shù)據(jù)源ODBCNATIVE目標(biāo)目標(biāo)ODBCNATIVEDomainAdministrator ConsoleUNIX (AIX, HPUX, Solaris, Linux) WindowsIntegration

4、ServiceRepository Service-Repository AgentPowerCenter 服務(wù)端服務(wù)端TCP/IPTCP/IPTCP/IPNATIVENATIVE5數(shù)據(jù)源數(shù)據(jù)源源數(shù)據(jù)源數(shù)據(jù)目標(biāo)目標(biāo)已轉(zhuǎn)換數(shù)據(jù)已轉(zhuǎn)換數(shù)據(jù)資料庫資料庫PowerCenter Server來自元數(shù)來自元數(shù)據(jù)的指令據(jù)的指令PowerCenter Server、資料庫、源和目標(biāo)之間的處理路徑、資料庫、源和目標(biāo)之間的處理路徑6 服務(wù)端組件服務(wù)端組件 客戶端組件客戶端組件Informatica Service：PowerCenter服務(wù)引擎Integration Service：數(shù)據(jù)抽取、轉(zhuǎn)換、裝載服務(wù)引擎R

5、epository Service：知識庫Service，管理ETL過程中產(chǎn)生的元數(shù)據(jù)Administratortion Console：用于知識庫的建立與維護(hù)Repository Manager：知識庫管理，包括安全性管理等Desinger：設(shè)計開發(fā)環(huán)境，定義源及目標(biāo)數(shù)據(jù)結(jié)構(gòu)；設(shè)計轉(zhuǎn)換規(guī)則，生成ETL映射Workflow Manager：合理地實現(xiàn)復(fù)雜的ETL工作流，基于時間、事件的作業(yè)調(diào)度Workflow Monitor：監(jiān)控Workflow和Session運(yùn)行情況，生成日志和報告7 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)

6、據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試8產(chǎn)品安裝產(chǎn)品安裝 服務(wù)器安裝 客戶端安裝 詳見安裝手冊樣例安裝樣例安裝 數(shù)據(jù)庫準(zhǔn)備 RDBU （資料庫數(shù)據(jù)庫） SDBU （樣例源數(shù)據(jù)庫） TDBU （樣例目標(biāo)數(shù)據(jù)庫） BDBU （樣例參考數(shù)據(jù)庫） 樣例數(shù)據(jù)準(zhǔn)備 樣例參考導(dǎo)入9 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試10 Informatica Server管理管理http:/localhost:6001Domain ManagerNode ManagerRepository Service ManagerIntegration

7、Service ManagerLicense Manager 資料庫內(nèi)容管理資料庫內(nèi)容管理Repository ManagerFolder ManagerPrivilege Manager11 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試12S T ST WF M定義源定義目標(biāo)創(chuàng)建映射定義任務(wù)創(chuàng)建工作流工作流調(diào)度監(jiān)控Designer: Workflow Manager: Workflow Monitor: 13引入源的類型 Relational database Flat file COBOL file XML

8、 object Application源分析器Informatica ServiceODBC Mapped DriveNFS MountingLocal DirectorySave Meta Data of Sources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_14引入目標(biāo)的類型 Relational database Flat file COBOL file XML object Application目標(biāo)分析器Save Meta Data of Targets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_ODBC

9、 Mapped DriveNFS MountingLocal DirectoryInformatica Service15目標(biāo)目標(biāo)源源轉(zhuǎn)換組件轉(zhuǎn)換組件16Session Task工作目錄工作目錄Task工作區(qū)工作區(qū)171819 產(chǎn)品體系介紹產(chǎn)品體系介紹 產(chǎn)品安裝配置產(chǎn)品安裝配置 系統(tǒng)管理介紹系統(tǒng)管理介紹 開發(fā)六大步驟開發(fā)六大步驟 數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試20目標(biāo)裝載情況目標(biāo)裝載情況經(jīng)過每個調(diào)試的數(shù)據(jù)流經(jīng)過每個調(diào)試的數(shù)據(jù)流Flashingyellow SQLindicatorDebugger 模式模式Solid yellow arrow Current Transformationindicat

10、or調(diào)試日志調(diào)試日志21 組件介紹組件介紹 Expression組件組件 Filter與與Router Joiner與與Lookup Aggregator組件組件 Update Strategy組件組件 22 Source Qualifier: 從數(shù)據(jù)源讀取數(shù)據(jù) Expression: 行級轉(zhuǎn)換 Filter: 數(shù)據(jù)過濾 Sorter: 數(shù)據(jù)排序 Aggregator: 聚合 Joiner: 異構(gòu)數(shù)據(jù)關(guān)接連接 Lookup: 查詢連接 Update Strategy: 對目標(biāo)編輯 insert, update, delete, reject Router: 條件分發(fā) Sequence Gene

11、rator: 序列號生成器23 Normalizer: 記錄規(guī)范化 Rank: 對記錄進(jìn)行TOPx Union: 數(shù)據(jù)合并 Transaction Control: 對裝載數(shù)據(jù)按條件進(jìn)行事務(wù)控制 Stored Procedure: 存儲過程組件 Custom: 用戶自定義組件 HTTP: WWW組件 Java: Java自編程組件4其它應(yīng)用組件其它應(yīng)用組件24Passive組件組件 流入流出組件的行數(shù)不發(fā)生變化 例如：Expression、Lookup、HTTP組件Active組件組件 流入流出組件的行數(shù)會發(fā)生變化 例如：Aggregator、Router、Filter組件PA25聚合函數(shù)聚合

12、函數(shù)字符串函數(shù)字符串函數(shù)轉(zhuǎn)換函數(shù)轉(zhuǎn)換函數(shù)數(shù)據(jù)清洗函數(shù)數(shù)據(jù)清洗函數(shù)日期函數(shù)日期函數(shù)編碼函數(shù)編碼函數(shù)財務(wù)函數(shù)財務(wù)函數(shù)數(shù)值函數(shù)數(shù)值函數(shù)數(shù)學(xué)函數(shù)數(shù)學(xué)函數(shù)特有函數(shù)特有函數(shù)判斷函數(shù)判斷函數(shù)用戶自定義函數(shù)用戶自定義函數(shù)2627 組件介紹組件介紹 Expression組件組件 Source Qualifier、 Filter與與Router Joiner與與Lookup Aggregator組件組件 Update Strategy組件組件 28組件功能組件功能 基于行級的數(shù)據(jù)項賦值、修改、計算 在同行記錄中可新增、減少數(shù)據(jù)項組件類型組件類型 Passive組件應(yīng)用范圍應(yīng)用范圍 數(shù)據(jù)類型轉(zhuǎn)換，例如Express

13、ion：to_date(Port1,yyyymmdd) 數(shù)據(jù)項計算，例如Expression：(Port1+Port2)/Port3 新增變量，例如Expression： i=i+129當(dāng)數(shù)據(jù)項為空時的默認(rèn)值當(dāng)數(shù)據(jù)項為空時的默認(rèn)值流入組件的數(shù)據(jù)項流入組件的數(shù)據(jù)項流出組件的數(shù)據(jù)項流出組件的數(shù)據(jù)項組件中定義的變量組件中定義的變量30描述描述將原始客戶信息記錄轉(zhuǎn)換成合格標(biāo)準(zhǔn)的數(shù)據(jù)導(dǎo)入到暫存區(qū)。 源表： customer_east.txt customer_west.txt customer_central.txt目標(biāo)： TDBU.STG_CUSTOMERS要點要點姓與名合并為姓名；電話號碼轉(zhuǎn)換成易讀

14、格式的電話號碼，如：(466)766-283；性別轉(zhuǎn)換，將F 轉(zhuǎn)換成FEMALE、M 轉(zhuǎn)換成MALE、其它轉(zhuǎn)換成UNK；年齡分段，20 歲以下、2029、3039、4049、5060、60 歲以上；解決方案解決方案詳見m_LAB_0131 組件介紹組件介紹 Expression組件組件 Source Qualifier、Filter與與Router Joiner與與Lookup Aggregator組件組件 Update Strategy組件組件 32組件功能組件功能 對流入組件中的記錄數(shù)據(jù)進(jìn)行過濾 類似于關(guān)系型數(shù)據(jù)庫Where應(yīng)用 與Source Qualifier的過濾功能區(qū)別在執(zhí)行位置上

15、組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 數(shù)據(jù)過濾33流入組件的數(shù)據(jù)項流入組件的數(shù)據(jù)項在日志中顯示詳細(xì)級別在日志中顯示詳細(xì)級別Source Qualifier組件中的過濾條件設(shè)置組件中的過濾條件設(shè)置注意：注意：在在Source Qualifier中的中的User Defined Join、Source Filter、Number of Sorted Ports中定中定義了義了SQL條件，那么，在條件，那么，在Sql Query中就不要在重寫相關(guān)的中就不要在重寫相關(guān)的SQL條件，否則，將不會生效。條件，否則，將不會生效。34組件功能組件功能 對流入組件中的記錄數(shù)據(jù)按照條件進(jìn)行分發(fā) 類似

16、于Java語言中的Switch語句組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 數(shù)據(jù)分發(fā)35流入組件的數(shù)據(jù)項流入組件的數(shù)據(jù)項36描述描述將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。 源表： TDBU.STG_CUSTOMERS目標(biāo)： TDBU.STG_CUSTOMERS_FEMALE TDBU.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK要點要點償試用Filter組件多種方法對目標(biāo)進(jìn)行裝載解決方案解決方案 詳見m_LAB_0237描述描述將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。源表： TDBU.STG_CUST

17、OMERS目標(biāo)： TDBU.STG_CUSTOMERS_FEMALE TDBU.STG_CUSTOMERS_MALE TDBU.STG_CUSTOMERS_UNK要點要點使用Router組件對數(shù)據(jù)進(jìn)行分發(fā)比較Filter與Router各種方法的應(yīng)用特點、性能解決方案解決方案詳見m_LAB_0338 組件介紹組件介紹 Expression組件組件 Source Qualifier、 Filter與與Router Joiner與與Lookup Aggregator組件組件 Update Strategy組件組件 39組件功能組件功能 對異構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)（同構(gòu)關(guān)聯(lián)用Source Qualify組件）

18、 類似于SQL 中的Join語句組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 2個異構(gòu)數(shù)據(jù)類型的表關(guān)聯(lián)40同構(gòu)同構(gòu)Joins同種結(jié)構(gòu)數(shù)據(jù)Source Qualify組件從源直接Joinsn個源可用1個SQ組件在源中先定義連接關(guān)系異構(gòu)異構(gòu)Joins不同DB或Flat與Flat之間Joiner組件在PowerCenter中Joinsn-1個Joiner組件在Joiner中定義連接條件41MasterDetailMaster SourceDetail SourceJoinerJoin ResultsJoin條件：Master.ProductID = Detail.ProductID Join條

19、件條件42流入組件的數(shù)據(jù)項流入組件的數(shù)據(jù)項MasterDetail=+MasterDetail=MasterDetail+=MasterDetail+43描述描述將員工信息與員工工資2個異構(gòu)表關(guān)聯(lián)后，將關(guān)聯(lián)結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txt Salary.txt 目標(biāo)：TDBU.STG_EMPLOYEES要點要點用Joiner組件進(jìn)行Mapping設(shè)計注意Master與Detail的設(shè)置選擇(關(guān)聯(lián)時建議將數(shù)據(jù)

20、量少的設(shè)置為關(guān)聯(lián)時建議將數(shù)據(jù)量少的設(shè)置為Master.)解決方案解決方案詳見m_LAB_0444描述描述將員工信息與員工工資2個同構(gòu)表關(guān)聯(lián)后，將關(guān)聯(lián)結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表： SDBU.EMPLOYEES SDBU.SALARY目標(biāo)： TDBU.STG_ EMPLOYEES要點要點用Source Qualify組件進(jìn)行Mapping設(shè)計注意關(guān)聯(lián)關(guān)系設(shè)置建議建議N個同構(gòu)數(shù)據(jù)源只需用1個Source Qualifier組件關(guān)聯(lián)，關(guān)聯(lián)時建議將在Source設(shè)計區(qū)將需要關(guān)聯(lián)的源表手工用連線關(guān)聯(lián)起來，在Mapping設(shè)計區(qū)刪除各個源所帶的Source Qualifier組件，用一個新的Source Q

21、ualifier組件包含所有源的字段內(nèi)容。解決方案解決方案詳見m_LAB_0545組件功能組件功能對Flat File或數(shù)據(jù)庫根據(jù)關(guān)聯(lián)的條件進(jìn)行查詢返回符合條件的值，否則為空連接關(guān)聯(lián)與非連接關(guān)聯(lián)類似于SQL 中的Join語句組件類型組件類型Passive組件應(yīng)用范圍應(yīng)用范圍查詢文本文件的關(guān)聯(lián)數(shù)據(jù)查詢數(shù)據(jù)庫的關(guān)聯(lián)數(shù)據(jù)46Lookup源源Lookup組件組件查詢條件：ITEM_ID = IN_ITEM_ID PRICE = IN_PRICE流入值查詢輸出值流入值查詢到的值Lookup組件組件組件組件查詢條件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_n

22、o),customer_id)是否查詢 Y返回查詢到的值47查詢的數(shù)據(jù)項，返回關(guān)聯(lián)的值查詢的數(shù)據(jù)項，返回關(guān)聯(lián)的值 返回值返回值48描述描述將員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認(rèn)為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標(biāo)：TDBU.STG_EMPLOYEES要點要點用連接Lookup組件進(jìn)行Mapping設(shè)計注意Salary（Flat File）的設(shè)置解決方案

23、解決方案詳見m_LAB_0649描述描述將合格的員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認(rèn)為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標(biāo)：TDBU.STG_EMPLOYEES要點要點用非連接Lookup組件進(jìn)行Mapping設(shè)計注意Salary（Flat File）的設(shè)置注意數(shù)據(jù)查詢的條件解決方案解決方案詳見m_LAB_0750 組件介紹組件介紹 Expression

24、組件組件 Source Qualifier、 Filter與與Router Joiner與與Lookup Aggregator組件組件 Update Strategy組件組件 51組件功能組件功能 對數(shù)據(jù)集進(jìn)行聚合 聚合分有SUM、AVG、Count、Max、Min組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 分組匯總 平均值、最大值52Group By 選項選項變量和流出數(shù)據(jù)項的表達(dá)式變量和流出數(shù)據(jù)項的表達(dá)式53注意區(qū)別：注意區(qū)別：SUM ( IN_count , IIF ( ID 20, IN_count) )將不符合條件的值默認(rèn)賦值為將不符合條件的值默認(rèn)賦值為nullIIF ( I

25、D 20 , SUM ( IN_count ) )將不符合條件的值默認(rèn)賦值為將不符合條件的值默認(rèn)賦值為054參與參與Group By的字段是否經(jīng)過排序的字段是否經(jīng)過排序參與聚集匯總的變量和輸出參與聚集匯總的變量和輸出數(shù)據(jù)項的表達(dá)式所占內(nèi)存數(shù)據(jù)項的表達(dá)式所占內(nèi)存參與參與Group By的字段所占用的字段所占用的內(nèi)存的內(nèi)存55IDNAMEQUANTITY1北京北京1002上海上海803北京北京904江蘇江蘇905北京北京120IDNAMEQUANTITY1北京北京1003北京北京905北京北京1202上海上海904江蘇江蘇90按北京分組指針按北京分組指針按北京分組指針按北京分組指針不對流入到不對流

26、入到Aggregator組件的數(shù)據(jù)進(jìn)行排序組件的數(shù)據(jù)進(jìn)行排序?qū)α魅氲綄α魅氲紸ggregator組件的數(shù)據(jù)進(jìn)行排序組件的數(shù)據(jù)進(jìn)行排序56描述描述將采購清單按照數(shù)據(jù)倉庫星型設(shè)計原則進(jìn)行標(biāo)準(zhǔn)化存儲，對貨物庫存量、訂單量和貨物費(fèi)用按照采購編號、貨物品名、代理商、訂單日期、接收日期和發(fā)貨日期進(jìn)行匯總。源表：TDBU.STG_INVENTORY目標(biāo)：TDBU.FACT_INVENTORYLOOKUP表：產(chǎn)品維表為DIM_PRODUCT日期維表為DIM_DATE 要點要點訂單文本文件與產(chǎn)品表的關(guān)聯(lián)匯總前排序分組匯總解決方案解決方案詳見m_LAB_0857 組件介紹組件介紹 Expression組件組件 S

27、ource Qualifier、 Filter與與Router Joiner與與Lookup Aggregator組件組件 Update Strategy組件組件 58組件功能組件功能 對流過組件的每一條記錄賦一個操作標(biāo)志 根據(jù)操作標(biāo)志對目標(biāo)關(guān)系型數(shù)據(jù)庫表生成SQL操作 操作標(biāo)志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT組件類型組件類型 Active組件應(yīng)用范圍應(yīng)用范圍 數(shù)據(jù)增量更新 對目標(biāo)編輯59對記錄標(biāo)記對記錄標(biāo)記記錄是在當(dāng)前丟棄還是到下個組件丟棄記錄是在當(dāng)前丟棄還是到下個組件丟棄60描述描述將暫存區(qū)的發(fā)生變更了的員工信息倒入到員工維表中。 源表： T

28、DBU.STG_EMPLOYEES 目標(biāo)： TDBU.DIM_EMPLOYEES要點要點使用Router組件對數(shù)據(jù)按不同要求進(jìn)行編輯操作償試用一個Update Strategy組件完成上述功能解決方案解決方案詳見m_LAB_0961 增量抽取實例增量抽取實例 參數(shù)文件控制參數(shù)文件控制 斷點續(xù)傳實例斷點續(xù)傳實例 存儲過程實例存儲過程實例 行列轉(zhuǎn)換實例行列轉(zhuǎn)換實例 系統(tǒng)性能調(diào)優(yōu)系統(tǒng)性能調(diào)優(yōu) 62實例描述實例描述 對流過組件的每一條記錄賦一個操作標(biāo)志 根據(jù)操作標(biāo)志對目標(biāo)關(guān)系型數(shù)據(jù)庫表生成SQL操作 操作標(biāo)志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解決方案解決方

29、案 全表比較方法 時間戳方法詳見m_LAB_10 字段壓縮比較 PowerExchange63 增量抽取實例增量抽取實例 參數(shù)文件控制參數(shù)文件控制 斷點續(xù)傳實例斷點續(xù)傳實例 存儲過程實例存儲過程實例 行列轉(zhuǎn)換實例行列轉(zhuǎn)換實例 系統(tǒng)性能調(diào)優(yōu)系統(tǒng)性能調(diào)優(yōu) 64系統(tǒng)級變量系統(tǒng)級變量 SYSDATE系統(tǒng)日期 SESSSTARTTIMESESSION啟動時間 $SessStartTime 返回Session啟動時間的字符串值Mapping級參數(shù)與變量級參數(shù)與變量 SETMAXVARIABLE($Variable,value)設(shè)置最大值變量 SETMINVARIABLE($Variable,value)設(shè)

30、置最小值變量 SETVARIABLE($Variable,value)設(shè)置變量值 SETCOUNTVARIABLE($Variable)設(shè)置遞增、減變量文件級參數(shù)與變量文件級參數(shù)與變量 固定格式65從Designer 中的Mappings/Mapplets 菜單中進(jìn)行定義在相應(yīng)的Mapping或Mapplet中進(jìn)行引用即可設(shè)置變量變化類型初始值設(shè)置變量或參數(shù)名稱定義：$類型設(shè)置66全局變量域級服務(wù)變量節(jié)點級服務(wù)處理變量Workflow級變量 優(yōu)先于前幾級定義的變量 67Task參數(shù)文件設(shè)置參數(shù)文件設(shè)置Workflow參數(shù)文件設(shè)置參數(shù)文件設(shè)置68GLOBALSERVICESERVICE PROC

31、ESSWORKFLOWSESSION使用范圍執(zhí)行優(yōu)先權(quán)高低低高69Mapping與與Workflow/Worklet之間進(jìn)行變量傳遞之間進(jìn)行變量傳遞70使用不同參數(shù)文件并行運(yùn)行同一個使用不同參數(shù)文件并行運(yùn)行同一個Workflow71實例描述實例描述對源文本文件名進(jìn)行參數(shù)化對源表名進(jìn)行參數(shù)化對目標(biāo)輸出文本文件名進(jìn)行參數(shù)化對源與目標(biāo)的數(shù)據(jù)庫連接進(jìn)行參數(shù)化對日志文件及路徑進(jìn)行參數(shù)化解決方案解決方案詳見m_LAB_11注意事項注意事項注意變量的命名規(guī)則：特別是固定的前綴72 增量抽取實例增量抽取實例 參數(shù)文件控制參數(shù)文件控制 斷點續(xù)傳實例斷點續(xù)傳實例 存儲過程實例存儲過程實例 行列轉(zhuǎn)換實例行列轉(zhuǎn)換實例

32、 系統(tǒng)性能調(diào)優(yōu)系統(tǒng)性能調(diào)優(yōu) 73實例描述實例描述當(dāng)在數(shù)據(jù)抽取時，因意外致使數(shù)據(jù)抽取發(fā)生中斷，重新啟動服務(wù)時仍可從斷點執(zhí)行數(shù)據(jù)抽取解決方案解決方案通過表pm_recovery和PM_TGT_RUN_ID記載最近提交點的位置，當(dāng)session失敗(或停止)后可從斷點處接著裝載數(shù)據(jù)，在monitor中，recover task。在源表數(shù)據(jù)未發(fā)生變化的前提下詳見m_LAB_12監(jiān)控腳本監(jiān)控腳本select * from pm_recovery ;select row_count from pm_recovery ;select * from PM_TGT_RUN_ID;select count(*)

33、from SessionRecovery_Target ;truncate table SessionRecovery_Target ;7475 增量抽取實例增量抽取實例 參數(shù)文件控制參數(shù)文件控制 斷點續(xù)傳實例斷點續(xù)傳實例 存儲過程實例存儲過程實例 行列轉(zhuǎn)換實例行列轉(zhuǎn)換實例 系統(tǒng)性能調(diào)優(yōu)系統(tǒng)性能調(diào)優(yōu) 76實例描述實例描述將原始客戶信息記錄轉(zhuǎn)換成合格標(biāo)準(zhǔn)的數(shù)據(jù)倒入到暫存區(qū)，轉(zhuǎn)換處理在存儲過程中完成 源表： customer_east.txt customer_west.txt customer_central.txt目標(biāo)： TDBU.STG_CUSTOMERS解決方案解決方案見存儲過程EMP_I

34、NFA_TRANSFORM詳見m_LAB_1377 增量抽取實例增量抽取實例 參數(shù)文件控制參數(shù)文件控制 斷點續(xù)傳實例斷點續(xù)傳實例 存儲過程實例存儲過程實例 行列轉(zhuǎn)換實例行列轉(zhuǎn)換實例 系統(tǒng)性能調(diào)優(yōu)系統(tǒng)性能調(diào)優(yōu) 78實例描述實例描述 源數(shù)據(jù)一條記錄有多個字段格式一樣，經(jīng)過格式化，到目標(biāo)生成多條記錄，并且只保留一個該格式字段。解決方案解決方案 使用Normalizer組件，實現(xiàn)列/行轉(zhuǎn)變 詳見m_LAB_14_1 行列轉(zhuǎn)轉(zhuǎn)用Aggregator組件實現(xiàn)， 詳見m_LAB_14_279 增量抽取實例增量抽取實例 參數(shù)文件控制參數(shù)文件控制 斷點續(xù)傳實例斷點續(xù)傳實例 存儲過程實例存儲過程實例 行列轉(zhuǎn)換實例行列轉(zhuǎn)換實例 系統(tǒng)性能調(diào)優(yōu)系統(tǒng)性能調(diào)優(yōu) 80 Source瓶頸瓶頸 Target瓶頸瓶頸 Mapping瓶頸瓶頸 Session瓶頸瓶頸 System瓶頸瓶頸81源為文本文件源為文本文件調(diào)優(yōu)Line Sequential Buffer Length(1024) 源為關(guān)系型數(shù)據(jù)庫