FMEDesktop培訓(xùn)教程數(shù)據(jù)轉(zhuǎn)換操作一

1、數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換指的是ETL中的T（轉(zhuǎn)換），依賴其重構(gòu)數(shù)據(jù)的能力，這樣就能輸出所需要的數(shù)據(jù)，甚至一定程度上說，輸出的數(shù)據(jù)要優(yōu)于輸入的數(shù)據(jù)。什么是數(shù)據(jù)轉(zhuǎn)換?數(shù)據(jù)轉(zhuǎn)換是FME重構(gòu)數(shù)據(jù)的功能。這個功能的一個重要特征就是，用戶不需要手動操作，就會自動地在讀?。ㄌ崛。┖途帉懀虞d）數(shù)據(jù)之間進行轉(zhuǎn)換。數(shù)據(jù)轉(zhuǎn)換類型數(shù)據(jù)轉(zhuǎn)換又可以被具體分為兩種；結(jié)構(gòu)轉(zhuǎn)換這類轉(zhuǎn)換被稱作“重組”可能更加合適，它是FME的一種功能，以近乎無窮的重組方式將源數(shù)據(jù)發(fā)送到目標(biāo)數(shù)據(jù)，這個過程就包括，合并，劃分，重構(gòu)數(shù)據(jù)，以及自定義數(shù)據(jù)結(jié)構(gòu)。通過處理和操控數(shù)據(jù)集結(jié)構(gòu)模式，就能夠轉(zhuǎn)換數(shù)據(jù)集結(jié)構(gòu)。內(nèi)容轉(zhuǎn)換這類轉(zhuǎn)換也被稱作“重構(gòu)”，它指的是改變一

2、個數(shù)據(jù)集內(nèi)容的功能；操控要素的幾何特征或?qū)傩灾稻褪顷P(guān)于如何使用FME來進行內(nèi)容轉(zhuǎn)換的最好例子。可以獨立進行內(nèi)容轉(zhuǎn)換，也可以與模式轉(zhuǎn)換一起進行。Mr CAD 曾說過“和許多人一樣，我購買FME僅僅是為了進行格式轉(zhuǎn)換，但是數(shù)據(jù)轉(zhuǎn)換工具給了我其它的選擇！現(xiàn)在我使用FME來轉(zhuǎn)換數(shù)據(jù)，即使有時并不需要對格式進行轉(zhuǎn)換！有關(guān)模式的概念轉(zhuǎn)換一個數(shù)據(jù)集的結(jié)構(gòu)就需要對模式有所了解，并且知道怎樣使用FME來處理這些模式。什么是模式?模式指的是一個數(shù)據(jù)集的結(jié)構(gòu)，或者更準(zhǔn)確地說，它是數(shù)據(jù)集結(jié)構(gòu)的正式定義。你可能比較熟悉術(shù)語Data Model（數(shù)據(jù)模型），但是在Safe Software中，我們將它稱為schema。每

3、個數(shù)據(jù)集都有它自身獨特的結(jié)構(gòu)（模式），包括要素類別（層），幾何特征，用戶自定義屬性，以及其它用來定義或限定內(nèi)容的規(guī)則。你可以將它稱之為“物理”模式，因為它表示的是數(shù)據(jù)的物理特性。FME是怎樣表示模式的?當(dāng)你創(chuàng)建一個新的工作空間時，F(xiàn)ME就會掃描源數(shù)據(jù)集，從而就創(chuàng)建了一個源模式的工作空間定義，復(fù)制工作空間就能操作目標(biāo)模式。下圖：在工作空間中，正如最開始顯示的一樣，源模式和目標(biāo)模式，源數(shù)據(jù)在左邊，目標(biāo)數(shù)據(jù)在右邊每一項都是一個單獨的要素類別，每個要素類別擁有一組屬性這種情況下，源數(shù)據(jù)集模式表示的是“我們所擁有的”，而目標(biāo)數(shù)據(jù)集模式通常表示的是副本。僅僅當(dāng)要求對目標(biāo)格式進行限定時，才會產(chǎn)生不同。在這樣

4、的情況下，F(xiàn)ME就會盡力修復(fù)源模式和目標(biāo)模式之間的差別，例如，當(dāng)目標(biāo)模式是ESRI Shape格式時，F(xiàn)ME會將所有屬性名縮短為十個字符，這是因為Shape格式不支持大于十個字符的屬性名。為了更加專業(yè)，目標(biāo)模式也被叫做“邏輯”模式，因為實際上來說它們并不是實際存在的。在 FME Workbench中查看模式但是，有時候我們并不能在工作空間中找到一個模式。模式的其它組成部分與整個數(shù)據(jù)集相關(guān)，例如，數(shù)據(jù)集所擁有的要素類別就被認(rèn)為是模式的一部分，并且在Workbench窗口中對它進行了描述。模式的一些部分是僅僅與一個單一的要素類相關(guān)的，屬性就是這樣的部分。這些組成部分顯示在Feature Type

5、Properties的對話框中。使用要素類別右邊的*+按鍵就能夠打開這個對話框。下圖：Feature Type Properties 對話框含有大量的制表符，來顯示信息。在“General”這一欄顯示的是要素類別名，這時，就要填 “ADDRESS。這里也顯示了允許的幾何特征類別，它是要素類別的父數(shù)據(jù)集名。下圖：User Attributes一欄顯示的是屬性類表，根據(jù)屬性名，數(shù)據(jù)類別，寬度，以及小數(shù)位的個數(shù)，這些因素來對每個屬性進行定義。這個例子中出現(xiàn)了一個源要素類別。默認(rèn)地，不能對源屬性進行編輯，這是因為源屬性表示的是數(shù)據(jù)的物理性模式。如果改變了源屬性，模式就不能與源數(shù)據(jù)集相匹配了。模式編輯F

6、ME創(chuàng)建的默認(rèn)模式非常適合進行“快速轉(zhuǎn)換”。當(dāng)你需要自定義輸出模式時，就可以使用Workbench對模式進行編輯。什么是模式編輯?最開始，我們將工作空間創(chuàng)建成目標(biāo)模式，也就是源模式的副本。但是，很多情況下，用戶會要求不同的輸出數(shù)據(jù)模式。模式編輯指的就是，改變目標(biāo)模式，對輸出的數(shù)據(jù)結(jié)構(gòu)進行自定義。對輸出數(shù)據(jù)的屬性進行重新命名，就是一個很好的例子。這種情況下，源模式仍然表示的是“我們所擁有的”，而目標(biāo)模式則表示“我們所需要的”?？梢詫δ切﹥?nèi)容進行編輯?我們可以對很多內(nèi)容進行編輯，包括如下：屬性重新命名目標(biāo)模式中的任何屬性都可以被重命名，例如，重新命名ROADS_ID to IDNUMBER。打開F

7、eature Type Properties對話框，點擊User Attributes（如右圖），然后點擊你要重命名的屬性，最后輸入新的名稱。屬性類型更改目標(biāo)模式中的任何屬性都能改變原有的類型，例如，將ID的整型數(shù)改為小數(shù)類型打開Feature Type Properties對話框，點擊User Attributes，使用Data Type字段就能改變屬性類型了。要素類別重命名要對一個目標(biāo)要素類別進行重新命名，例如，將roads重名為updated_roads，就只需要打開Feature Type Properties對話框，點擊General，然后點擊要編輯的要素類別名稱字段，就可以編輯新的

8、名稱了。幾何特征類型更改要對一個要素類別的幾何特征進行更改，例如，將線類幾何特征改為點類，只需要打開Feature Type Properties對話框，點擊General，從幾何特征列表中選擇你需要的類別。備注：只有當(dāng)格式要求一個幾何特征類別時，這個字段才有效。模式映射模式映射就是將數(shù)據(jù)集的源模式與目標(biāo)模式對應(yīng)起來的一種方法，它是重建數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)。什么是模式映射?在FME Workbench中，工作空間的一邊顯示的是源模式，另一邊顯示的是目標(biāo)模式。模式映射就是用某種方法將源模式和目標(biāo)模式連接起來，并且確保源要素與目標(biāo)要素類別，源屬性與目標(biāo)屬性是分別對應(yīng)的。要素映射他指的是將源要素類別和目標(biāo)

9、要素類別連接起來。屬性映射它指的是將源屬性與目標(biāo)屬性連接起來。Ms. Analyst 曾說過“你可以將模式編輯和映射理解為重構(gòu)數(shù)據(jù)，這和整理衣櫥有點像：扔掉你不需要的東西，為打算購買的東西保留空間，將已有的東西移到更加有用的位置。”在Workbench自身的界面中，將模式的要素類別和屬性進行連線，就能夠?qū)⑺鼈冞B接起來了。域映射一些格式支持域，也就是說，用一種方法來決定特殊屬性需要的值。對于編碼過的域來說（每個值都對應(yīng)一個代碼），有時候，要求對它進行映射，將數(shù)字型的值轉(zhuǎn)換為描述性文字的值。當(dāng)需要改變一個域到另一個域時，也需要進行域映射。在FME Workbench中進行模式映射大多數(shù)情況下，在一

10、個新的工作空間中，F(xiàn)ME會自動進行模式映射，但也可以按照要求編輯模式映射。FME Workbench中的要素映射點擊源要素類別的輸出端口，按住鼠標(biāo)將箭頭拖到目標(biāo)要素類別的輸入端口，然后放開鼠標(biāo)，就可以了。下圖：如下圖所示，進行要素映射。FME Workbench中的屬性映射點擊源屬性的輸出端口，按住鼠標(biāo)將箭頭拖到目標(biāo)屬性的輸入端口，然后放開鼠標(biāo)，就可以了。下圖：已經(jīng)進行了要素映射，并且已經(jīng)建立了屬性連接。注意，綠色，黃色，紅色的箭頭分別表示哪些是已經(jīng)連接了的屬性。下圖：將源要素類別連接到了目標(biāo)要素別。黑粗的線表示要素映射，而細的灰色的線則表示屬性映射。具有相同名稱的源屬性和目標(biāo)屬性會自動連接，

11、屬性字段名是區(qū)分字母大小寫的，所以ROADSFME Desktop 培訓(xùn)手冊9 / 37與roads 或Roads是不同的。有時候，不同名稱的屬性也會映射，但是卻沒有連接箭頭顯示，所以是看不到的。綠色箭頭表示已連接的屬性，黃色表示還未與目標(biāo)屬性相連接的源屬性，紅色表示還沒連接到源屬性的目標(biāo)屬性。例1：模式映射City_parks是有關(guān)一個城市公園的一個MapInfo TAB的數(shù)據(jù)集，要對它進行模式映射為了更準(zhǔn)確地估算地面維護成本（割草，修樹），你就需要全面處理數(shù)據(jù)，然后計算出每個公園的平均面積首先要做的就是啟動轉(zhuǎn)換，并且確保模式映射能夠運行1) 啟動 Workbench.運用New Works

12、pace 對話框，使用以下信息創(chuàng)建一個工作空間：Source Format MapInfo TAB (MFAL)Source Dataset C:FMEDataDataParkscity_parks.tabDestination Format MapInfo TAB (MFAL) (yes here we write back to the same format!)2) 調(diào)整目標(biāo)模式當(dāng)目標(biāo)映射和源映射相符合時，F(xiàn)ME會自動創(chuàng)建一個工作空間，但是，在這個操作中，我們想賦予目標(biāo)屬性更多有意義的名字，刪除一些不需要的屬性，添加需要的新的屬性點擊properties按鍵，或者右擊要素類別，選擇“Pr

13、operties”.，就能夠打開目標(biāo)要素類別的Feature Type Properties對話框點擊User Attributes標(biāo)簽頁，就會出現(xiàn)目標(biāo)屬性的列表? 重新命名字段 name 為 ParkName? 重新命名字段 name_alt 為 ParkNameAlt? 添加一個新字段 ParkArea make sure it is attribute type of FLOAT? 添加一個新字段 AverageParkArea make sure it is attribute type of FLOAT點擊OK，同意這些更改3) 映射目標(biāo)模式現(xiàn)在目標(biāo)屬性名已經(jīng)改變了，F(xiàn)ME就會終止之

14、前的所有模式映射，這時你的工作空間如下圖所示。 重新映射公園名和可替換的名字到對應(yīng)，相等的目標(biāo)數(shù)據(jù)模式中，這時工作空間如下圖所示。注意，現(xiàn)在已經(jīng)沒有任何屬性要映射到ParkArea或AverageParkArea中了，因為它們對應(yīng)的源數(shù)據(jù)值并不存在，但是，你仍然可以運行工作空間，查看輸出狀態(tài)。不要忘記保存這個工作空間，因為之后你可能會用到它。Miss Vector 曾說過“同學(xué)們！現(xiàn)在又要進行一個小測試了，來檢查你們學(xué)習(xí)的成果。問一下其他的成員，然后相互回答這些問題。”“ETL” 中的“T”代表的是：1) Translation2) Transfiguration3) Transmission

15、4) Transformation一個模式的源組成部分和目標(biāo)組成部分分別代表的是：1) What we have/What we want2) What we did/What we should have done3) What were adding/What were removing4) Where my data was/Where it is now將源模式連接到目標(biāo)模式，我們將這個過程叫做：1) Schema Mapping2) Schema Connecting3) Schema Joins4) Schema Concatenating下面的那一種箭頭顏色表示FME模式中沒有進

16、行連接?1) Red2) Green3) Blue4) Yellow內(nèi)容轉(zhuǎn)換內(nèi)容轉(zhuǎn)換指的是，轉(zhuǎn)換一個數(shù)據(jù)的幾何特征或?qū)傩?。什么是要?FME中的要素在轉(zhuǎn)換過程中是一個個體，例如，GIS或制圖要素，除了一組相關(guān)的屬性外，還包括幾何特征。FME能夠?qū)傩曰驇缀翁卣鬟M行重構(gòu)提示：FME中的要素是數(shù)據(jù)的最基本的（亦即最小的）單位FME中的要素表達法是靈活的，通用的，也就是說，對這些要素有一個基本的FME定義，與要素所在格式無關(guān)?！按止堋鞭D(zhuǎn)換“粗管”轉(zhuǎn)換描述了FME的內(nèi)容轉(zhuǎn)換功能，也就是說，你可以在轉(zhuǎn)換過程中處理數(shù)據(jù)，然后產(chǎn)生一個目標(biāo)數(shù)據(jù)集，并且這個數(shù)據(jù)集的數(shù)量會多于源數(shù)據(jù)集的。 數(shù)據(jù)格式1 數(shù)據(jù)轉(zhuǎn)換和

17、變換 數(shù)據(jù)格式2上圖：注意觀察屬性A,B,C是怎樣轉(zhuǎn)換成一組新屬性W,X,Y和Z的。箭頭表示轉(zhuǎn)換過程是雙向的。Mr Flibble 曾說過“現(xiàn)在是挑戰(zhàn)你的時候了！根據(jù)用戶反饋意見，最常見的數(shù)據(jù)轉(zhuǎn)換是將ESRI Shape轉(zhuǎn)換為那種格式的數(shù)據(jù)？如果你聽了課的話，就請告訴我擬的答案?！睅缀翁卣鬓D(zhuǎn)換幾何特征轉(zhuǎn)換是一個屬于，指的是在FME中對一個要素的空間（或幾何）部分進行結(jié)構(gòu)重構(gòu)。什么是幾何特征轉(zhuǎn)換?它指的是對FME要素的空間組成部分進行結(jié)構(gòu)重構(gòu)，換句話說，就是改變要素的幾何特征，然后輸出不同類型的要素。下面是一些有關(guān)幾何特征轉(zhuǎn)換的例子? 縮編一種制圖過程，通過重構(gòu)數(shù)據(jù)結(jié)構(gòu)，使其在特定的比例尺的地圖

18、中都能輕易地查看到數(shù)據(jù)。? 仿射調(diào)整要素的大小和形狀，使其更加匹配參考數(shù)據(jù)? 拓?fù)溆嬎銓⒁唤M線性要素轉(zhuǎn)換為點/線結(jié)構(gòu)下圖：一個有關(guān)線線交匯的例子。在公路和河流交匯的地方就會產(chǎn)生一個點，表示橋的位置。屬性轉(zhuǎn)換屬性轉(zhuǎn)換是一個術(shù)語，指的是在FME內(nèi)，對一個要素的非空間（或?qū)傩裕┎糠诌M行結(jié)構(gòu)重構(gòu)。什么是屬性轉(zhuǎn)換?它指的是，對一個FME要素的非空間部分進行結(jié)構(gòu)重構(gòu)，換句話說，就是改變屬性的物理幾何特征，然后輸出不同類型的要素。下面就是屬性轉(zhuǎn)換的一些例子：? 關(guān)聯(lián)將兩個或多個要素結(jié)合起來? 分拆 縮編的相反操作，將一個屬性分拆為多個? 測量 測量一個要素的長度或范圍，創(chuàng)建一個新的屬性? 創(chuàng)建ID 為特殊的

19、要素創(chuàng)建一個特定的IDAddress1 Suite 2017，+ Address2 7445-132nd Street，+ City Surrey，+ Province British Columbia，+ PostCode V3W 1J8= Address Suite 2017, 7445-132nd Street, Surrey, British Columbia, V3W 1J8上面：屬性關(guān)聯(lián)是有關(guān)屬性轉(zhuǎn)換的一個例子。將地址的每一行進行并別，然后發(fā)送回一個只有一行的地址。使用函進行轉(zhuǎn)換你已經(jīng)知道了，在工作流中，我們用對象來表示FME Workbench的源數(shù)據(jù)和目標(biāo)數(shù)據(jù)，同樣地，我們用對

20、象來描述幾何和屬性重構(gòu)過程函數(shù)什么是函數(shù)?函數(shù)就是FME Workbench的一個對象，它執(zhí)行要素重構(gòu)的任務(wù)。FME存在大量的函數(shù)，用來進行不同類型的結(jié)構(gòu)重構(gòu)。Workbench的顯示窗口可能不同，但是一般它的導(dǎo)航窗口都會有一個標(biāo)簽Transformers.點擊它，查看FME的函數(shù)列表。為了方便用戶查看函數(shù)，我們將Transformer Gallery分為不同的單元和類型。在它的下方也有一個選項，它提供了已選函數(shù)的基本信息。下圖：已經(jīng)打開了一個特定的函數(shù)（Filter），并且高亮顯示了AttributeFilter函數(shù)。放置一個函數(shù)一但你選中了一個函數(shù)函數(shù)列表中，雙擊它，就可以將這個函數(shù)放置到工作空間中了?；蛘?，你可以將函數(shù)拖到工作空間中。許多用戶選擇這種方式，這是因為通過拖動函數(shù)，能讓你更好地控制函數(shù)的初始放置位置在放置了函數(shù)后，將輸入端口連接到輸出端口，就可以添加函數(shù)了。左圖：放置和連接函數(shù)的例子函數(shù)的參數(shù)每個函數(shù)可能有許多參數(shù)也叫做