數(shù)據(jù)質(zhì)量檢查與質(zhì)量控制講義

數(shù) 據(jù) 質(zhì) 量 檢 查 與 質(zhì) 量 控 制 要想清楚并深層次的了解數(shù)據(jù)質(zhì)量檢查與質(zhì)量控制的原理，首先應該知道數(shù)據(jù)質(zhì)量的基本概念以及數(shù)據(jù)誤差的來源。因為在某些情況下，數(shù)據(jù)質(zhì)量問題在很大程度上可以看作是數(shù)據(jù)誤差問題。下面我就詳細的為大家介紹數(shù)據(jù)質(zhì)量的基本概念和誤差來源及其分析，并就其誤差，我們再結合相應的檢查方法進行精度分析的探討。一、數(shù)據(jù)質(zhì)量的基本概念1、準確性（Accuracy）即一個記錄值（測量或觀察值）與它的真實值之間的接近程度。這個概念是相當抽象的，似乎人們已經(jīng)知道存在這樣的事實。在實際中，測量的知識可能依賴于測量的類型和比例尺。一般而言，單個的觀察或測量的準確性的估價僅僅是通過與可獲得的最準確的測量或公認的分類進行比較。空間數(shù)據(jù)的準確性經(jīng)常是根據(jù)所指的位置、拓撲或非空間屬性來分類的。它可用誤差（Error）來衡量。2、精度（Precision）即對現(xiàn)象描述的詳細程度。如對同樣的兩點，精度低的數(shù)據(jù)并不一定準確度也低。精度要求測量能以最好的準確性來記錄，但是這可能誤導提供了較大的精度，因為超出一個測量儀器的已知準確度的數(shù)字在效率上是冗于的。因此，如果手工操作的數(shù)字化板所返回的坐標不可能依賴于比0.1mm還要準確的一個“真正的”數(shù)值，那么就不存在任何的點，在十分之一的地方是以mm表示的。3、空間分辨率(Spatial Resolution)分辨率是兩個可測量數(shù)值之間最小的可辯識的差異。那么空間分辨率可以看作記錄變化的最小距離。在一張用肉眼可讀的地圖上，假設一條線用來記錄一個邊界，分辨率通常由最小線的寬度來確定。地圖上的線很少以小于0.1mm的寬度來畫。在一個圖形掃描儀中最細的物理分辨率從理論上講是由設施的像元之間的分離來確定的。在一個激光打印機上這是一英寸的300分之一，而且在高質(zhì)量的激光掃描儀上，這會細化十倍。如果沒有放大，最細的激光掃描儀的線是看不到的，盡管這依賴于背景顏色的對照。因此，在人的視覺分辨率和設備物理分辨率之間存在著一個差異。一個相似的區(qū)別可以存在于兩個最小距離之間，即當人操作者操作數(shù)字化儀時所區(qū)別的最小距離和數(shù)字化儀硬件可以不斷地報告的最小距離。4、比例尺（Scale）比例尺是地圖上一個記錄的距離和它所表現(xiàn)的“真實世界的”距離之間的一個比例。地圖的比例尺將決定地圖上一條線的寬度所表現(xiàn)的地面的距離。例如，在一個1：10000比例尺的地圖上，一條0.5mm寬度的線對應著5m的地面距離。如果這是線的最小的寬度，那么就不可能表示小于5m的現(xiàn)象。5、誤差（Error）定義出一個所記錄的測量和它的事實之間的準確性以后，很明顯對于大多數(shù)目的而言，它的數(shù)值是不準確的。誤差研究包括：位置誤差，即點的位置的誤差、線的位置的誤差和多邊形的位置的誤差；屬性誤差；位置和屬性誤差之間的關系。6、不確定性（Uncertainty）地理信息系統(tǒng)的不確定性包括空間位置的不確定性、屬性不確定性、時域不確定性、邏輯上的不一致性及數(shù)據(jù)的不完整性?？臻g位置的不確定性指GIS中某一被描述物體與其地面上真實物體位置上的差別；屬性不確定性是指某一物體在GIS中被描述的屬性與其真實的屬性之差別；時域不確定性是指在描述地理現(xiàn)象時，時間描述上的差錯；邏輯上的不一致性指數(shù)據(jù)結構內(nèi)部的不一致性，尤其是指拓撲邏輯上的不一致性；數(shù)據(jù)的不完整性指對于給定的目標，GIS沒有盡可能完全地表達該物體。二、空間數(shù)據(jù)質(zhì)量問題的來源從空間數(shù)據(jù)的形式表達到空間數(shù)據(jù)的生成，從空間數(shù)據(jù)的處理變換到空間數(shù)據(jù)的應用，在這兩個過程中都會有數(shù)據(jù)質(zhì)量問題的發(fā)生。下面按照空間數(shù)據(jù)自身存在的規(guī)律性，從幾個方面來闡述空間數(shù)據(jù)質(zhì)量問題的來源。1、空間現(xiàn)象自身存在的不穩(wěn)定性空間數(shù)據(jù)質(zhì)量問題首先來源于空間現(xiàn)象自身存在的不穩(wěn)定性?？臻g現(xiàn)象自身存在的不穩(wěn)定性包括空間特征和過程在空間、專題和時間內(nèi)容上的不確定性。空間現(xiàn)象在空間上的不確定性指其在空間位置分布上的不確定性變化；空間現(xiàn)象在時間上的不確定性表現(xiàn)為其在發(fā)生時間段上的游移性；空間現(xiàn)象在屬性上的不確定性表現(xiàn)為屬性類型劃分的多樣性，非數(shù)值型屬性值表達的不精確性。因此，空間數(shù)據(jù)存在質(zhì)量問題是不可避免的。2、空間現(xiàn)象的表達數(shù)據(jù)采集中的測量方法以及量測精度的選擇等受到人類自身的認識和表達的影響，這對于數(shù)據(jù)的生成會出現(xiàn)誤差。如在地圖投影中，由橢球體到平面的投影轉換必然產(chǎn)生誤差；用于獲取各種原始數(shù)據(jù)的各種測量儀器都有一定的設計精度，如GPS提供的地理位置數(shù)據(jù)都有用戶要求的一定設計精度，因而數(shù)據(jù)誤差的產(chǎn)生不可避免。3、空間數(shù)據(jù)處理中的誤差在空間數(shù)據(jù)處理過程中，容易產(chǎn)生的誤差有以下幾種：投影變換：地圖投影是開口的三維地球橢球面到二維場平面的拓撲變換。在不同投影形式下，地理特征的位置、面積和方向的表現(xiàn)會有差異。地圖數(shù)字化和掃描后的矢量化處理：數(shù)字化過程采點的位置精度、空間分辨率、屬性賦值等都可能出現(xiàn)誤差。數(shù)據(jù)格式轉換：在矢量格式和柵格格式之間的數(shù)據(jù)格式轉換中，數(shù)據(jù)所表達的空間特征的位置具有差異性。數(shù)據(jù)抽象：在數(shù)據(jù)發(fā)生比例尺變換時，對數(shù)據(jù)進行的聚類、歸并、合并等操作時產(chǎn)生的誤差，如知識性誤差和數(shù)據(jù)所表達的空間特征位置的變化誤差。建立拓撲關系：拓撲過程中伴隨有數(shù)據(jù)所表達的空間特征的位置坐標的變化。與主控數(shù)據(jù)層的匹配：一個數(shù)據(jù)庫中，常存儲同一地區(qū)的多層數(shù)據(jù)面，為保證各數(shù)據(jù)層之間空間位置的協(xié)調(diào)性，一般建立一個主控數(shù)據(jù)層以控制其它數(shù)據(jù)層的邊界和控制點。在與主控數(shù)據(jù)層匹配的過程中也會存在空間位移，導致誤差。數(shù)據(jù)疊加操作和更新：數(shù)據(jù)在進行疊加運算以及數(shù)據(jù)更新時，會產(chǎn)生空間位置和屬性值的差異。數(shù)據(jù)集成處理：指在來源不同、類型不同的各種數(shù)據(jù)集的相互操作過程中所產(chǎn)生的誤差。數(shù)據(jù)集成是包括數(shù)據(jù)預處理、數(shù)據(jù)集之間的相互運算、數(shù)據(jù)表達等過程在內(nèi)的復雜過程，其中位置誤差、屬性誤差都會出現(xiàn)。數(shù)據(jù)的可視化表達：數(shù)據(jù)在可視化表達過程中為適應視覺效果，需對數(shù)據(jù)的空間特征位置、注記等進行調(diào)整，由此產(chǎn)生數(shù)據(jù)表達上的誤差。數(shù)據(jù)處理過程中誤差的傳遞和擴散：在數(shù)據(jù)處理的各個過程中，誤差是累計和擴散的，前一過程的累計誤差可能成為下一個階段的誤差起源，從而導致新的誤差的產(chǎn)生。4、空間數(shù)據(jù)使用中的誤差在空間數(shù)據(jù)使用的過程中也會導致誤差的出現(xiàn)，主要包括兩個方面：一是對數(shù)據(jù)的解釋過程，二是缺少文檔。對于同一種空間數(shù)據(jù)來說，不同用戶對它的內(nèi)容的解釋和理解可能不同，處理這類問題的方法是隨空間數(shù)據(jù)提供各種相關的文檔說明，如元數(shù)據(jù)。另外，缺少對某一地區(qū)不同來源的空間數(shù)據(jù)的說明，如缺少投影類型、數(shù)據(jù)定義等描述信息，這樣往往導致數(shù)據(jù)用戶對數(shù)據(jù)的隨意性使用而使誤差擴散。表：數(shù)據(jù)的主要誤差來源數(shù)據(jù)處理過程誤差來源數(shù)據(jù)搜集野外測量誤差：儀器誤差、記錄誤差遙感數(shù)據(jù)誤差：輻射和幾何糾正誤差、信息提取誤差地圖數(shù)據(jù)誤差：原始數(shù)據(jù)誤差、坐標轉換、制圖綜合及印刷數(shù)據(jù)輸入數(shù)字化誤差：儀器誤差、操作誤差不同系統(tǒng)格式轉換誤差：柵格-矢量轉換、三角網(wǎng)-等值線轉換數(shù)據(jù)存儲數(shù)值精度不夠空間精度不夠：每個格網(wǎng)點太大、地圖最小制圖單元太大數(shù)據(jù)處理分類間隔不合理多層數(shù)據(jù)疊合引起的誤差傳播：插值誤差、多源數(shù)據(jù)綜合分析誤差比例尺太小引起的誤差數(shù)據(jù)輸出輸出設備不精確引起的誤差輸出的媒介不穩(wěn)定造成的誤差數(shù)據(jù)使用對數(shù)據(jù)所包含的信息的誤解對數(shù)據(jù)信息使用不當三、常見空間數(shù)據(jù)的誤差分析GIS中的誤差是指GIS中數(shù)據(jù)表示與其現(xiàn)實世界本身的差別。數(shù)據(jù)誤差的類型可以是隨機的，也可以是系統(tǒng)的。歸納起來，數(shù)據(jù)的誤差主要有四大類，即幾何誤差、屬性誤差、時間誤差和邏輯誤差。在這幾種誤差中，屬性誤差和時間誤差與普通信息系統(tǒng)中的誤差概念是一致的，幾何誤差是地理信息系統(tǒng)所特有的，而幾何誤差、屬性誤差和時間誤差都會造成邏輯誤差，因此下面主要討論邏輯誤差和幾何誤差。1、誤差的類型（1）邏輯誤差數(shù)據(jù)的不完整性是通過上述四類誤差反映出來的。事實上檢查邏輯誤差，有助于發(fā)現(xiàn)不完整的數(shù)據(jù)和其他三類誤差。對數(shù)據(jù)進行質(zhì)量控制或質(zhì)量保證或質(zhì)量評價，一般先從數(shù)據(jù)的邏輯性檢查入手。如圖1所示，其中橋或停車場等與道路是相接的，如果數(shù)據(jù)庫中只有橋或停車場，而沒有與道路相連，則說明道路數(shù)據(jù)被遺漏，使數(shù)據(jù)不完整。圖1：各種邏輯誤差（2）幾何誤差由于地圖是以二維平面坐標表達位置，在二維平面上的幾何誤差主要反映在點和線上。（21）點誤差關于某點的點誤差即為測量位置（x，y）與其真實位置（x0，y0）的差異。真實位置的測量方法比測量位置的要更加精確，如在野外使用高精度的GPS方法得到。點誤差可通過計算坐標誤差和距離的方法得到。坐標誤差定義為：x=x-x0 ； y=y-y0為了衡量整個數(shù)據(jù)采集區(qū)域或制圖區(qū)域內(nèi)的點誤差，一般抽樣測算（x,y）。抽樣點應隨機分布于數(shù)據(jù)采集區(qū)內(nèi)，并具有代表性。這樣抽樣點越多，所測的誤差分布就越接近于點誤差的真實分布。（22）線誤差線在地理信息系統(tǒng)數(shù)據(jù)庫中既可表示線性現(xiàn)象，又可以通過連成的多邊形表示面狀現(xiàn)象。第一類是線上的點在真實世界中是可以找到的，如道路、河流、行政界線等，這類的線性特征的誤差主要產(chǎn)生于測量和對數(shù)據(jù)的后處理；第二類是現(xiàn)實世界中找不到的，如按數(shù)學投影定義的經(jīng)緯線、按高程繪制的等高線，或者是氣候區(qū)劃線和土壤類型界限等，這類線性特征的線誤差及在確定線的界限時的誤差，被稱為解譯誤差。解譯誤差與屬性誤差直接相關，若沒有屬性誤差，則可以認為那些類型界線是準確的，因而解譯誤差為零。另外，線分為直線、折線、曲線與直線混合的線（圖2）。GIS數(shù)據(jù)庫中用兩種方法表達曲線、折線，圖3對這兩類誤差作了對照。圖2：各種線（直線、折線、曲線）圖3：折線和曲線的誤差線誤差分布可以用Epsilon帶模型來描述，它由沿著一條線以及兩側定寬的帶構成，真實的線以某一概率落于Epsilon帶內(nèi)。Epsilon帶是等寬的（類似于后面講述的緩沖區(qū)，不過其意義不同），在此基礎上，誤差帶模型被提出，與Epsilon帶模型相比，它在中間最窄而在兩端較寬?；谡`差帶模型，可以把直線與折線誤差分布的特點分別看作是“骨頭型”或者“車鏈型”的誤差分布帶模式（圖4）。圖4：折線誤差的分布對于曲線的誤差分布或許應當考慮“串腸型模式”（圖5）。圖5：曲線的誤差分布2、地圖數(shù)據(jù)的質(zhì)量問題地圖數(shù)據(jù)是現(xiàn)有地圖經(jīng)過數(shù)字化或掃描處理后生成的數(shù)據(jù)。在地圖數(shù)據(jù)質(zhì)量問題中，不僅含有地圖固有的誤差，還包括圖紙變形、圖形數(shù)字化等誤差。1）地圖固有誤差：是指用于數(shù)字化的地圖本身所帶有的誤差，包括控制點誤差、投影誤差等。由于這些誤差間的關系很難確定，所以很難對其綜合誤差作出準確評價。如果假定綜合誤差與各類誤差間存在線性關系，即可用誤差傳播定律來計算綜合誤差。2）材料變形產(chǎn)生的誤差：這類誤差是由于圖紙的大小受濕度和溫度變化的影響而產(chǎn)生的。溫度不變的情況下，若濕度由0%增至25%，則紙的尺寸可能改變1.6%；紙的膨脹率和收縮率并不相同，即使?jié)穸扔只謴偷皆瓉淼拇笮。瑘D紙也不能恢復原有的尺寸，一張6英寸的圖紙因濕度變化而產(chǎn)生的誤差可能高達0.576英寸。在印刷過程中，紙張先隨溫度的升高而變長變寬，又由于冷卻而產(chǎn)生收縮。3）圖象數(shù)字化誤差：數(shù)字化方式主要有跟蹤數(shù)字化和掃描數(shù)字化兩種。跟蹤數(shù)字化一般有點方式和流方式兩種工作方式，前者在實際工作中使用較多，后者進行數(shù)字化所產(chǎn)生的誤差要比前者大得多。此外，還有不同數(shù)據(jù)的錄入方式對數(shù)據(jù)質(zhì)量的影響問題，主要包括跟蹤數(shù)字化和掃描數(shù)字化。跟蹤數(shù)字化：影響其數(shù)據(jù)質(zhì)量的因素主要有：數(shù)字化要素對象、數(shù)字化操作人員、數(shù)字化儀和數(shù)字化操作。其中，數(shù)字化要素對象：地理要素圖形本身的高度、密度和復雜程度對數(shù)字化結果的質(zhì)量有著顯著影響，如粗線比細線更易引起誤差，復雜曲線比平直線更易引起誤差，密集的要素比稀疏的要素更易引起誤差等；數(shù)字化操作人員：數(shù)字化操作人員的技術與經(jīng)驗不同，所引入的數(shù)字化誤差也會有較大的誤差，這主要表現(xiàn)在最佳采點點位的選擇、十字絲與目標重疊程度的判斷能力等方面，另外，數(shù)字化操作人員的疲勞程度和數(shù)字化的速度也會影響數(shù)字化的質(zhì)量；數(shù)字化儀的分辨率和精度對數(shù)字化的質(zhì)量有著決定性的影響；數(shù)字化操作方式也會影響到數(shù)字化數(shù)據(jù)的質(zhì)量，如曲線采點方式（流方式或點方式）和采點密度等。掃描數(shù)字化：掃描數(shù)字化采用高精度掃描儀將圖形、圖象等掃描并形成柵格數(shù)據(jù)文件，再利用掃描矢量化軟件對柵格數(shù)據(jù)文件進行處理，將它轉換為矢量圖形數(shù)據(jù)。矢量化過程有兩種方式：即交互式和全自動。影響掃描數(shù)字化數(shù)據(jù)質(zhì)量的因素包括原圖質(zhì)量（如清晰度）、掃描精度、掃描分辨率、配準精度、校正精度等。3、遙感數(shù)據(jù)的質(zhì)量問題遙感數(shù)據(jù)的質(zhì)量問題，一部分來自遙感儀器的觀測過程，一部分來自遙感圖象處理和解譯過程。遙感觀測過程本身存在著精確度和準確度的限制，這一過程產(chǎn)生的誤差主要表現(xiàn)為空間分辨率、幾何畸變和輻射誤差，這些誤差將影響遙感數(shù)據(jù)的位置和屬性精度。遙感圖像處理和解譯過程，主要產(chǎn)生空間位置和屬性方面的誤差。這是由圖像處理中的影像或圖像校正和匹配以及遙感解譯判讀和分類引入的，其中包括混合像元的解譯判讀所帶來的屬性誤差。4、測量數(shù)據(jù)的質(zhì)量問題測量數(shù)據(jù)主要指使用大地測量、GPS、城市測量、攝影測量和其他一些測量方法直接量測所得到的測量對象的空間位置信息。這部分數(shù)據(jù)質(zhì)量問題，主要是空間數(shù)據(jù)的位置誤差。空間數(shù)據(jù)的位置通常以坐標表示，空間數(shù)據(jù)位置的坐標與其經(jīng)緯度表示之間存在著某誤差因素，由于這種誤差因素無法排除，一般也不作為誤差考慮。測量方面的誤差通常考慮的是系統(tǒng)誤差、操作誤差和偶然誤差。系統(tǒng)誤差的發(fā)生與一個確定的系統(tǒng)有關，它受環(huán)境因素（如溫度、濕度和氣壓等）、儀器結構與性能以及操作人員技能等方面的因素綜合影響而產(chǎn)生。系統(tǒng)誤差不能通過重復觀測加以檢查或消除，只能用數(shù)字模型模擬和估計。操作誤差是操作人員在使用設備、讀書或記錄觀測值時，因粗心或操作不當而產(chǎn)生的。應采用各種方法檢查和消除操作誤差。一般地，操作誤差可通過簡單的幾何關系或代數(shù)檢查驗證其一致性，或通過重復觀測檢查并消除操作誤差。偶然誤差是一種隨機性的誤差，由一些不可測和不可控的因素引入。這種誤差具有一定的特征，如正負誤差出現(xiàn)頻率相同、大誤差少、小誤差多等。偶然誤差可采用隨機模型進行估計和處理。四、空間數(shù)據(jù)質(zhì)量控制數(shù)據(jù)質(zhì)量控制是個復雜的過程，要控制數(shù)據(jù)質(zhì)量應從數(shù)據(jù)質(zhì)量產(chǎn)生和擴散的所有過程和環(huán)節(jié)入手，分別用一定的方法減少誤差。空間數(shù)據(jù)質(zhì)量控制常見的方法有：1、傳統(tǒng)的手工方法質(zhì)量控制的人工方法主要是將數(shù)字化數(shù)據(jù)與數(shù)據(jù)源進行比較，圖形部分的檢查包括目視方法、繪制到透明圖上與原圖疊加比較，屬性部分的檢查采用與原屬性逐個對比或其他比較方法。2、元數(shù)據(jù)方法數(shù)據(jù)集的元數(shù)據(jù)中包含了大量有關數(shù)據(jù)質(zhì)量的信息，通過它可以檢查數(shù)據(jù)質(zhì)量，同時元數(shù)據(jù)也記錄了數(shù)據(jù)處理過程中質(zhì)量的變化，通過跟蹤元數(shù)據(jù)可以了解數(shù)據(jù)質(zhì)量狀況和變化。3、地理相關法用空間數(shù)據(jù)的地理特征要素自身的相關性來分析數(shù)據(jù)的質(zhì)量。如從地表自然特征的空間分布著手分析，山區(qū)河流應位于微地形的最低點，因此，疊加河流和等高線兩層數(shù)據(jù)時，如河流的位置不在等高線的外凸連線上，則說明兩層數(shù)據(jù)中必有一層數(shù)據(jù)有質(zhì)量問題，如不能確定哪層數(shù)據(jù)有問題時，可以通過將它們分別與其它質(zhì)量可靠的數(shù)據(jù)層疊加來進一步分析。因此，可以建立一個有關地理特征要素相關關系的知識庫，以備各空間數(shù)據(jù)層之間地理特征要素的相關分析之用。五、數(shù)據(jù)質(zhì)量檢查GIS的質(zhì)量主要是指數(shù)據(jù)的質(zhì)量，而GIS的空間數(shù)據(jù)主要來自直接測量、遙感與攝影測量以及數(shù)字化方法等。GIS空間數(shù)據(jù)的精度分析與質(zhì)量控制的研究可以追索到測繪科學中的經(jīng)典誤差分析和測量平差理論。所以GIS的數(shù)據(jù)檢查主要表現(xiàn)在：1、定位精度的檢驗，具體如下：（1）數(shù)學基礎：經(jīng)緯網(wǎng)、控制點、圖廓點的坐標值是否標準；（2）平面精度：測量數(shù)據(jù)（抽樣50個點，20條邊與鄰近控制點或鄰近點的誤差）、數(shù)字化數(shù)據(jù)（分層輸出再與原圖疊加）；（3）高程精度：測量數(shù)據(jù)（實地檢查）、數(shù)