Python處理缺失值的8種不同方法實(shí)例

第Python處理缺失值的8種不同方法實(shí)例目錄前言1.刪除有缺失值的行或列2.刪除只有缺失值的行或列3.根據(jù)閾值刪除行或列4.基于特定的列子集刪除5.填充一個(gè)常數(shù)值6.填充聚合值7.替換為上一個(gè)或下一個(gè)值8.使用另一個(gè)數(shù)據(jù)框填充總結(jié)

前言

缺失值可能是數(shù)據(jù)科學(xué)中最不受歡迎的值，然而，它們總是在身邊。忽略缺失值也是不合理的，因此我們需要找到有效且適當(dāng)?shù)靥幚硭鼈兊姆椒ā?/p>

在本文中，我們將介紹8種不同的方法來(lái)解決缺失值問(wèn)題，哪種方法最適合特定情況取決于數(shù)據(jù)和任務(wù)。

讓我們首先創(chuàng)建一個(gè)示例數(shù)據(jù)框并向其中添加一些缺失值。

我們有一個(gè)10行6列的數(shù)據(jù)框。

下一步是添加缺失值。我們將使用loc方法選擇行和列組合，并使它們等于np.nan，這是標(biāo)準(zhǔn)缺失值表示之一。

這是數(shù)據(jù)框現(xiàn)在的樣子：

item和measure1列具有整數(shù)值，但由于缺少值，它們已被向上轉(zhuǎn)換為浮點(diǎn)數(shù)。

在Pandas1.0中，引入了整數(shù)類(lèi)型缺失值表示()，因此我們也可以在整數(shù)列中包含缺失值。但是，我們需要顯式聲明數(shù)據(jù)類(lèi)型。

盡管有缺失值，我們現(xiàn)在可以保留整數(shù)列。

現(xiàn)在我們有一個(gè)包含一些缺失值的數(shù)據(jù)框。是時(shí)候看看處理它們的不同方法了。

1.刪除有缺失值的行或列

一種選擇是刪除包含缺失值的行或列。

使用默認(rèn)參數(shù)值，dropna函數(shù)會(huì)刪除包含任何缺失值的行。數(shù)據(jù)框中只有一行沒(méi)有任何缺失值。同時(shí)我們還可以選擇使用軸參數(shù)刪除至少有一個(gè)缺失值的列。

2.刪除只有缺失值的行或列

另一種情況是有一列或一行充滿(mǎn)缺失值。這樣的列或行是無(wú)用的，所以我們可以刪除它們。

dropna函數(shù)也可以用于此目的。我們只需要改變how參數(shù)的值。

3.根據(jù)閾值刪除行或列

基于any或all的刪除并不總是最好的選擇。我們有時(shí)需要?jiǎng)h除具有大量或一些缺失值的行或列。

我們不能將這樣的表達(dá)式分配給how參數(shù)，但Pandas為我們提供了一種更準(zhǔn)確的方法，即thresh參數(shù)。

例如，thresh=4意味著至少有4個(gè)非缺失值的行將被保留。其他的將被丟棄。

我們的數(shù)據(jù)框有6列，因此將刪除具有3個(gè)或更多缺失值的行。

只有第三行有2個(gè)以上的缺失值，所以它是唯一一個(gè)被丟棄的。

4.基于特定的列子集刪除

在刪除列時(shí)，我們可以只考慮部分列。

dropna函數(shù)的子集參數(shù)用于此任務(wù)。例如，我們可以刪除在度量1或度量2列中有缺失值的行，如下所示：

到目前為止，我們已經(jīng)看到了根據(jù)缺失值刪除行或列的不同方法。放棄并不是唯一的選擇。在某些情況下，我們可能會(huì)選擇填充缺失值而不是刪除它們。

事實(shí)上，填充可能是更好的選擇，因?yàn)閿?shù)據(jù)意味著價(jià)值。如何填補(bǔ)缺失值，當(dāng)然取決于數(shù)據(jù)的結(jié)構(gòu)和任務(wù)。

fillna函數(shù)用于填充缺失值。

5.填充一個(gè)常數(shù)值

我們可以選擇一個(gè)常量值來(lái)替代缺失值。如果我們只給fillna函數(shù)一個(gè)常量值，它將用該值替換數(shù)據(jù)框中的所有缺失值。

更合理的方法是為不同的列確定單獨(dú)的常量值。我們可以將它們寫(xiě)入字典并將其傳遞給values參數(shù)。

item列中的缺失值替換為1014，而measure1列中的缺失值替換為0。

6.填充聚合值

另一種選擇是使用聚合值，例如平均值、中位數(shù)或眾數(shù)。

下面這行代碼用該列的平均值替換了第2列中的缺失值。

7.替換為上一個(gè)或下一個(gè)值

可以用該列中的前一個(gè)或下一個(gè)值替換該列中的缺失值。在處理時(shí)間序列數(shù)據(jù)時(shí)，此方法可能會(huì)派上用場(chǎng)。假設(shè)您有一個(gè)包含每日溫度測(cè)量值的數(shù)據(jù)框，但缺少一天的溫帶。最佳解決方案是使用第二天或前一天的溫度。

fillna函數(shù)的方法參數(shù)用于執(zhí)行此任務(wù)。

bfill向后填充缺失值，以便將它們替換為下一個(gè)值?？纯醋詈笠粰凇Ｈ笔е当惶鎿Q到第一行。這可能不適合某些情況。

值得慶幸的是，我們可以限制用這種方法替換的缺失值的數(shù)量。如果我們將limit參數(shù)設(shè)置為1，那么一個(gè)缺失值只能用它的下一個(gè)值替換。后面的第二個(gè)或第三個(gè)值將不會(huì)用于替換。

8.使用另一個(gè)數(shù)據(jù)框填充

我們還可以將另一個(gè)數(shù)據(jù)幀傳遞給fillna函數(shù)。新數(shù)據(jù)框中的值將用于替換當(dāng)前數(shù)據(jù)框中的缺失值。

將根據(jù)行索引和列名稱(chēng)選擇值。例如，如果item列的第二行中存在缺失值，則將使用新數(shù)據(jù)框中相同位置的值。

以上是具有相同列的兩個(gè)數(shù)據(jù)框。第一個(gè)沒(méi)有任何缺失值。

我們可以使用fillna函數(shù)如下：

df中的值將替換為df2