所以，數據清洗到底是在清洗些什麽？
通常來說，妳所獲取到的原始數據不能直接用來分析，因為它們會有各種各樣的問題，如包含無效信息，列名不規範、格式不壹致，存在重復值，缺失值，異常值等.....
本文會給大家介紹壹些Python中自帶的Pandas和NumPy庫進行數據清洗的實用技巧。
這是讀取數據的入門級命令，在分析壹個數據集的時候，很多信息其實是用不到的，因此，需要去除不必要的行或列。這裏以csv文件為例，在導入的時候就可以通過設置pd.read_csv()裏面的參數來實現這個目的。
先來感受壹下官方文檔中給出的詳細解釋，裏面的參數是相當的多，本文只介紹比較常用的幾個，感興趣的話，可以好好研究壹下文檔，這些參數還是非常好用的，能省去很多導入後整理的工作。
當原始數據的列名不好理解，或者不夠簡潔時，可以用.rename()方法進行修改。這裏我們把英文的列名改成中文，先創建壹個字典，把要修改的列名定義好，然後調用rename()方法。
數據默認的索引是從0開始的有序整數，但如果想把某壹列設置為新的索引，除了可以用read_csv()裏的參數index_col，還可以用.set_index()方法實現。
另外補充，如果數據經過刪除或結構調整後，我們可以重置索引，讓索引從0開始，依次排序。
字符串str操作是非常實用的，因為列中總是會包含不必要的字符，常用的方法如下：
str.lower() 是把大寫轉換成小寫，同理，str.upper()是把小寫轉換成大寫，將示例中用大寫字母表示的索引轉換成小寫。
設置首字母大寫
str.replace("a", "") 替換特定字符。這裏把列中的a去掉，替換成空字符。
去除字符串中的頭尾空格、以及\n \t。
str.split('x') 使用字符串中的'x'字符作為分隔符，將字符串分隔成列表。這裏將列中的值以'.'進行分割。
str.get() 選取列表中某個位置的值。接著上面分割後的結果，我們用str.get(0)取出列表中前壹個位置的數值，生成新的壹列。
str.contains() 判斷是否存在某個字符，返回的是布爾值。
str.find("-")檢測字符串中是否包含"-"，如果包含，則返回該子字符串開始位置的索引值;如果不包含，則返回-1。
學完基本的字符串操作方法，我們來看壹下如何結合NumPy來提高字符串操作的效率。
我們可以將Pandas中的.str()方法與NumPy的np.where函數相結合，np.where函數是Excel的IF()宏的矢量化形式，它的語法如下:
如果condition條件為真，則執行then，否則執行else。這裏的condition條件可以是壹個類數組的對象，也可以是壹個布爾表達式，我們也可以利用np.where函數嵌套多個條件進行矢量化計算和判斷。
接下來就要對列中的字符串進行整理，除了利用循環和.str()方法相結合的方式進行操作，我們還可以選擇用applymap()方法，它會將傳入的函數作用於整個DataFrame所有行列中的每個元素。
先定義函數get_citystate(item)，功能是只提取元素中的有效信息。然後，我們將這個函數傳入applymap()，並應用於df3，看起來是不是幹凈多了，結果如下：
如果妳沒聽說過它的話，我不得強調它的重要性。輸入下面的命令：
妳會發現df1已經發生了改變。這是因為df2 = df1並不是生成壹個df1的復制品並把它賦值給df2，而是設定壹個指向df1的指針。所以只要是針對df2的改變，也會相應地作用在df1上。為了解決這個問題，妳既可以這樣做：
也可以這樣做：
這個命令用於檢查值的分布。妳想要檢查下“c”列中出現的值以及每個值所出現的頻率，可以使用：
下面是壹些有用的小技巧/參數：
lsin () 用於過濾數據幀。Isin () 有助於選擇特定列中具有特定（或多個）值的行。
在SQL中我們可以使用 SELECT * FROM … WHERE ID in (‘A001’,‘C022’, …)來獲取含有指定ID的記錄。如果妳也想在Pandas中做類似的事情，妳可以使用：
select_dtypes() 的作用是，基於 dtypes 的列返回數據幀列的壹個子集。這個函數的參數可設置為包含所有擁有特定數據類型的列，亦或者設置為排除具有特定數據類型的列。
pivot_table( ) 也是 Pandas 中壹個非常有用的函數。如果對 pivot_table( ) 在 excel 中的使用有所了解，那麽就非常容易上手了。
如果需要計算樣本的缺失率分布，只要加上參數axis=1
分為分組中有重復值和無重復值兩種。無重復值的情況。
先按Mt列進行分組，然後對分組之後的數據框使用idxmax函數取出Count最大值所在的列，再用iloc位置索引將行取出。有重復值的情況
對ID進行分組之後再對分數應用rank函數，分數相同的情況會賦予相同的排名，然後取出排名為1的數據。
介紹兩種高效地組內排序的方法。
用這種方式轉換第三列會出錯，因為這列裏包含壹個代表 0 的下劃線，pandas 無法自動判斷這個下劃線。為了解決這個問題，可以使用 to_numeric() 函數來處理第三列，讓 pandas 把任意無效輸入轉為 NaN。
df = df.apply(pd.to_numeric, errors='coerce').fillna(0)
方法壹：只讀取切實所需的列，使用usecols參數
方法二：把包含類別型數據的 object 列轉換為 Category 數據類型，通過指定 dtype 參數實現。
希望本文的內容對大家的學習或者工作能帶來壹定的幫助，每天進步壹點點，加油~