經過一段時間的整理,本期將分享我認為比較常規的100個實用函數,這些函數大致可以分為六類,分別是統計匯總函數、數據清洗函數、數據篩選、繪圖與元素級運算函數、時間序列函數和其他函數。
一、統計匯總函數數據分析過程中,必然要做一些數據的統計匯總工作,那么對于這一塊的數據運算有哪些可用的函數可以幫助到我們呢?具體看如下幾張表。
import pandas as pd import numpy as np x = pd.Series(np.random.normal(2,3,1000)) y = 3*x + 10 + pd.Series(np.random.normal(1,2,1000)) # 計算x與y的相關系數 print(x.corr(y)) # 計算y的偏度 print(y.skew()) # 計算y的統計描述值 print(x.describe()) z = pd.Series([‘A’,‘B’,‘C’]).sample(n = 1000, replace = True) # 重新修改z的行索引 z.index = range(1000) # 按照z分組,統計y的組內平均值 y.groupby(by = z).aggregate(np.mean)
# 統計z中個元素的頻次 print(z.value_counts()) a = pd.Series([1,5,10,15,25,30]) # 計算a中各元素的累計百分比 print(a.cumsum() / a.cumsum()[a.size - 1])
二、數據清洗函數同樣,數據清洗工作也是必不可少的工作,在如下表格中羅列了常有的數據清洗的函數。
x = pd.Series([10,13,np.nan,17,28,19,33,np.nan,27]) #檢驗序列中是否存在缺失值 print(x.hasnans) # 將缺失值填充為平均值 print(x.fillna(value = x.mean())) # 前向填充缺失值 print(x.ffill())
income = pd.Series([‘12500元’,‘8000元’,‘8500元’,‘15000元’,‘9000元’]) # 將收入轉換為整型 print(income.str[:-1].astype(int)) gender = pd.Series([‘男’,‘女’,‘女’,‘女’,‘男’,‘女’]) # 性別因子化處理 print(gender.factorize()) house = pd.Series([‘大寧金茂府 | 3室2廳 | 158.32平米 | 南 | 精裝’, ‘昌里花園 | 2室2廳 | 104.73平米 | 南 | 精裝’, ‘紡大小區 | 3室1廳 | 68.38平米 | 南 | 簡裝’]) # 取出二手房的面積,并轉換為浮點型 house.str.split(‘|’).str[2].str.strip().str[:-2].astype(float)
三、數據篩選數據分析中如需對變量中的數值做子集篩選時,可以巧妙的使用下表中的幾個函數,其中部分函數既可以使用在序列身上,也基本可以使用在數據框對象中。
np.random.seed(1234) x = pd.Series(np.random.randint(10,20,10)) # 篩選出16以上的元素 print(x.loc[x 》 16]) print(x.compress(x 》 16)) # 篩選出13~16之間的元素 print(x[x.between(13,16)]) # 取出最大的三個元素 print(x.nlargest(3)) y = pd.Series([‘ID:1 name:張三 age:24 income:13500’, ‘ID:2 name:李四 age:27 income:25000’, ‘ID:3 name:王二 age:21 income:8000’]) # 取出年齡,并轉換為整數 print(y.str.findall(‘age:(d+)’).str[0].astype(int))
四、繪圖與元素級函數
np.random.seed(123) import matplotlib.pyplot as plt x = pd.Series(np.random.normal(10,3,1000)) # 繪制x直方圖 x.hist() # 顯示圖形 plt.show() # 繪制x的箱線圖 x.plot(kind=‘box’) plt.show() installs = pd.Series([‘1280萬’,‘6.7億’,‘2488萬’,‘1892萬’,‘9877’,‘9877萬’,‘1.2億’]) # 將安裝量統一更改為“萬”的單位 def transform(x): if x.find(‘億’) != -1: res = float(x[:-1])*10000 elif x.find(‘萬’) != -1: res = float(x[:-1]) else: res = float(x)/10000 return res installs.apply(transform)
五、時間序列函數
六、其他函數
import numpy as np import pandas as pd np.random.seed(112) x = pd.Series(np.random.randint(8,18,6)) print(x) # 對x中的元素做一階差分 print(x.diff()) # 對x中的元素做降序處理 print(x.sort_values(ascending = False)) y = pd.Series(np.random.randint(8,16,100)) # 將y中的元素做排重處理,并轉換為列表對象 y.unique().tolist()
原文標題:100 個 pandas 數據分析函數總結
文章出處:【微信公眾號:數據分析與開發】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
函數
+關注
關注
3文章
4338瀏覽量
62752
原文標題:100 個 pandas 數據分析函數總結
文章出處:【微信號:DBDevs,微信公眾號:數據分析與開發】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論