簡介

提示和技巧總是非常有用的，在編程領域更是如此。有時候，小小的黑科技可以節(jié)省你大量的時間和精力。一個小的快捷方式或附加組件有時會是天賜之物，可以成為實用的效率助推器。所以，我在這里介紹下自己編程時最喜歡使用的一些提示和技巧，在這篇文章中匯總起來呈現(xiàn)給大家。有些可能是大家熟悉的，而有些可能是新鮮的，我相信它們會為你下一次處理數(shù)據(jù)分析的項目時提供便利。

1.預覽Pandas中的數(shù)據(jù)框數(shù)據(jù)（Dataframe）

分析預覽（profiling）是一個幫助我們理解數(shù)據(jù)的過程，在Python中Pandas Profiling 是可以完成這個任務的一個工具包，它可以簡單快速地對Pandas 數(shù)據(jù)框進行搜索性數(shù)據(jù)分析。Pandas中df.describe()和df.info()函數(shù)通常可以實現(xiàn)EDA過程的第一步，但如果只是給出非常基礎的數(shù)據(jù)預覽并不能對分析那些大型的數(shù)據(jù)集提供幫助。另一方面來看，Pandas Profiling函數(shù)能通過一行代碼來展示出大量的信息，而在交互式HTML報告中也是這樣。

對于一個給定的數(shù)據(jù)集，Pandas Profiling 工具包將會計算出下面的統(tǒng)計信息：

由pandas profiling包算出的統(tǒng)計信息

代碼示例：

安裝

Python2.x的版本中，運用pip或conda安裝pandas-profiling資源包：
pip install pandas-profiling
or
conda install -c anaconda pandas-profiling

使用

現(xiàn)在用一個古老的泰坦尼克數(shù)據(jù)集來演示多功能python profiler的結(jié)果：
#importing the necessary packages
import pandas as pd ##使用pandas資源包
import pandas_profiling ##使用新安裝的pandas profiling資源包
df = pd.read_csv('titanic/train.csv') ##讀取數(shù)據(jù)形成數(shù)據(jù)框
pandas_profiling.ProfileReport(df) ##使用pandas profiling分析數(shù)據(jù)

這一行就是你需要在jupyter notebook中形成數(shù)據(jù)分析報告所需的全部代碼。這個數(shù)據(jù)報告十分詳細，包括了所有必要的圖表。

圖1.1

這個報告也可以用下面的代碼形成交互HTML文件（interactive HTML file）導出：
profile = pandas_profiling.ProfileReport(df)
profile.to_file(outputfile="Titanic data profiling.html") ##形成Titanic data profiling.html網(wǎng)頁

圖1.2

2.Pandas圖表(Plot)的交互性

Pandas中有一個內(nèi)置的.plot()函數(shù)作為數(shù)據(jù)框(Dataframe)的一部分，但因為這個函數(shù)呈現(xiàn)的可視化并不是交互的，這使它的功能沒那么吸引人。而且，使用pandas.DataFrame.plot（）函數(shù)繪制圖表也并不容易。如果我們想要在沒有對代碼進行重大修改的情況下用pandas繪制交互式圖表要怎么辦？嗯，可以通過Cufflinks資源包來幫助你完成這一目的。

Cufflinks資源包將功能強大的plotly和靈活易用的pandas結(jié)合，非常便于繪圖。現(xiàn)在我們來看看怎么安裝和在pandas中使用這個資源包。

代碼示例：

安裝

Python2.x的版本中，使用pip安裝plotly和cufflink：
pip install plotly # Plotly is a pre-requisite before installing cufflinks(plotly先于cufflinks安裝)
pip install cufflinks

使用

調(diào)用方法：
#importing Pandas
import pandas as pd ##使用pandas資源包
#importing plotly and cufflinks in offline mode
import cufflinks as cf ##使用cufflinks 和plotly資源包
import plotly.offline
cf.go_offline() ##使用cufflink包中的函數(shù)
cf.set_config_file(offline=False, world_readable=True)

下面來看一下泰坦尼克數(shù)據(jù)集所展現(xiàn)的魔力：
df.iplot()

圖2.1

圖2.2

右邊的可視化展示的是靜態(tài)的線狀圖，而左邊的圖是交互式的，并且更加詳細，兩個圖在代碼上沒有重大的變化。

Github的鏈接中將會有更多的示例：
https://github.com/santosjorge/cufflinks/blob/master/Cufflinks%20Tutoria...

3.一點點魔法

Magic命令是Jupyter Notebook中的一組便捷功能，它們旨在解決數(shù)據(jù)分析中一些常見的問題。你可以用%Ismagic來查閱所有的Magic 命令。

上圖列舉了所有可用的Magic 函數(shù)

Magic命令有兩大類：行magic命令（line magics），以單個% 字符為前綴，單行輸入操作；單元magics命令（cell magics），以雙%% 字符作為前綴，可以在多行輸入操作。如果設置為1，我們使用magic 函數(shù)時不需要鍵入%。

下面讓我們來看一下，在常見的數(shù)據(jù)分析任務中一些可能會用到的命令。

% pastebin

% pastebin將代碼上傳到Pastebin并返回一個鏈接。Pastebin是一個線上內(nèi)容托管服務，我們可以在上面存儲純文本，如源代碼片段，所形成的鏈接也可以分享給他人。事實上，Github gist也類似于pastebin，只是它帶有版本控制。

代碼示例：

來看一下這個file.py的python代碼文件中的內(nèi)容：
#file.py
def foo(x):
return x

在Jupyter Notebook中使用% pastebin形成一個pastebin的鏈接。

%matplotlib notebook

％matplotlib inline函數(shù)用于在Jupyter筆記本中呈現(xiàn)靜態(tài)matplotlib圖。我們可以嘗試用notebook來代替inline得到可輕松地縮放和調(diào)整大小的繪圖，但要確保在套用matplotlib資源包之前調(diào)用該函數(shù)。

%matplotlib inline vs %matplotlib notebook

%run

%run函數(shù)用于jupyter notebook中運行一個python腳本文件。

%%writefile

%% writefile將執(zhí)行單元的內(nèi)容寫入文件。下面的這段代碼將寫入名為foo.py的文件并保存在當前目錄中。

%%latex

%% latex函數(shù)將單元格內(nèi)容以LaTeX的形式呈現(xiàn)。它對于在單元格中編寫數(shù)學公式和方程很有用。

4.發(fā)現(xiàn)并減少錯誤

交互式調(diào)試器(interactive debugger)也是一個Magic函數(shù)，但我必須給它歸個類。如果你在運行代碼單元出現(xiàn)異常時，可以在新行中鍵入％debug運行。這將打開一個交互式調(diào)試環(huán)境，它將您告訴你代碼發(fā)生異常的位置。你還可以檢查程序中分配的變量值，并在此處執(zhí)行操作。點擊q可退出調(diào)試器。

5. 輸出也可如此美觀

如果你想生成美觀的數(shù)據(jù)結(jié)構(gòu)，pprint是首選的模塊。它在輸出字典數(shù)據(jù)或JSON數(shù)據(jù)時特別有用。下面來看一下print 和pprint輸出的一個例子：

6.讓提示更突出

可以在你的Jupyter Notebook中使用提示/注釋框來突出顯示任何重要的內(nèi)容。注釋的顏色取決于指定的提示類型。只需在代碼中加入需要突出顯示的內(nèi)容即可。

藍色提示框：注釋

代碼示例：

#提示框開頭
Tip: Use blue boxes (alert-info) for tips and notes.
If it’s a note, you don’t have to include the word “Note”.#提示框內(nèi)容

#提示框結(jié)尾

輸出結(jié)果：

黃色提示框：警告
代碼示例：

Example: Yellow Boxes are generally used to include additional examples or mathematical formulas.

輸出結(jié)果：

綠色提示框：成功

代碼示例：

Use green box only when necessary like to display links to related content.

輸出結(jié)果：

紅色提示框：高危

代碼示例：

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

輸出結(jié)果：

7.輸出一個執(zhí)行單元中的所有結(jié)果

下面來看一下Jupyter Notebook格中包含的幾行代碼：
In[1]: 10+5
11+6
Out[1]: 17

通常一個執(zhí)行單元只輸出最后一行的結(jié)果，而對于其他輸出我們需要添加print（）函數(shù)。好吧，事實證明我們可以通過在Jupyter Notebook開頭添加以下代碼來輸出每一行的結(jié)果：

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"

現(xiàn)在所有結(jié)果可以被一一輸出：
In[1]: 10+5
11+6
12+7
Out[1]: 15
Out[1]: 17
Out[1]: 19

如果要恢復成初始設定：

InteractiveShell.ast_node_interactivity = "last_expr"

8.使用‘i’選項運行Python腳本文件

在命令行中運行python腳本的典型方法是：python hello.py。但是，如果在運行相同的腳本文件時額外添加一個 -i，例如python -i hello.py，這會帶來更多好處。我們來看看是怎么回事：

首先，一旦程序結(jié)束，python不會退出編譯器。因此，我們可以檢查變量的值和程序中定義的函數(shù)的正確性。

其次，我們可以輕松地調(diào)用python調(diào)試器，因為我們?nèi)匀辉诰幾g器中：
import pdb
pdb.pm()

這將把我們帶到代碼發(fā)生異常的位置，然后我們可以去處理代碼。

源代碼鏈接：

http://www.bnikolic.co.uk/blog/python-running-cline.html

9.自動添加代碼注釋

Ctrl / Cmd + / 命令將自動注釋執(zhí)行單元中的選定行。再次點擊組合將取消注釋相同的代碼行。

10. 刪除容易恢復難

你有沒有不小心誤刪過Jupyter Notebook中的執(zhí)行單元呢？如果有，這里有一個可以撤消該刪除操作的快捷方式。

如果你誤刪了執(zhí)行單元的內(nèi)容，可以通過點擊CTRL/CMD+Z輕松恢復。

如果你想要恢復所刪除執(zhí)行單元的所有內(nèi)容，可以點擊ESC+Z 或者 EDIT > Undo Delete Cells

總結(jié)

在上文中，我列出了在自己在使用Python和Jupyter Notebook時所收集的重要技巧。我相信它們能幫助到你并讓你學以致用。到那時我們就可以快樂地寫代碼啦！

編輯：hfy