一 : 科普一分鐘

盡管進(jìn)程間是獨(dú)立存在的,不能相互訪問彼此的數(shù)據(jù),但是在python中卻存在進(jìn)程間的通信方法,來幫助我們可以利用多核CPU也能共享數(shù)據(jù).

對于多線程其實也是存在一些缺點的,不是任何場景我們都用多線程來完成并發(fā)處理任務(wù),因為CPU操作線程,所以線程多了,對于計算機(jī)的資源消耗是十分嚴(yán)重的,多線程適合IO操作密集的任務(wù),那么怎么辦呢, 協(xié)程的出現(xiàn)幫我們解決了這個問題 ,協(xié)程是比線程更小的一個單位,但是它的作用卻不容忽視.

二 : 多進(jìn)程

1.多進(jìn)程簡單了解 :

進(jìn)程之間是獨(dú)立的,是操作系統(tǒng)自己來維護(hù)和管理的,python通過C接口起了一個進(jìn)程,多進(jìn)程可以充分的利用多核CPU

2. 多進(jìn)程的創(chuàng)建 :

3. 多進(jìn)程間的通信 :

進(jìn)程間獨(dú)立,如果想相互訪問,就必須有一個中間翻譯,下面提供了幾種進(jìn)程間通信的方法。

進(jìn)程Queue

解析 ：

Queue通信,相當(dāng)于父進(jìn)程賦值了一個Queue給子進(jìn)程,子進(jìn)程在這個Queue放好數(shù)據(jù)后,序列化一個中間翻譯,然后在反序列化返回給父進(jìn)程,

因為進(jìn)程之間內(nèi)存獨(dú)立,不能傳遞對象傳遞的其實就是序列化的數(shù)據(jù)

Pipe

多進(jìn)程還有一種數(shù)據(jù)傳遞方式叫管道原理和Queue相同

4. 進(jìn)程鎖

雖然內(nèi)存獨(dú)立,但是即使是打印也會造成打印數(shù)據(jù)錯誤,為了防止進(jìn)程間搶屏幕打印輸出,加了進(jìn)程鎖。

5. 進(jìn)程池

創(chuàng)建一個子進(jìn)程相當(dāng)于copy一份父進(jìn)程內(nèi)存數(shù)據(jù),為了防止頻繁創(chuàng)建,導(dǎo)致內(nèi)存不足,所以有了進(jìn)程池作為限制。

三 : 協(xié)程

1. 協(xié)程的簡單了解 ：

協(xié)程又稱微線程,coroutne,協(xié)程是一種用戶態(tài)的輕量級線程。通俗點講就是周末我在家里休息,假如我先洗漱,再煮飯,再下載電影看會很慢,用了協(xié)程的效果就好比,我在下載電影的時候去點火煮飯,此時我馬上洗漱,等我洗漱好了,飯也好了,吃完飯了,電影下好了,我可以看了。

2. 協(xié)程的創(chuàng)建和使用：

gevent是一個三方庫,可以輕松通過gevent實現(xiàn)并發(fā)同步或者異步編程。

解析:嘗試運(yùn)行發(fā)現(xiàn),運(yùn)行時間為Sleep最長的時間,也就是說協(xié)程能繞過IO,進(jìn)行執(zhí)行,極大的提高了效率.

IO(從硬盤上讀一塊數(shù)據(jù),從網(wǎng)絡(luò)讀數(shù)據(jù),從內(nèi)存里讀一塊數(shù)據(jù)) 操作不占用CPU,計算占用CPU

3. 協(xié)程簡單爬網(wǎng)頁 :

4. 協(xié)程實現(xiàn)socketServer:

通過協(xié)程,我們可以寫出一個socketServer,真正socketServer的底層是用多線程來實現(xiàn),我們用寫成寫出的效率很高,而且非常節(jié)省內(nèi)存

四 : 總結(jié)

協(xié)程的優(yōu)點：

線程在單線程下切換,減少資源消耗

無需原子操作控制流,簡化編程模型

高并發(fā),高擴(kuò)展,低成本.

無論是多進(jìn)程,多線程還是協(xié)程在不同的場景用不同的模型才能高效的完成任務(wù).