機(jī)器學(xué)習(xí)是大數(shù)據(jù)、人工智能的核心，是從事這個(gè)領(lǐng)域的必經(jīng)之路。但是懂得算法還遠(yuǎn)遠(yuǎn)不能體現(xiàn)機(jī)器學(xué)習(xí)的價(jià)值所在。如果你是開發(fā)者，方便的機(jī)器學(xué)習(xí)，為你涉入該領(lǐng)域提供了便捷。不過(guò)，能夠確定一套高商業(yè)價(jià)值的模型，你需要很長(zhǎng)的積淀。總結(jié)八個(gè)機(jī)器學(xué)習(xí)的核心能力以供把控方向。

1、問題模型化能力

機(jī)器學(xué)習(xí)的最終目的是實(shí)現(xiàn)某種問題的利益最大化，所有實(shí)際問題最終都會(huì)轉(zhuǎn)化為一個(gè)數(shù)據(jù)科學(xué)的優(yōu)化問題，那么就需要你有較好的行業(yè)背景認(rèn)識(shí)。盡管海量數(shù)據(jù)會(huì)大量縮小你對(duì)行業(yè)熟知知識(shí)的要求，但數(shù)據(jù)往往不全是海量的，且熟悉的行業(yè)背景知識(shí)可大大提高效率。

2、復(fù)雜數(shù)據(jù)結(jié)構(gòu)化能力

喂入算法是數(shù)據(jù)是設(shè)計(jì)好的，結(jié)構(gòu)化了的數(shù)據(jù)，但實(shí)際數(shù)據(jù)往往有各種來(lái)源，如圖像數(shù)據(jù)、文本數(shù)據(jù)、空間、事件序列。..故而合理的結(jié)構(gòu)化數(shù)據(jù)的能力是很有必要的。

3、數(shù)據(jù)量、數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)合理預(yù)處理的能力

1）數(shù)據(jù)量VS異常值

所謂異常值，即不是缺失值，也不是錯(cuò)誤值，同樣是真實(shí)情況的表現(xiàn)，之所以覺得一個(gè)數(shù)據(jù)異常，是因?yàn)槲覀兡軌蛴玫降臄?shù)據(jù)量不夠大，無(wú)法準(zhǔn)確地代表整個(gè)此類數(shù)據(jù)的分布。故當(dāng)數(shù)據(jù)量足夠大時(shí)，異常值不再異常，且提升了數(shù)據(jù)的覆蓋面，如個(gè)性化推薦。

2）數(shù)據(jù)平衡VS采樣

如果數(shù)據(jù)分布均衡，應(yīng)盡可能避免采樣；因?yàn)樯舷虏蓸佣加衅洳焕绊懀喜蓸硬坏卯?dāng)，使得數(shù)據(jù)中存在大量相同的數(shù)據(jù)，會(huì)導(dǎo)致模型過(guò)擬合；下采樣則必然減少數(shù)據(jù)信息量。

數(shù)據(jù)不平衡時(shí)，常見的處理方式有：

簡(jiǎn)單粗暴地復(fù)制小樣本數(shù)量的樣本——容易過(guò)擬合；

調(diào)整權(quán)重——其效果基本近似于上一種；

隨機(jī)森林，使每棵樹訓(xùn)練時(shí)的樣本均衡；

觀察導(dǎo)致樣本不均衡的因素，或可在該因素下先分類，再分別訓(xùn)練模型。

4、理解特征、并可以有效轉(zhuǎn)換特征的能力

海量數(shù)據(jù)特征中，必然有很多特征存在相關(guān)性，常常通過(guò)降維有效合并相關(guān)數(shù)據(jù)，這樣，在防止了過(guò)擬合的同時(shí)，也緩解了計(jì)算機(jī)的負(fù)擔(dān)；

有時(shí)特征經(jīng)過(guò)轉(zhuǎn)換后，預(yù)測(cè)效果更佳。如連續(xù)變量離散化、重新劃分離散區(qū)間。..。

也可對(duì)特征重要性排序，繪制特征數(shù)量增加與模型預(yù)測(cè)結(jié)果的關(guān)系曲線。

5、選擇適當(dāng)算法的能力

1） 算法不是越復(fù)雜越好的，記住：同樣的數(shù)據(jù)下，當(dāng)所有模型擬合效果相近時(shí)，復(fù)雜度越小的算法，帶來(lái)不必要的麻煩越小，可解釋性也相對(duì)更高。

2） 在相同算法下，訓(xùn)練的效果會(huì)隨著數(shù)據(jù)的增加而增加，但超過(guò)一定程度后，訓(xùn)練效果將趨于穩(wěn)定，此時(shí)應(yīng)該考慮更換復(fù)雜度較高的算法。

可以參考下圖為數(shù)據(jù)選擇合理的算法。

6、優(yōu)化損失函數(shù)的能力

當(dāng)數(shù)據(jù)分布不均、或需要為某個(gè)類別增加權(quán)重時(shí)，就需要調(diào)整損失函數(shù)的權(quán)值參數(shù)，或增加懲罰項(xiàng)。如通過(guò)在特定的錯(cuò)誤類型上，增加更多的懲罰來(lái)解釋它們的權(quán)重

7、模型訓(xùn)練與模型融合的能力

想要訓(xùn)練出一個(gè)好的模型參數(shù)也不簡(jiǎn)單，最好對(duì)算法參數(shù)有較深的理解。可以使用柵格搜索（GridSearchCV）輔助調(diào)參，但真正得到的好的參數(shù)，還需要與你長(zhǎng)期的經(jīng)驗(yàn)相結(jié)合。

有時(shí)單一的模型不能很好的擬合數(shù)據(jù)，此時(shí)可以將多個(gè)模型融合做訓(xùn)練，常見的模型融合有Boosting、Bagging兩種。典型的如Adaboost、隨機(jī)森林

8、區(qū)分經(jīng)驗(yàn)誤差與泛化誤差

訓(xùn)練集上的效果不能代表實(shí)際效果，要得到好的實(shí)際預(yù)測(cè)效果，及減小泛化誤差。交叉驗(yàn)證可以實(shí)現(xiàn)這一目的，不過(guò)最好還要準(zhǔn)備一套測(cè)試數(shù)據(jù)來(lái)驗(yàn)證。通俗理解：交叉驗(yàn)證是高考前的各種模考，而最終測(cè)試數(shù)據(jù)的結(jié)果就是高考結(jié)果。

此外可以使用正則化來(lái)減小泛化誤差。