最大似然估計學習總結------MadTurtle

　　1. 作用

　　在已知試驗結果（即是樣本）的情況下，用來估計滿足這些樣本分布的參數，把可能性最大的那個參數作為真實的參數估計。

　　2. 離散型

　　設為離散型隨機變量，為多維參數向量，如果隨機變量相互獨立且概率計算式為P{，則可得概率函數為P{}=，在固定時，上式表示的概率；當已知的時候，它又變成的函數，可以把它記為，稱此函數為似然函數。似然函數值的大小意味著該樣本值出現的可能性的大小，既然已經得到了樣本值，那么它出現的可能性應該是較大的，即似然函數的值也應該是比較大的，因而最大似然估計就是選擇使達到最大值的那個作為真實的估計。

　　3. 連續型

　　設為連續型隨機變量，其概率密度函數為，為從該總體中抽出的樣本，同樣的如果相互獨立且同分布，于是樣本的聯合概率密度為。大致過程同離散型一樣。

　　4. 關于概率密度（PDF）

　　我們來考慮個簡單的情況（m=k=1），即是參數和樣本都為1的情況。假設進行一個實驗，實驗次數定為10次，每次實驗成功率為0.2，那么不成功的概率為0.8，用y來表示成功的次數。由于前后的實驗是相互獨立的，所以可以計算得到成功的次數的概率密度為：

　　= 其中y

　　由于y的取值范圍已定，而且也為已知，所以圖1顯示了y取不同值時的概率分布情況，而圖2顯示了當時的y值概率情況。

　　那么在［0，1］之間變化而形成的概率密度函數的集合就形成了一個模型。

　　5. 最大似然估計的求法

　　由上面的介紹可以知道，對于圖1這種情況y=2是最有可能發生的事件。但是在現實中我們還會面臨另外一種情況：我們已經知道了一系列的觀察值和一個感興趣的模型，現在需要找出是哪個PDF（具體來說參數為多少時）產生出來的這些觀察值。要解決這個問題，就需要用到參數估計的方法，在最大似然估計法中，我們對調PDF中數據向量和參數向量的角色，于是可以得到似然函數的定義為：

　　該函數可以理解為，在給定了樣本值的情況下，關于參數向量取值情況的函數。還是以上面的簡單實驗情況為例，若此時給定y為7，那么可以得到關于的似然函數為：

　　繼續回顧前面所講，圖1，2是在給定的情況下，樣本向量y取值概率的分布情況；而圖3是圖1，2橫縱坐標軸相交換而成，它所描述的似然函數圖則指出在給定樣本向量y的情況下，符合該取值樣本分布的各種參數向量的可能性。若相比于，使得y=7出現的可能性要高，那么理所當然的要比更加接近于真正的估計參數。所以求的極大似然估計就歸結為求似然函數的最大值點。那么取何值時似然函數最大，這就需要用到高等數學中求導的概念，如果是多維參數向量那么就是求偏導。

　　主要注意的是多數情況下，直接對變量進行求導反而會使得計算式子更加的復雜，此時可以借用對數函數。由于對數函數是單調增函數，所以與具有相同的最大值點，而在許多情況下，求的最大值點比較簡單。于是，我們將求的最大值點改為求的最大值點。

　　若該似然函數的導數存在，那么對關于參數向量的各個參數求導數（當前情況向量維數為1），并命其等于零，得到方程組：

　　可以求得時似然函數有極值，為了進一步判斷該點位最大值而不是最小值，可以繼續求二階導來判斷函數的凹凸性，如果的二階導為負數那么即是最大值，這里再不細說。

　　還要指出，若函數關于的導數不存在，我們就無法得到似然方程組，這時就必須用其它的方法來求最大似然估計值，例如用有界函數的增減性去求的最大值點