在講課程《數(shù)據(jù)結(jié)構(gòu)和算法》的過程中，我給了學生們一個參考例程，希望他們能夠從程序中學到詞頻統(tǒng)計的方法。由于同學們底子比較薄弱，所以給出程序后，我希望同學們能夠認真的查閱程序中用到的每個函數(shù)，了解其用法，這樣才能真正的搞懂程序，遺憾的是我的學生只是完成了實驗報告，而程序中很多函數(shù)的用法和含義根本就沒搞清楚。這種學法是應付式的學法，我極不贊成這樣的學習方式。所以才會有了此系列文章。也許是底子弱，也許是不愛學。

面對學生不愛學或者說學習不刻苦的狀況，我也只能把這些好的代碼傳播到網(wǎng)上，讓更多人能夠借力學習。這也是我現(xiàn)在會更加專注網(wǎng)絡(luò)傳播文章的原因吧。有了詞頻統(tǒng)計程序，我們就可以在這個基礎(chǔ)之上進行擴展，寫出更復雜的程序。我就用這樣的事例來寫出了一個完整的系列文章，告訴大家如何從基礎(chǔ)學起，然后再逐步的完善和深入，寫出功能更強大的程序，這樣的過程走一遍，才算是真正的掌握知識，才能把別人的知識轉(zhuǎn)化為屬于自己的知識。寫這個系列耗時一個多月，大家看文章花了多長時間呢？有了階梯，希望大家能好好利用和珍惜。

文本分析對于通信工程專業(yè)的學生而言，只是牛刀小試，等到完成詞頻統(tǒng)計的算法后大家還可以沿這條路繼續(xù)深入，比如進行語音信號的識別。先進行信號中數(shù)字的識別，再進行語義識別。這些可比字符的識別難多了。當下，文本信息已經(jīng)退居次席，人們更多在意的是語音和視頻。因此，語音信號和視頻信號處理是當下的技術(shù)熱點，讓我們一起由淺入深的學習吧。本課題可以作為畢業(yè)設(shè)計的題目，可以根據(jù)個人能力適當增加難度。

詞頻統(tǒng)計主要分為英文詞頻統(tǒng)計和中文詞頻統(tǒng)計。英文詞頻統(tǒng)計很簡單，可以借助MATLAB自帶函數(shù)進行斷句，然后再進行統(tǒng)計即可。中文詞頻統(tǒng)計相對復雜一些。關(guān)鍵在于如何使用合適的語料庫和如何精準匹配詞語。比如句中出現(xiàn)了“人工智能”四字詞，我們應該這四個字視為一個詞，而不能分析成為兩個詞。再者出現(xiàn)生僻詞語怎么辦？慢慢來，我們先從簡單的學起。依舊是老規(guī)矩，先看代碼！代碼中的注釋非常清晰，當看完程序后也就明了了。

原文標題：大學畢業(yè)設(shè)計一席談之四十八 詞頻統(tǒng)計(1)

文章出處：【微信公眾號：通信工程師專輯】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。