為醫生提供智能輔助診斷服務，慧影AI應用系統采用遷移學習法實現肺結節早期智能篩查

人工智能已經進入到迅速發展的時代。為抓住發展機遇，國務院發布人工智能發展規劃，將其作為未來國家重要的發展戰略。作為其中的重要一項，智慧醫療被明確提出在未來的發展規劃，即加快人工智能創新應用，為公眾提供個性化、多元化、高品質的服務。

從醫療領域來看，醫學影像在醫療中的作用非常明顯。數據顯示，醫療臨床診斷中70%依靠醫學影像。因此，實現智能影像識別，成為建立快速、精準、智能醫療體系中的重要一環。

獵云網（微信：ilieyun）近日接觸到一套應用于醫學影像診斷上的人工智能解決方案——“慧影AI應用系統”，其主要通過機器學習對影像進行智能輔助診斷。數據顯示，在診斷準確率上，該系統的肺結節檢出率能夠高達90%以上。目前慧影AI應用系統已經應用于部分醫院。

一、采用Tensortflow核心算法構建競爭力（產業智能官：不重復制造“輪子”，基礎框架直接拿來使用）

慧影AI應用系統由北京宏梓偉業科技發展有限公司獨立開發設計，公司是一家從事醫療信息化系統設計、研發及銷售的科技公司，前身是與東北大學、大連理工大學幾位博士生導師建立的工作室。目前，公司已經研發出醫院經營管理系統、電子簽名系統、生殖中心管理系統均已開始臨床使用。

宏梓偉業核心創始團隊人員專注于醫療相關軟件系統的開發與研究，擁有十幾年科研領域的研究背景，他們認為，利用AI技術進行醫療影像診斷能夠解決醫生當前的痛點，幫助臨床醫生高效地解決問題，于是，憑借在醫療領域積累的深厚經驗和結合團隊專業的科研背景，公司于今年研發了慧影AI應用系統。

慧影AI應用系統采用谷歌二代的人工智能架構Tensortflow，它是一個用于數值計算的開源軟件庫，具有高度靈活性、真正的可移植性、多語言支持和性能最優化四方面的特點。與其他開源庫相比，宏梓偉業采用Tensortflow開源庫，其原因在于人工智能、深度學習技術處于爆發期，算法升級迭代快，因此，公司基于自身的算法，選擇了可以部署在Windows系統和Linux系統的Tensortflow，而一般系統僅使用于Linux單系統。

目前，慧影AI應用系統已經獲得國家知識產權局授權（產業智能官：算法雖然是開源的，但是基于私有數據訓練出的模型也是私有的，此模型是企業核心競爭力，可以申請獲得國家知識產權。），可以正式應用到醫療領域。

二、依托兩大科技人才庫與醫療背景的支持，保證產品的研發水準（產業智能官：知識圖譜也好，神經網絡權重也罷，首先都是人類專家知識的數字化。）

將人工智能技術應用于醫療領域，能夠解決優質醫療資源不足和分配不均衡、醫療看病支出費用大的問題。同時，在醫學影像識別、疾病輔助診斷、外科手術等方面，人工智能可以輔助醫生，提高影像科醫生工作效率。在對于患者病歷數據的處理速度，準確度、穩定性方面，人工智能還可以輔助醫生幫助確診，對影像報告進行精確的量化。

據悉，截止今年8月份，國內已有80多家人工智能+醫療企業獲得融資，其中不乏巨頭的布局。在這條競爭賽道上，慧影AI應用系統具備自己的競爭優勢，除采用Tensortflow開源算法，能夠達到與合作廠商聯合開發應用到硬件設備中，形成捆綁銷售外；慧影AI應用系統還可應用于Linux系統和Windows系統，使得醫院等醫療機構對接起來更為簡便，更易于采購。（產業智能官：合作模式創新、銷售模式創新。AI產品化不僅僅是技術問題。）

另外，要提高影像診斷準確率，系統需要研究大量的臨床病例數據。宏梓偉業表示， 項目成立之初面臨數據來源難以及數據來源需要合法性的問題，為此，慧影AI應用系統在缺乏海量數據的基礎上，采用遷移學習的方法彌補不足，并通過這種學習方法達到了較高的準確性。（區塊鏈解決數據安全性問題，遷移學習解決數據量不夠問題。——發揮人類想象力和創造力吧 ，問題總能找到答案。）

在現有面向計算機視覺的深度學習算法基礎上，慧影AI應用系統還融入了解剖學與病理學先驗知識（還可以融入知識圖譜先驗知識），以一組影像序列做為整體目標對象，提高了檢測精度和，降低了假陽性的概率。

目前，該系統已經與臨床醫院進行深度合作，推出的第一項應用是肺結節早期智能篩查。慧影AI應用系統能從CT掃描中自動分割肺部，并自動標記疑似肺癌結節的組織結構位置，大小等信息，輔助醫生對醫學圖像進行分析，臨床醫生提高早期肺癌檢出率。

合作方面，慧影AI應用系統已經獲得東北大學人工智能實驗室、紐約大學AI實驗室兩大科技人才庫的支持。并與東軟集團股份有限公司等醫療上市公司以及央企事業單位達成合作。接下來，將繼續深入研究臨床病例數據，提高影像診斷準確率。

慧影AI應用系統團隊中已有三名博導，七名博士和碩士二十五人。其中，首席科學家、教授、博士生導師付沖現為IEEE會員，中國通信學會會員，中國計算機學會會員。2011年11月任東北大學信息科學與工程學院通信與信息系統研究所副所長。聯合創始人趙偉是慧影AI系統市場拓展負責人，曾有8年市場銷售經驗，5年B端醫療市場銷售經驗；聯合創始人王梓擁有五年醫療領域項目管理經驗。

項目正在尋求1200萬人民幣天使輪融資，計劃出讓8%的股份。資金主要用于與醫療機構合作上的數據獲取、技術研發、營銷等渠道。

項目：慧影AI應用系統 公司：北京宏梓偉業科技發展有限公司

本文來自獵云網，如若轉載，請注明出處：

人工智能如何更好的輔助醫生？Petuum研究自動生成醫療圖像報告

來源：機器之心

Petuum 專欄

作者：Baoyu Jing、Pengtao Xie、Eric Xing

機器之心編譯

在過去一年中，我們看到了很多某種人工智能算法在某個醫療檢測任務中 「超越」人類醫生的研究和報道，例如皮膚癌、肺炎診斷等。如何解讀這些結果？他們是否真正抓住醫療實踐中的痛點、解決醫生和病人的實際需要? 這些算法原型如何落地部署于數據高度復雜、碎片化、異質性嚴重且隱含錯誤的真實環境中？這些問題常常在很多「刷榜」工作中回避了。事實上，從最近 IBM Watson 和美國頂級醫療中心 MD Anderson 合作失敗的例子可以看出，人工智能對醫療來說更應關注的任務應該是如何幫助醫生更好地工作（例如生成醫療圖像報告、推薦藥物等），而非理想化地著眼于取代醫生來做診斷，并且繞開這個終極目標（暫且不論這個目標本身是否可行或被接受）之前各種必須的鋪墊和基礎工作。因此與人類醫生做各種形式對比的出發點本身有悖嚴肅的科學和工程評測原則。這些不從實際應用場景出發的研究，甚至無限放大人機PK，對人工智能研究者、 醫療從業者和公眾都是誤導。 

知名人工智能創業公司 Petuum 近期發表了幾篇論文，本著尊重醫療行業狀況和需求的研究思路， 體現出了一種務實風格，并直接應用于他們的產品。為更好地傳播人工智能與醫療結合的研究成果，同時為人工智能研究者和醫療從業者帶來更加實用的參考，機器之心和 Petuum 將帶來系列論文介紹。本文是該系列第一篇，介紹了如何使用機器學習自動生產醫療圖像報告，從而更好地輔助醫生做治療與診斷。

如今，放射學圖像和病理學圖像這樣的醫療圖像在醫院與診所已有普遍的應用，特別是在許多疾病的診斷與治療上，例如肺炎、氣胸、間質性肺病、心理衰竭等等。而這些疾病醫療圖像的閱讀與理解通常是由專業的醫療從業者完成。

但對缺乏經驗的放射科醫師或病理學家來說，特別是在鄉村地區工作的醫師，編寫醫療圖像報告更為艱難。對經驗豐富的醫師而言，編寫醫療圖像報告又過于乏味、耗時。總之，對二者而言編寫醫療圖像報告是件痛苦的事。

如此看來，能否使用機器學習自動生成醫療報告呢？為了做到這一點，我們需要解決多個挑戰。首先，一份完整的診斷報告包含多種不同的信息形式。如下圖 1 所示，胸腔 X 光照圖像報告包含 Impression 描述，通常是一句話；Findings 是一段描述；Tags 是一列關鍵詞。用一個統一的框架生成這樣的不同信息，技術上非常有挑戰。在這篇論文中，研究人員解決該問題的方法是建立一個多任務框架，把對標簽的預測當作多標簽分類任務，把長描述（例如生成 Impression 和 Findings）的生成當作文本生成任務。在此框架中，兩種任務共用同樣的 CNN，來學習視覺特征并聯合完成任務。

圖 1. 一個包含三部分信息的胸部 X 光報告示例。在 impression 部分，放射專家結合 Findings、病人臨床歷史及影像學研究的指導做出診斷。Findings 部分列出了影像學檢查中所檢測的身體各部分放射學觀察結果。Tags 部分給出了表示 Findings 核心信息的關鍵詞。這些關鍵詞使用醫學文本索引器（MTI）進行標識。

第二，醫療圖像報告通常更注重敘述異常發現，因為這樣能直接指出疾病、引導治療。但如何定位圖片中的病變區域并附上正確的描述非常困難。作者們解決該問題的方法是引入一種協同注意力機制（co-attention mechanism），它能同步關注圖像和預測到的標簽，并探索視覺與語義信息帶來的協同效應。

第三，通常醫療圖像的描述非常長，包含多個語句或段落。生成這樣的長文本非常重要。相比于直接采用單層 LSTM（難以建模長語句），作者們利用報告的合成特性采用了一種層級 LSTM 來生成長文本。結合協同注意力機制，層級 LSTM 首先生成高級主題，然后根據主題生成細致的描述。

總而言之，該論文的主要貢獻包括：

提出一種多任務學習框架，能同步預測標簽并生成文本描述；

介紹了一種協同注意力機制來定位異常區域，并生成相應的描述；

建立了一種層級 LSTM 來生成長語句、段落；

通過大量定量與定性的實驗展示該方法的有效性。

論文：On the Automatic Generation of Medical Imaging Reports

論文地址：https://arxiv.org/abs/1711.08195

摘要：醫學影像廣泛用于診斷和治療等醫療實踐中。通常專業醫師需要查看醫學影像，并寫文本報告來記錄發現。缺乏經驗的醫生寫報告容易出錯，且在醫患比例過低的國家，編寫報告會耗費大量時間。為了解決該問題，我們研究了醫學影像報告的自動生成系統，以幫助人類醫生更準確高效地寫報告。但目前該任務面臨多個挑戰。首先，完整的報告包含多種異質形式的信息，如用段落表示的發現和關鍵詞列表表示的標簽。第二，機器很難識別醫學影像中的異常區域，在此基礎上生成文本描述則更加困難。第三，報告通常比較長，包括多個段落。為了解決這些挑戰，我們（1）構建一個多任務學習框架，能夠同時執行標簽預測和段落生成；（2）提出一種協同注意力（co-attention）機制來定位異常區域，并生成描述；（3）開發一種分層 LSTM 模型用于生成長段落。最后我們展示了該方法在胸部 x 光和病理數據集上的有效性。

圖 2. 整個模型的結構與過程。其中 MLC 代表多標簽分類網絡，語義特征是預測標簽的詞向量。粗體標記的「calcified granuloma」和「granuloma」是協同注意力網絡關注的標簽。

3. 方法

在本章節中，我們將介紹具體使用的方法。以下簡要地介紹了整個方法的過程，各部分詳細的過程或理論請查看原論文。

一份完整的醫學影像報告通常包括非結構化的描述（以語句和段落的形式展示）和半結構化標簽（以關鍵字列表的形式展示），如上圖 1 所示。我們提出了一種多任務層級模型，該模型帶有協同注意力機制（co-attention）且能自動預測關鍵字并生成長段落。給定一張經過分割的圖像，我們使用一個 CNN 來學習這些圖像塊的視覺特征。然后再饋送這些視覺特征到多標簽分類網絡（MLC）以預測相關的標簽。

在標簽詞匯表中，每一個標簽由一個詞向量表征。若給定特定圖像一些預測的標簽，模型會檢索它們的詞嵌入向量以作為該圖像的語義特征。模型隨后將視覺特征和語義特征饋送到協同注意力（co-attention）模型以生成能同時捕獲視覺和語義信息的上下文向量。至此，編碼的過程就完成了，下面模型將從背景向量（context vector）開始解碼生成文本描述。

醫學影像的描述通常包含多條語句，并且每條語句都集中在一個特定的主題上。我們的模型利用這種組合結構以層級的方式生成報告：它首先生成一系列代表語句的高級主題向量，然后在根據這些主題向量生成一系列的語句（由單詞組成的序列）。具體來說，先將背景向量輸入到一個只有少量時間步的 Sentence LSTM 中，然后每一個背景向量就能生成一個主題向量。其中每個主題向量都表示一條語句的語義。隨后給定一個主題向量，Word LSTM 將以它為輸入生成一個單詞序列或語句。主題生成的終止條件由 Sentence LSTM 控制。

4. 實驗

我們使用以下文本生成評估手段（BLEU [13]、METEOR [4]、ROUGE [12] 和 CIDER [17]）度量段落生成（表 1 上半部分）和單語句生成（表 1 下半部分）的結果。

如表 1 上半部分所示，對于段落生成來講，使用單個 LSTM 解碼器的模型的表現明顯要差于使用層級 LSTM 解碼器的模型。

對于單語句生成（見表 1 下半部分）的結果來說，我們模型的控制變量版（Ours-Semantic-Only 和 Ours-Visual-Only）相較于當前最優的模型取得了有競爭力的分值。

表 1. 模型在 IU X-Ray 數據集（上半 部分）上生成段落的主要結果，以及在 PEIR Gross 數據集（下半部分）上生成單語句的結果。BLUE-n 表示最多使用 n-grams 的 BLUE 分值。

為了更好地理解模型檢測真實或潛在異常情況的能力，我們在表 2 中展示了描述正常情況與異常情況的語句，及它們所占的比率。

表 2. 描述圖像中正常情況和異常情況語句所占的比率。

圖 3. 協同注意力 、無注意力、軟注意力模型生成的段落圖示。劃線句子是檢測到異常情況的描述。第二個圖是胸部側面 x 光圖像。前兩個例子的結果是與真實報告相一致的，第三個出現了部分失敗，最底下的圖像完全失敗。這些圖像來自測試數據集

圖 4 展示了協同注意力的可視化。第一個特性是  Sentence LSTM 能夠關注圖像的不同區域和語句的不同標簽，并在不同的時間步上生成不同的主題。第二個特性是視覺注意力可以指引模型關注圖像的相關區域。

圖 4. 協同注意力在三個示例上的可視化。每個示例由四部分組成：（1）圖像和視覺注意力；（2）真實標簽，預測標簽以及預測標簽上的語義注意力；（3）生成的描述；（4）真實描述。對于語義注意力而言，注意力分數最高的三個標簽被突出顯示。加下劃線的標簽是在真實標簽中出現的標簽。

本文為機器之心經授權編譯

人工智能賽博物理操作系統

AI-CPS OS

“人工智能賽博物理操作系統”（新一代技術+商業操作系統“AI-CPS OS”：云計算+大數據+物聯網+區塊鏈+人工智能）分支用來的今天，企業領導者必須了解如何將“技術”全面滲入整個公司、產品等“商業”場景中，利用AI-CPS OS形成數字化+智能化力量，實現行業的重新布局、企業的重新構建和自我的煥然新生。

AI-CPS OS的真正價值并不來自構成技術或功能，而是要以一種傳遞獨特競爭優勢的方式將自動化+信息化、智造+產品+服務和數據+分析一體化，這種整合方式能夠釋放新的業務和運營模式。如果不能實現跨功能的更大規模融合，沒有顛覆現狀的意愿，這些將不可能實現。

領導者無法依靠某種單一戰略方法來應對多維度的數字化變革。面對新一代技術+商業操作系統AI-CPS OS顛覆性的數字化+智能化力量，領導者必須在行業、企業與個人這三個層面都保持領先地位：

重新行業布局：你的世界觀要怎樣改變才算足夠？你必須對行業典范進行怎樣的反思？

重新構建企業：你的企業需要做出什么樣的變化？你準備如何重新定義你的公司？

重新打造自己：你需要成為怎樣的人？要重塑自己并在數字化+智能化時代保有領先地位，你必須如何去做？

AI-CPS OS是數字化智能化創新平臺，設計思路是將大數據、物聯網、區塊鏈和人工智能等無縫整合在云端，可以幫助企業將創新成果融入自身業務體系，實現各個前沿技術在云端的優勢協同。AI-CPS OS形成的數字化+智能化力量與行業、企業及個人三個層面的交叉，形成了領導力模式，使數字化融入到領導者所在企業與領導方式的核心位置：

精細：這種力量能夠使人在更加真實、細致的層面觀察與感知現實世界和數字化世界正在發生的一切，進而理解和更加精細地進行產品個性化控制、微觀業務場景事件和結果控制。

智能：模型隨著時間（數據）的變化而變化，整個系統就具備了智能（自學習）的能力。

高效：企業需要建立實時或者準實時的數據采集傳輸、模型預測和響應決策能力，這樣智能就從批量性、階段性的行為變成一個可以實時觸達的行為。

不確定性：數字化變更顛覆和改變了領導者曾經仰仗的思維方式、結構和實踐經驗，其結果就是形成了復合不確定性這種顛覆性力量。主要的不確定性蘊含于三個領域：技術、文化、制度。

邊界模糊：數字世界與現實世界的不斷融合成CPS不僅讓人們所知行業的核心產品、經濟學定理和可能性都產生了變化，還模糊了不同行業間的界限。這種效應正在向生態系統、企業、客戶、產品快速蔓延。

AI-CPS OS形成的數字化+智能化力量通過三個方式激發經濟增長：

創造虛擬勞動力，承擔需要適應性和敏捷性的復雜任務，即“智能自動化”，以區別于傳統的自動化解決方案；

對現有勞動力和實物資產進行有利的補充和提升，提高資本效率；

人工智能的普及，將推動多行業的相關創新，開辟嶄新的經濟增長空間。

給決策制定者和商業領袖的建議：

超越自動化，開啟新創新模式：利用具有自主學習和自我控制能力的動態機器智能，為企業創造新商機；

迎接新一代信息技術，迎接人工智能：無縫整合人類智慧與機器智能，重新

評估未來的知識和技能類型；

制定道德規范：切實為人工智能生態系統制定道德準則，并在智能機器的開

發過程中確定更加明晰的標準和最佳實踐；

重視再分配效應：對人工智能可能帶來的沖擊做好準備，制定戰略幫助面臨

較高失業風險的人群；

開發數字化+智能化企業所需新能力：員工團隊需要積極掌握判斷、溝通及想象力和創造力等人類所特有的重要能力。對于中國企業來說，創造兼具包容性和多樣性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。”  《論語·子路》云計算、大數據、物聯網、區塊鏈和 人工智能，像君子一般融合，一起體現科技就是生產力。

如果說上一次哥倫布地理大發現，拓展的是人類的物理空間。那么這一次地理大發現，拓展的就是人們的數字空間。在數學空間，建立新的商業文明，從而發現新的創富模式，為人類社會帶來新的財富空間。云計算，大數據、物聯網和區塊鏈，是進入這個數字空間的船，而人工智能就是那船上的帆，哥倫布之帆！

新一代技術+商業的人工智能賽博物理操作系統AI-CPS OS作為新一輪產業變革的核心驅動力，將進一步釋放歷次科技革命和產業變革積蓄的巨大能量，并創造新的強大引擎。重構生產、分配、交換、消費等經濟活動各環節，形成從宏觀到微觀各領域的智能化新需求，催生新技術、新產品、新產業、新業態、新模式。引發經濟結構重大變革，深刻改變人類生產生活方式和思維模式，實現社會生產力的整體躍升。

產業智能官  AI-CPS

用“人工智能賽博物理操作系統”（新一代技術+商業操作系統“AI-CPS OS”：云計算+大數據+物聯網+區塊鏈+人工智能），在場景中構建狀態感知-實時分析-自主決策-精準執行-學習提升的認知計算和機器智能；實現產業轉型升級、DT驅動業務、價值創新創造的產業互聯生態鏈。

長按上方二維碼關注微信公眾號： AI-CPS，更多信息回復：

新技術：“云計算”、“大數據”、“物聯網”、“區塊鏈”、“人工智能”；新產業：“智能制造”、“智能農業”、“智能金融”、“智能零售”、“智能城市”、“智能駕駛”；新模式：“財富空間”、“特色小鎮”、“賽博物理”、“供應鏈金融”。

詳細介紹，訪問官網：AI-CPS.NET

本文系“產業智能官”（公眾號ID：AI-CPS）收集整理，轉載請注明出處！

版權聲明：由產業智能官（公眾號ID：AI-CPS）推薦的文章，除非確實無法確認，我們都會注明作者和來源。部分文章推送時未能與原作者取得聯系。若涉及版權問題，煩請原作者聯系我們，與您共同協商解決。聯系、投稿郵箱：erp_vip@hotmail.com