神經科學家和計算機視覺科學家表示，一個空前龐大的新數據集將幫助研究人員更好地理解大腦是如何處理圖像的。

卡內基梅隆大學和福德姆大學的研究人員今天在《科學數據》雜志上發表報告說，在這種規模下獲得功能性磁共振成像(fMRI)掃描呈現出獨特的挑戰。

每位志愿者都參與了20個小時或更長時間的核磁共振掃描，這對他們的毅力和實驗者協調掃描過程的能力都構成了挑戰。為了解開與單個圖像相關的神經反應，有必要做出一個極端的設計決策，即讓相同的個體運行如此多的會話。

由此產生的數據集被稱為BOLD5000，它使認知神經科學家能夠更好地利用深度學習模型，這些模型極大地改善了人工視覺系統。深度學習最初受到人類視覺系統架構的啟發，通過對人類視覺如何工作的新見解的追求，以及對人類視覺的研究更好地反映現代計算機視覺方法，可以進一步改進。為此，BOLD5000測量了從兩個流行的計算機視覺數據集ImageNet和COCO中獲取的圖像所產生的神經活動。

“大腦科學和計算機科學的纏繞意味著科學發現可以在兩個方向流動,共同作者Michael J. Tarr（Moura認知和腦科學教授，CMU心理系主任 ） 說 ：“未來的視覺研究將使用BOLD5000數據集，這將有助于神經科學家更好地理解人類大腦中的知識組織。隨著我們對視覺識別的神經基礎了解得越來越多，我們也將更好地為人工視覺的進步做出貢獻。”

該研究的主要作者、加州大學機器人研究所(CMU’s Robotics Institute)專攻計算機視覺的博士生Nadine Chang表示，計算機視覺科學家正將目光投向神經科學，以幫助在快速發展的人工視覺領域進行創新——這加強了這項研究的雙向性。

“ Chang說：“計算機視覺科學家和視覺神經科學家本質上有著相同的最終目標:理解如何處理和解釋視覺信息”。

從一開始，改善計算機視覺就是BOLD5000項目的重要組成部分。資深作者Elissa Aminoff，當時是CMU心理學系的博士后，現在是福特漢姆大學的心理學助理教授，與機器人研究所副教授Abhinav Gupta共同發起了這一研究方向。

將生物視覺和計算機視覺聯系起來所面臨的挑戰之一是，大多數人類神經成像研究只包含很少的刺激圖像——通常是100幅或更少——這些圖像通常被簡化為在中性背景下只描繪單個物體。相比之下，BOLD5000包含超過5000個真實世界的復雜場景圖像、單個對象和交互對象。

該小組認為BOLD5000只是利用現代計算機視覺模型研究生物視覺的第一步。

“坦率地說,BOLD5000數據集仍然太小,”塔爾說,這表明一個合理的功能磁共振成像數據集需要至少50000刺激圖像和更多的志愿者來取得進展的事實的深層神經網絡用于分析視覺表象訓練在數以百萬計的圖像。為此，研究小組希望他們能夠生成5000個大腦掃描數據集，這將為人類視覺和計算機視覺科學家之間更大規模的合作鋪平道路。

到目前為止，該領域的反應是積極的。公開可用的BOLD5000數據集已經被下載超過2500次。

除了Chang，Tarr，Gupta和Aminoff之外，研究團隊還包括CMU-Pitt BRIDGE中心的高級研究科學家和科學運營總監John A. Pyles以及Tarr實驗室的研究助理Austin Marcus。美國國家科學基金會，美國海軍研究辦公室，阿爾弗雷德·斯隆基金會和大川信息和電信基金會贊助了這項研究。