?

作者：Paula Ramos博士，前Intel技術布道師，Voxel51開發者關系主管

翻譯：張晶，前Intel技術布道策略經理，Linux基金會亞太區開源布道師

原文地址：https://medium.com/@paularamos_phd/journey-into-visual-ai-exploring-fiftyone-together-part-i-introduction-9e20c6e07722

編者按：這是作者進入新公司Voxel51后的關于FiftyOne的分享。FiftyOne是一款旨在簡化視覺AI項目工作流程的開源工具，幫助用戶查看的數據集、發現質量問題、查看模型行為，并改進你的MLOps工作流。

上文分享了《職業生涯的一年四季：每個階段都會引領你走向成長之路！》和《新起點：從兒子的開學日到我的Voxel51入職之旅！》

一，引言

歡迎各位開發者和AI愛好者！

如果像我一樣，深入研究一款新工具既令人興奮又可能讓人感到畏懼。正如大家所知，我最近開始了在Voxel51的職業旅程，我的首個任務就是探索FiftyOne——這是Voxel51提供給開發者的開源平臺。然后我想，為什么不記錄下這次冒險，并邀請其他人加入呢？于是，我們來到了這里，在我希望對我們所有人來說都是一段啟發性的系列文章的起點。

無論你是經驗豐富的開發者還是剛剛起步的新手，學習一款新工具都會帶來一系列挑戰。但通過共同努力，我們可以克服FiftyOne中的各種難題，釋放其潛力。讓我們把這段旅程變成一次合作體驗吧。

首先，我會從一些定義開始講起，然后在后續的文章中創建一個實踐體驗。讓我們來定義一下作為視覺AI領域的開發者所面臨的痛點。

二，開發者在視覺AI中的常見痛點

處理大型復雜數據集：與傳統工具相比，管理大量帶有相關注釋的圖像或視頻可能會讓人感到不堪重負且效率低下。

數據可視化限制：難以直觀地展示復雜的數據集和注釋妨礙了理解并減慢了開發速度。

模型評估低效：評估模型性能、識別失敗模式以及解釋結果可能耗時且容易出錯。

數據質量問題：識別和糾正如注釋錯誤、標簽缺失或邊緣案例等數據問題往往既困難又耗人力。

集成挑戰：將新工具無縫融入現有機器學習工作流而不影響生產力可能是復雜的。

如果還有其他我遺漏的點，請在評論區補充。

好消息是，Voxel51有一個優秀的開源工具來解決這些問題。這個工具就叫做FiftyOne，那么FiftyOne是什么呢？

三，什么是FiftyOne？

對于那些尚未聽說的人而言，FiftyOne是一款旨在簡化視覺AI項目工作流程的開源工具。你可以在這里嘗試FiftyOne應用：https://try.fiftyone.ai/，獨立探索。在那里，你可以瀏覽你的數據集、發現質量問題、查看模型行為，并改進你的MLOps工作流。

如您所見，您可以在瀏覽器中嘗試使用FiftyOne來探索數據集和模型，同時也可以通過運行“pip install fiftyone”命令在本地安裝它，并導入自己的數據和模型。開發者、數據科學家以及研究人員將能夠改進他們的視覺數據集，并深入理解他們的模型。FiftyOne提供了數據探索、可視化和管理功能，有助于開發生產就緒的視覺AI應用。

FiftyOne的獨特之處在于其強大的交互式FiftyOne應用程序與多功能Python API的結合。FiftyOne應用程序提供了一個直觀且用戶友好的界面，用于深入地可視化和探索數據集。利用它，您可以直觀地瀏覽圖像和視頻、檢查注釋、過濾數據、獲取見解，甚至可以通過插件擴展以實現自定義工作流程，所有這些都只需幾行代碼就能實現實時操作。

另一方面，Python API為您提供對FiftyOne所有功能的編程訪問權限。這意味著您可以操控數據集、執行復雜的查詢，甚至直接從Python腳本控制應用程序，直接與您的模型訓練和評估代碼集成。應用程序與API之間的協同作用既提供了代碼的控制性和靈活性，又具有圖形界面的即時性和直觀性。

基本上，FiftyOne提供了兩全其美的解決方案：

對于視覺探索：使用FiftyOne應用程序交互式地探索您的數據集、檢查樣本并可視化模型預測。

對于程序化控制：利用Python API進行數據處理編程、運行實驗和自動化任務。

四，FiftyOne如何解決我們日常遇到的問題？

FiftyOne旨在通過以下方式緩解這些問題：

通過FiftyOne應用程序進行交互式數據探索：該應用程序允許您無縫地可視化并與數據集互動。您可以篩選、排序和查詢數據，更改會立即反映在可視化界面上。

強大的Python API：以編程方式控制和處理您的數據。自動化工序、執行復雜查詢并將FiftyOne輕松集成到現有管線中。

全面的模型評估工具：通過可視化預測結果與真實標簽對比、計算詳細指標及深入研究失敗案例來評估您的模型，從而提高模型性能。

高效的數據整理：利用先進的過濾和可視化能力快速識別并修復數據問題，提升數據集的整體質量。

與現有工作流的無縫集成：兼容流行深度學習框架，使您無需徹底改變當前設置即可采用FiftyOne。

可擴展性和定制化：通過自定義插件或腳本擴展FiftyOne的功能，以適應您的特定需求。

“請參閱本博客系列的第二部分，在那里我將解釋如何使用FiftyOne應用程序和Python API。代碼即將登場!!! -- Paula Ramos”

五，附加資源

FiftyOne的首次介紹文章：

https://voxel51.com/blog/introducing-fiftyone-a-tool-for-rapid-data-model-experimentation/

一點基礎知識：

https://towardsdatascience.com/i-performed-error-analysis-on-open-images-and-now-i-have-trust-issues-89080e03ba09

Voxel51最近的一篇文章：

https://voxel51.com/blog/what-is-visual-ai-going-beyond-computer-vision/

FiftyOne 101 視頻教程：

https://www.youtube.com/watch?v=iHvTdocajgU

在瀏覽器中嘗試FiftyOne應用：

https://try.fiftyone.ai/

就先到這里！

在這一部分，我們為與FiftyOne一起的旅程設定了舞臺。我們討論了視覺AI項目中的常見挑戰以及FiftyOne如何幫助克服這些挑戰。在下一篇文章中，我將為您提供指導性的代碼來操作FiftyOne。我很想聽聽您的經歷！請分享您的想法、提問并提供反饋。您的見解可能有助于我們在接下來的文章中幫助他人。讓我們更有效地學習，并共同促進FiftyOne的改進！

敬請期待下一篇，在其中我們將探索FiftyOne的核心特性、數據集的操作以及模型評估。讓我們把這次與FiftyOne的旅程變成一次合作和豐富的體驗。愉快編碼吧！保持聯系！

在Medium上關注我：

https://medium.com/@paularamos_phd

在LinkedIn上關注我：

https://www.linkedin.com/in/paula-ramos-phd/

加入對話：Discord FiftyOne社區, Slack FiftyOne社區

下一步是什么？我很興奮能分享更多我在Voxel51的經歷！

如果你有興趣跟隨我深入AI的世界并持續專業成長，歡迎通過LinkedIn與我建立聯系或關注我。讓我們互相激勵，擁抱變化，達到新的高度！您可以在一些Voxel51活動（https://voxel51.com/computer-vision-events/）中找到我，或者如果您想要加入這個出色的團隊，可以查看此頁面：

https://voxel51.com/jobs/

如果你有更好的文章，歡迎投稿！

稿件接收郵箱：nami.liu@pasuntech.com

更多精彩內容請關注“算力魔方?”！

審核編輯 黃宇