電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>使用FOMO進(jìn)行駕駛員睡意檢測

使用FOMO進(jìn)行駕駛員睡意檢測

1854542 2023-06-12 | zip | 0.00 MB | 次下載 | 免費(fèi)

資料介紹

描述

駕駛員困倦是導(dǎo)致機(jī)動(dòng)車事故的一個(gè)主要因素，可能會造成嚴(yán)重后果，包括受傷或死亡。駕駛員困倦導(dǎo)致事故的原因有多種。當(dāng)一個(gè)人疲倦時(shí)，他們的反應(yīng)時(shí)間會變慢，決策能力會受損，并且可能難以保持注意力集中在路上。因此，他們可能會錯(cuò)過重要的視覺提示，無法注意到危險(xiǎn)或在駕駛時(shí)做出錯(cuò)誤的決定。

除了這些身體影響外，疲勞駕駛也是一種認(rèn)知障礙，這意味著它會影響一個(gè)人思考和做出正確決定的能力。當(dāng)駕駛員疲勞時(shí)，他們的判斷力和意識就會受損，這可能會導(dǎo)致駕駛時(shí)出現(xiàn)危險(xiǎn)或危險(xiǎn)的行為。某些人群的疲勞駕駛風(fēng)險(xiǎn)更高，包括商用卡車司機(jī)、輪班工人以及未確診或未治療睡眠障礙的人。但是，如果睡眠不足或長時(shí)間駕駛而不休息，任何人都可能面臨疲勞駕駛的風(fēng)險(xiǎn)。

由于疲勞駕駛?cè)匀皇俏覀兊缆飞系囊粋€(gè)主要安全問題，我們正在開發(fā)一個(gè)尖端系統(tǒng)來解決這個(gè)問題。

它是如何工作的

我們的解決方案結(jié)合了計(jì)算機(jī)視覺和人工智能 (AI) 的強(qiáng)大功能來監(jiān)控駕駛員的眼睛并檢測他們何時(shí)連續(xù)閉上兩秒鐘。為了確保我們系統(tǒng)的準(zhǔn)確性和可靠性，我們在 Arduino Nicla Vision 中使用了 AI 算法。這些算法經(jīng)過訓(xùn)練，可以識別攝像頭收集的數(shù)據(jù)中的模式和趨勢，并識別駕駛員的眼睛何時(shí)長時(shí)間閉上。

如果系統(tǒng)檢測到駕駛員閉眼兩秒或更長時(shí)間，就會發(fā)出警報(bào)，將駕駛員喚醒，提醒他們在路上保持專注和警惕。該警報(bào)可以采用視覺或聽覺信號的形式，例如閃光燈或響亮的嗶嗶聲。

除了檢測疲勞駕駛外，我們的系統(tǒng)還可以擴(kuò)展到監(jiān)控可能影響道路安全的其他行為，例如分心駕駛或藥物或酒精導(dǎo)致的損傷。通過提醒司機(jī)注意這些行為并提醒他們保持專注和警覺，我們可以幫助降低事故風(fēng)險(xiǎn)，讓我們的道路對每個(gè)人都更安全。

硬件要求

Arduino 尼克拉愿景
引領(lǐng)
蜂鳴器

硬件設(shè)置

用于數(shù)據(jù)收集的硬件設(shè)置包括安裝在三腳架上的 Nicla Vision。

Arduino 尼克拉愿景

Nicla Vision 是一款功能強(qiáng)大且用途廣泛的產(chǎn)品，旨在使用戶能夠開發(fā)和原型化涉及邊緣圖像處理和機(jī)器視覺的項(xiàng)目。它具有支持 TinyML 的 2MP 彩色攝像頭，以及智能 6 軸運(yùn)動(dòng)傳感器、麥克風(fēng)和距離傳感器，可提供一系列傳感功能。

該產(chǎn)品由功能強(qiáng)大的 STM32H747AII6 雙 ARM Cortex M7/M4 IC 處理器提供支持，可實(shí)現(xiàn)設(shè)備端智能，并使用戶能夠在邊緣托管機(jī)器學(xué)習(xí)模型和其他高級算法。此外，Nicla Vision 體積小巧，外形尺寸僅為 22.86 x 22.86 mm，可輕松融入各種項(xiàng)目和場景。Nicla Vision 結(jié)合了機(jī)器視覺和處理能力以及小巧的外形，是開發(fā)或原型設(shè)計(jì)涉及邊緣圖像處理和機(jī)器視覺項(xiàng)目的理想解決方案。

軟件設(shè)置

如果您不熟悉將 Nicla Vision 設(shè)置為與 EdgeImpulse 一起使用的過程，并且尚未將設(shè)備連接到 EdgeImpulse 儀表板，我們建議您按照快速教程來指導(dǎo)您完成設(shè)置過程。

在設(shè)備和 EdgeImpulse 儀表板之間成功建立連接后，您應(yīng)該會看到設(shè)備出現(xiàn)在“設(shè)備”選項(xiàng)卡中。

如果您沒有在“設(shè)備”選項(xiàng)卡中看到該設(shè)備，則可能是設(shè)備的連接或配置存在問題。在這種情況下，可能需要對問題進(jìn)行故障排除或參考其他資源以獲得幫助。

TinyML 模型生成

1.數(shù)據(jù)采集

現(xiàn)在已經(jīng)配置了必要的軟件和硬件，我們可以繼續(xù)構(gòu)建對象檢測模型。此過程的第一步是收集將用于訓(xùn)練模型的數(shù)據(jù)。收集數(shù)據(jù)有兩種主要方法：使用連接的設(shè)備直接捕獲數(shù)據(jù)或使用上傳器工具上傳預(yù)先存在的數(shù)據(jù)。在這個(gè)特定項(xiàng)目中，我們將使用第一種方法并直接從連接的設(shè)備收集數(shù)據(jù)。然后，這些數(shù)據(jù)將用于訓(xùn)練物體檢測模型，使其能夠在未來更準(zhǔn)確地識別和分類物體。

數(shù)據(jù)上傳到 EdgeImpulse 平臺后，需要對標(biāo)注隊(duì)列中未標(biāo)注的圖片進(jìn)行標(biāo)注。在這種情況下，模型將接受訓(xùn)練以識別兩個(gè)不同的類別：閉眼和睜眼。因此，有兩個(gè)對應(yīng)的標(biāo)簽將應(yīng)用于標(biāo)簽隊(duì)列中的圖像。這個(gè)標(biāo)記數(shù)據(jù)的過程是訓(xùn)練對象檢測模型的重要步驟，因?yàn)樗试S模型學(xué)習(xí)每個(gè)類別的特征和特征，使其能夠在未來準(zhǔn)確地分類圖像和識別對象。通過仔細(xì)準(zhǔn)確地標(biāo)記標(biāo)記隊(duì)列中的圖像，我們可以確保模型訓(xùn)練有素并且能夠有效地執(zhí)行。

2. 沖動(dòng)設(shè)計(jì)

對于我們的項(xiàng)目，我們需要具有可靠準(zhǔn)確度的高性能模型。為了滿足這些要求，我們正在使用 Edge Impulse FOMO（更快的對象，更多的對象），這是一種專為高度受限設(shè)備上的對象檢測而設(shè)計(jì)的機(jī)器學(xué)習(xí)算法。FOMO 生成高效、快速的模型，非常適合處理能力和內(nèi)存有限的應(yīng)用程序。

為了針對我們的用例優(yōu)化 FOMO 的性能，我們將圖像尺寸設(shè)置為 96px，因?yàn)?FOMO 在 96x96 圖像上表現(xiàn)最佳。為了在我們的項(xiàng)目中實(shí)施 FOMO，我們在脈沖中添加了一個(gè)圖像處理塊和一個(gè)對象檢測（圖像）學(xué)習(xí)塊，并將調(diào)整大小模式設(shè)置為適合最短軸。通過將 FOMO 與這些模塊結(jié)合使用，我們可以以高水平的準(zhǔn)確性和效率有效地實(shí)時(shí)檢測駕駛員的睡意。

3.特征生成

在我們項(xiàng)目的下一階段，我們將專注于生成特征。為此，我們將轉(zhuǎn)到“圖像”選項(xiàng)卡并選擇所需的顏色深度。在我們的例子中，我們選擇使用RGB ，現(xiàn)在我們將啟動(dòng)特征生成過程。

雖然生成的特征被很好地分割并不是嚴(yán)格必要的，但它通常是一個(gè)很好的跡象，表明生成的模型將表現(xiàn)良好。一組劃分良好的特征通常會導(dǎo)致模型表現(xiàn)良好，因?yàn)樗砻魉褂玫膬蓚€(gè)類之間存在明顯區(qū)別。一旦生成了特征，我們就可以進(jìn)入項(xiàng)目的訓(xùn)練階段。

4.模型訓(xùn)練

完成必要的脈沖設(shè)計(jì)后，我們現(xiàn)在可以繼續(xù)訓(xùn)練我們的機(jī)器學(xué)習(xí)模型的過程。我們?yōu)槟Ｐ陀?xùn)練選擇的具體設(shè)置如下所示。需要注意的是，可以調(diào)整這些設(shè)置以提高訓(xùn)練模型的準(zhǔn)確性，但必須注意避免過度擬合。

通過仔細(xì)調(diào)整模型訓(xùn)練設(shè)置并采用適當(dāng)?shù)募夹g(shù)來防止過度擬合，我們可以優(yōu)化機(jī)器學(xué)習(xí)模型的性能并實(shí)現(xiàn)高水平的準(zhǔn)確性。在仔細(xì)選擇和準(zhǔn)備足夠數(shù)量的訓(xùn)練數(shù)據(jù)后，我們的機(jī)器學(xué)習(xí)模型已經(jīng)能夠達(dá)到令人印象深刻的準(zhǔn)確度。使用指定的訓(xùn)練設(shè)置，我們能夠達(dá)到 100% 的訓(xùn)練準(zhǔn)確率，這是一個(gè)非常好的結(jié)果。

5.模型測試

現(xiàn)在我們已經(jīng)訓(xùn)練了我們的機(jī)器學(xué)習(xí)模型，是時(shí)候評估它在看不見的測試數(shù)據(jù)上的性能了。為此，我們將轉(zhuǎn)到“模型測試”選項(xiàng)卡并使用“全部分類”功能。這將使我們能夠看到模型在測試數(shù)據(jù)上的表現(xiàn)如何，并深入了解其泛化能力。

我們也獲得了 100% 的測試準(zhǔn)確率，這排除了任何過度擬合的可能性，我們的模型運(yùn)行良好。重要的是測試機(jī)器學(xué)習(xí)模型在未見數(shù)據(jù)上的性能，以便對其能力進(jìn)行真實(shí)的評估。僅對訓(xùn)練數(shù)據(jù)進(jìn)行測試可能會導(dǎo)致過于樂觀的結(jié)果，因?yàn)槟Ｐ鸵呀?jīng)看到并從這些數(shù)據(jù)中學(xué)習(xí)到了。通過對看不見的數(shù)據(jù)進(jìn)行測試，我們可以更準(zhǔn)確地衡量模型對新的未知輸入進(jìn)行概括和預(yù)測的能力。

6.直播分類

現(xiàn)在是時(shí)候進(jìn)入測試的最后階段，或者更確切地說，是我們機(jī)器學(xué)習(xí)模型的模擬部署了。在此階段，我們將模擬模型在真實(shí)環(huán)境中的使用，并評估其在這些條件下的性能。這將使我們能夠看到模型在更現(xiàn)實(shí)的環(huán)境中的表現(xiàn)如何，并確保它已準(zhǔn)備好部署。

現(xiàn)在是時(shí)候進(jìn)入“實(shí)時(shí)分類”選項(xiàng)卡并從設(shè)備中獲取樣本了。獲得樣本后，我們將對其進(jìn)行分類并觀察結(jié)果。如果我們的模型能夠準(zhǔn)確地區(qū)分閉眼和睜眼，我們就可以自信地進(jìn)行部署。

我們的機(jī)器學(xué)習(xí)模型已經(jīng)展示了它的能力，我們準(zhǔn)備在現(xiàn)實(shí)環(huán)境中部署它。

部署

為了部署我們的機(jī)器學(xué)習(xí)模型，我們需要?jiǎng)?chuàng)建一個(gè) Arduino 庫。該庫將包含在 Arduino Nicla Vision 上運(yùn)行模型所需的所有必要代碼和資源。

要構(gòu)建庫，我們需要導(dǎo)航到“部署”選項(xiàng)卡并按照此處概述的步驟進(jìn)行操作。完成此過程后，我們將擁有一個(gè)功能齊全的庫，可以在 Arduino 平臺上使用。我們可以采取的一個(gè)可選步驟是使用 EON 編譯器啟用優(yōu)化。該編譯器旨在優(yōu)化我們庫中的代碼，使其更快、更高效。

完成構(gòu)建過程后，我們將得到一個(gè)包含我們的模型和一組示例的 zip 文件。要在 Arduino 平臺上使用這個(gè)庫，我們需要將它添加到 Arduino 集成開發(fā)環(huán)境 (IDE) 中。

為此，我們需要打開 Arduino IDE 并導(dǎo)航至Sketch > Include Library > Add.ZIP library 。從這里，我們將能夠?yàn)g覽我們之前創(chuàng)建的 zip 文件并將其添加到 IDE。將庫添加到 Arduino IDE 后，我們將能夠使用它在 Arduino 平臺上運(yùn)行我們的機(jī)器學(xué)習(xí)模型。