近年在無人駕駛(AD)中,由于在L3及以下駕駛員仍然要在某些特定條件下負(fù)責(zé)接管車輛,駕駛員監(jiān)控系統(tǒng)(DMS)和乘客監(jiān)控系統(tǒng)(OMS)的重要性受到了廣泛認(rèn)可。DMS在Euro-NCAP 2025,汽車制造商獲取5星安全方面發(fā)揮著重要作用,已經(jīng)在2020年的評(píng)價(jià)中得到了采用。歐盟規(guī)定,到2022年,新車必須采用DMS,預(yù)計(jì)其他地區(qū)也會(huì)跟進(jìn)。同樣,如兒童下車監(jiān)控等強(qiáng)制性O(shè)MS功能在北美和歐洲也迫在眉睫。(例如:2022年的Euro-NCAP中為5星)。
DMS&OMS的關(guān)鍵市場(chǎng)動(dòng)向之一是RGB-IR傳感器。它由RGB傳感器和IR傳感器組成,可以輸出彩色和IR圖像。夜間車內(nèi)燈光很少,所以IR非常重要。當(dāng)RGB傳感器條件較差時(shí),IR圖像可以檢測(cè)駕駛員的狀態(tài)。因此,RGB-IR可以同時(shí)利用RGB和IR的優(yōu)勢(shì)。
為應(yīng)對(duì)這一市場(chǎng)趨勢(shì),瑞薩利用其合作伙伴致力于DMS&OMS。R-Car系列提供了創(chuàng)新的可擴(kuò)展解決方案,無論是作為獨(dú)立的DMS&OMS,還是與其他ADAS應(yīng)用(前置攝像頭和環(huán)繞視圖系統(tǒng))的集成。值得一提的是,R-Car V3M&V3H搭載了先進(jìn)的計(jì)算機(jī)視覺和深度學(xué)習(xí)處理,可用于人臉檢測(cè)識(shí)別、手勢(shì)檢測(cè)和分類,實(shí)現(xiàn)了DMS&OMS的全部功能。
功能方面,R-Car V3M&V3H支持面部檢測(cè)和特征(眼睛、視線、識(shí)別、頭部3D位置)、手部檢測(cè)(手部位置、手勢(shì)檢測(cè))、狀態(tài)、注意力分散和變化(困倦、情緒、電話使用、酒精和物質(zhì)影響)、乘客檢測(cè)(乘客人數(shù)和位置、安全帶狀態(tài))、乘客分類(年齡、性別、被遺忘兒童)。