智能座艙功能列表
其中DMS，即Driver Monitoring System，駕駛員監(jiān)測系統(tǒng)，監(jiān)測對象為Driver(駕駛員），DMS可以監(jiān)測駕駛員的疲勞狀態(tài)、危險駕駛行為。
OMS，即Occupancy Monitoring System，乘客監(jiān)測系統(tǒng)，監(jiān)測對象為乘客，OMS能夠監(jiān)測乘客年齡、狀態(tài)、情緒等。
相對于DMS和OMS而言，IMS是一個比較新的概念。In-cabin monitoring System即汽車座艙的智能視覺監(jiān)控系統(tǒng)。通俗來講，IMS既包括DMS、OMS，也包括FACE ID、手勢識別、體征監(jiān)測、遠程監(jiān)控等。
IMS系統(tǒng)工作原理
座艙檢測系統(tǒng)的形成鏈條主要涉及三個環(huán)節(jié)，攝像頭/傳感器進行圖像的捕捉與輸入；芯片板進行解碼與演算；信息娛樂系統(tǒng)（IVI）的人機交互進行監(jiān)測提示與反饋，最終使駕駛員得到相應的安全預警反饋。
小結：
在智能座艙中，除了顯示和交互技術外，座艙監(jiān)測技術也是未來的重要發(fā)展方向，監(jiān)測系統(tǒng)主要包含了駕駛員監(jiān)測（DMS）和乘員監(jiān)測（OMS）。當前的座艙監(jiān)測方案主要包括了DMS和OMS,前者主要對駕駛員的監(jiān)測，主要利用2D/3D攝像頭方案，后者主要針對車內(nèi)乘客的監(jiān)測，會增加毫米波雷達作為補充。
#01 駕駛員監(jiān)控系統(tǒng)（DMS）系統(tǒng)介紹
根據(jù)“歐盟通用安全法規(guī)”，從2024年中期開始，所有劃歸M類和N類的新制造車輛都必須配備先進的駕駛員分心警告系統(tǒng)（ADDW）。ADDW系統(tǒng)主要監(jiān)控駕駛員的眼睛運動，并在檢測到分心跡象時發(fā)出警告。早在2019年，寶馬X5車型就已經(jīng)配備了駕駛員注意力攝像頭，用于觀察駕駛員的睜眼情況和頭部位置，從而評估駕駛員的專注程度。
拓展：
按用途以符號分類 按GB/T 15089--2001《機動車輛和掛車分類》標準將機動車輛和掛車分為M類、N類、G類、O類、L類。1、M類：M類車輛是至少有四個車輪并且用于載客的機動車輛。2、N類：N類車輛時至少有四個車輪且用于載貨的機動車輛。3、G類：G類可概括為越野車，包括在M類N類之中。4、O類：O類掛車【包括半掛車】。
M類：至少有4個車輪并且用于載客的機動車輛；
M1類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座的載客車;
M2類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座,且最大設計總質(zhì)量不超過5000kg的載客車;
M3類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座,且最大設計總質(zhì)量超過5000kg的載客車;
N類：至少有4個車輪并且用于載貨的機動車輛；
N1類：最大設計總質(zhì)量不超過3500kg的載貨車輛；
N2類：最大設計總質(zhì)量超過3500kg，但不超過12000kg的載貨車輛；
N3類：最大設計總質(zhì)量超過12000kg的載貨車輛；
DMS并不是一個完全新穎的概念，不過，傳統(tǒng)DMS通常依賴于從車輛收集信息的被動技術，例如車道保持、駕駛持續(xù)時間，以及轉(zhuǎn)向傳感器等。然而，這些被動技術已經(jīng)被證明不夠準確，容易導致很高的誤報率。因此，ADDW法規(guī)轉(zhuǎn)向主動監(jiān)測駕駛員的眼球運動，標志著DMS從被動技術向基于視覺的主動監(jiān)測技術轉(zhuǎn)變。
一、DMS分類
DMS可分為兩類：直接/主動監(jiān)控和被動/間接監(jiān)控。
被動監(jiān)控依靠駕駛持續(xù)時間和車道保持等車輛信息來評估駕駛員的疲勞程度，但這種方案有可能產(chǎn)生誤報。另一方面，根據(jù)ADDW的要求，主動監(jiān)控利用近紅外（NIR）相機，這對于眼球運動檢測特別有效，且不會影響駕駛員。近紅外相機通常包含一顆或兩顆LED/VCSEL照明器，以及一顆圖像傳感器，它們通常被安裝在車輛A柱或轉(zhuǎn)向柱等位置。然后，通過軟件提取駕駛員眼瞼閉合以及打哈欠等特征，在識別駕駛員瞌睡或疲勞跡象方面發(fā)揮著至關重要的作用。 
二、DMS配置
DMS攝像頭安裝位置具有靈活性，可以在儀表盤、方向盤柱、左右側 A 柱或內(nèi)后視鏡等位置，此外，大陸還將DMS集成在顯示屏中，實現(xiàn)結構上的小型化。其中正對駕駛人臉角度的轉(zhuǎn)向柱和儀表盤位置，是效果最好的，A柱其次，艙內(nèi)后視鏡也勉強可以。
攝像頭推薦安裝位置
目前主流是利用2D或3D的攝像頭方案（一般帶紅外功能）實現(xiàn)對駕駛員的身份識別、駕駛員疲勞駕駛以及危險行為的檢測功能，是目前流行的ADAS（高級駕駛輔助系統(tǒng)）系統(tǒng)中重要組成部分。
- 2D人臉識別技術的原理就是用一顆RGB攝像頭捕捉人臉的2D平面圖像和已經(jīng)錄入的圖像庫進行對比，算法相對簡單，模組成本較低。但是由于其捕捉的是人臉的2D平面圖像，即使輔以“活體”算法，但防偽性還是很差。
2D 3D的區(qū)別
- 3D人臉識別技術逐漸運用到智能鎖領域。而主流的3D人臉識別技術主要有3種：
- ? 雙目識別技術：雙目識別技術又叫雙目測距技術，原理和我們的人眼類似，直接由兩個攝像頭拍攝，得到兩個不同的平面圖像，再把兩張圖像上相同的特征點標注出來，最后再基于三角測量原理計算出深度信息。
-
雙目識別原理
- ?3D結構光技術：3D結構光需要有點陣投影器和紅外攝像頭。點陣投影器投影到我們臉上，紅外攝像頭則找到投影到臉上的光點，然后基于三角測量原理計算出人臉的深度信息，通過深度判斷人臉是否吻合。
3D結構光原理
?TOF技術：TOF又稱飛行時間技術，通過傳感器發(fā)射出紅外光，紅外光再從物體表面反射回傳感器，傳感器根據(jù)發(fā)射光和反射光之間的相位差換算出深度信息，通過深度信息判斷人臉是否吻合。
TOF的原理與3D結構光比較相似，都是通過紅外光反射計算深度信息，只是3D結構光技術投射的紅外光是點狀，而TOF投射的則是一整片紅外光，因此TOF的工作距離可以達到5米，但是精度與3D結構光相比還是有較大的差距。
3D結構和3D-TOF的差異
總結：
1、雙目方案。比較大的問題在于實現(xiàn)算法需要很高的計算資源，導致實時性很差，而且基本跟分辨率，檢測精度掛鉤。也就是說，分辨率越高，要求精度越高，則計算越復雜，同時，純雙目方案受光照，物體紋理性質(zhì)影響。
2、結構光方案。目的就是為了解決雙目中匹配算法的復雜度和魯棒性問題而提出，該方案解決了大多數(shù)環(huán)境下雙目的上述問題。但是，在強光下，結構光核心技術激光散斑會被淹沒，因此，不合適室外。同時，在長時間監(jiān)控方面，激光發(fā)射設備容易壞，重新更換設備后，需要重新標定。
3、TOF方案。傳感器技術不是很成熟，因此，分辨率較低，成本高，但由于其原理與另外兩種完全不同，實時性高，不需要額外增加計算資源，幾乎無算法開發(fā)工作量，是未來。
注：RGB色彩模式（也翻譯為“紅綠藍”，比較少用）是工業(yè)界的一種顏色標準，是通過對紅(Red)、綠(Green)、藍(Blue)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍三個通道的顏色，這個標準幾乎包括了人類視力所能感知的所有顏色，是運用最廣的顏色系統(tǒng)之一。
DMS還可以升級為OMS-即車內(nèi)人員監(jiān)控系統(tǒng)，攝像頭不僅可以對駕駛員的狀態(tài)進行跟蹤，包括駕駛員疲勞的一些提醒，甚至還可以對后排乘客進行跟蹤，以滿足相關乘車需求。OMS傳感方案包括五種，分別是攝像頭、毫米波、超聲波、壓力傳感器和生物特征傳感器。目前，OMS主流傳感方案為1*OMS攝像頭（占比高）或1*毫米波雷達。在座艙感知方案中，諸如毫米波雷達等感知方案可以作為視覺方案的補充，能夠有效降低隱私侵犯和泄露風險，主要用于座艙OMS系統(tǒng)的生命體征檢測，目前國內(nèi)已有多家車企搭載了該種方案。
座艙生命體檢測方案
一、OMS典型方案介紹
1、基于視覺感知技術的DMS駕駛員監(jiān)控系統(tǒng)與OMS乘客監(jiān)控系統(tǒng)具有明顯的成本優(yōu)勢。
實現(xiàn)功能
在配套的艙內(nèi)攝像頭部分，目前，在前裝市場，艙內(nèi)視覺方案的主要攝像頭配置有幾種類型：
（1）單攝像頭方案，大多數(shù)集成在駕駛員側的A柱或方向盤，功能主要是人臉識別（包括發(fā)動機啟動、車機系統(tǒng)進入以及座椅個性化調(diào)節(jié)等）和疲勞分心監(jiān)測。
另一種則是集成在內(nèi)后視鏡位置，除了服務駕駛員，還可以額外提供乘員監(jiān)控功能（車內(nèi)行車記錄功能），甚至包括兒童／遺留物檢測、安全帶檢測和識別特定乘客等功能。
（2）雙／三攝像頭方案，分別位于A柱、內(nèi)后視鏡以及車頂位置，負責不同功能的實現(xiàn)。
（3）大部分用于檢測駕駛員疲勞的駕駛員監(jiān)測系統(tǒng)均采用成本較低的傳統(tǒng)2D可見光攝像頭（配合IR紅外LED）。3D—ToF傳感器也開始進入前裝（比如，首發(fā)搭載理想L9），從而增強座艙監(jiān)控系統(tǒng)魯棒性，實現(xiàn)惡劣的光照條件下捕捉深度和紅外圖像。
主機廠車型IMS裝配情況
攝像頭安裝位置示意圖
同時，在整體系統(tǒng)方案方面，主要形態(tài)包括基于攝像頭和獨立控制單元，或攝像頭＋集成座艙車機／域控制器解決方案。供應商方面，有底層感知算法供應商、軟件Tier1以及硬件Tier1等不同角色。
虹軟科技通過視覺，可以實現(xiàn)的OMS功能有：
- 乘客占位和屬性檢測：實時統(tǒng)計車內(nèi)人員數(shù)量，準確標識乘客入座位置，幫助掌握車輛載客情況。精準識別年齡、性別、情緒等多種人臉屬性信息，分析乘客面部表情，有效規(guī)避司乘沖突。
- 遺留物品檢測：實時檢測艙內(nèi)后座畫面，結合下車信號有效分析乘客隨身物品的遺留情況，并根據(jù)業(yè)務策略給予告警系統(tǒng)。可精準檢測手機、錢包、女士手袋等數(shù)十種隨身物品，且支持一站式自定義物體品類訓練。
- 遺留兒童檢測：實時監(jiān)測艙內(nèi)后座區(qū)域，結合下車信號精準判斷后座區(qū)域是否存在兒童遺留，并根據(jù)業(yè)務策略將兒童感知數(shù)據(jù)傳輸至告警系統(tǒng)，全面保障乘客的出行安全。
- 遺留寵物檢測：準確分析后座區(qū)域是否存在活體寵物遺留，并根據(jù)業(yè)務策略及時發(fā)送預警信息；支持識別多品種寵物貓和寵物狗，能有效抵御毛絨玩具等假體攻擊。
2、毫米波雷達OMS方案在一些主機廠中已經(jīng)得到應用，在某些場景下（如遺留兒童監(jiān)測），攝像頭的監(jiān)控范圍易受安裝位置、視線范圍等條件影響，較難做到精準無誤監(jiān)測與警報。而雷達傳感器（包括毫米波雷達、超聲波雷達、UWB雷達）具有穿透固體物質(zhì)的能力，可以更精確地檢測無人照管的兒童、監(jiān)測乘員狀態(tài)、預估駕駛員的生命體征，在艙內(nèi)監(jiān)控中的應用有望擴大。其中森思泰克的STA60-4/STA79-4車內(nèi)成員檢測雷達方案較為成熟，STA60-4和STA79-4車內(nèi)成員檢測雷達是由森思泰克自主研發(fā)的兩款基于60GHz和79GHz毫米波技術的雷達產(chǎn)品。兩款雷達工作頻率不同，可滿足不同國家法規(guī)差異化的要求。兩雷達功能相同，均可檢測車中指定區(qū)域內(nèi)有無活體目標，尤其是后排遺留兒童檢測，具有性能高、體積小、重量輕等特點。
森思泰克方案圖
STA60-4/STA79-4車內(nèi)成員檢測雷達一般安裝在汽車天窗附近，隱藏在頂棚內(nèi)部。當車輛駐停后，雷達可自動檢測車內(nèi)后排座椅上的目標信息，一旦發(fā)現(xiàn)存在滯留兒童，迅速發(fā)出報警信號，同時還可以啟動通風系統(tǒng)等輔助救助裝置，從而達到保障乘車兒童人身安全的目的。
森思泰克雷達參數(shù)指標
楚航科技車規(guī)級平臺研發(fā)生產(chǎn)的60GHz生命體征探測雷達，采用3發(fā)4收天線通道，可覆蓋車內(nèi)全區(qū)域，體積小，低成本，低功耗，< 1%誤報率與0漏報率，可實現(xiàn)ROA第二排占位探測與第三排活體探測, DMS駕駛員心跳呼吸檢測。
楚航科技方案參數(shù)指標
應用場景：、
- ROA系統(tǒng)
1. ROA（rear occupant alert）后排占位檢測系統(tǒng)毫米波雷達安裝在車頂可感知整個座艙區(qū)域、探測目標并對其進行高精度分類和生物特征的監(jiān)測，監(jiān)測車內(nèi)人數(shù)。
2. CPD（children present detection）兒童存在探測功能防止兒童以及寵物被遺留在車內(nèi)而發(fā)生意外，一旦有兒童被遺留在車內(nèi)，系統(tǒng)會輸出報警信息給駕駛員。
3. SOD（seat occupancy detection）占位檢測功能可以探測到車內(nèi)哪個位置被占用，并可輸出占用信息給車輛，該信息可作為其他功能的二次開發(fā)依據(jù)。
- DMS系統(tǒng)
1. DMS（driver monitoring system）駕駛員監(jiān)控系統(tǒng)駕駛員呼吸、心跳監(jiān)測 駕駛員生命體征異常報警
2. 安全氣囊優(yōu)化毫米波雷達成像可評估身體大小，識別成人還是兒童，以優(yōu)化安全氣囊的部署。
小結：
2. 系統(tǒng)OMS功能及整個座艙監(jiān)控IMS采用毫米波雷達或其他傳感器解決方案作為視覺解決方案的補充。
轉(zhuǎn)自汽車電子與軟件
