佐思汽研發布《2019-2020 汽車視覺產業鏈研究報告(下)雙目及其他》。 據舜宇光學觀點,汽車攝像頭分為感知攝像頭和影像攝像頭。
感知攝像頭用于主動安全,需要準確捕捉圖像,一般用于前視和內視。影像攝像頭用于被動安全,并將所拍攝的圖像存儲或發送給用戶,一般用于環視和后視。因此,感知攝像頭和影像攝像頭在成像質量要求和溫度可靠性要求方面完全不同。
感知攝像頭用于車道檢測、信號燈檢測、道路標志識別、車內監測等。如果感知攝像頭拍攝的圖像有任何錯誤,將會引起軟件計算錯誤,并導致不可避免的后果。所以,感知攝像頭的價格敏感性相對較低。 影像攝像頭對價格非常敏感,因此存在激烈的價格戰,對性能的要求不是很高,國內企業介入較多,但是絕大多數都不賺錢。從 2019 年中國乘用車環視前裝市場格局圖可知,環視市場各廠商份額比較分散,不像前視單目市場呈現市場相對集中的局面,TOP6 占據 90%以上份額。
來源:佐思汽研
前視攝像頭需要復雜的算法和芯片,前視單目的單價接近 1000 元,雙目則需 1000 多元。后視、側視以及內置攝像頭單價在 200 元左右。
雙目領域取得突破
國內初創企業在雙目領域取得了突破性進展,尤其是在商用車和專用車市場。 中科慧眼雙目已經出貨一萬多臺,主要用在 Apollo 系列無人車、江鈴輕客、環衛車、無人船、拖拉機、巡邏車等。中科慧眼雙目產品的典型應用是 AEBS 和限高檢測。大約有 30 多個城市的公交集團裝配中科慧眼雙目系統。 雙目用于限高裝置的檢測,是中科慧眼的首創,除了常規的的限高桿,諸如鄉下的小牌坊,涵洞等各種非標限高裝置均可準確感知并及時通過聲光報警裝置提醒司機。房車、特種車輛等均有限高檢測的強需求。
來源:中科慧眼
2019 年,雙髻鯊宣布開發出自由雙目系統,可以使用兩個完全獨立的單目攝像頭實現雙目系統,以擺脫雙目設備體積大、工藝復雜、安裝困難、成本高等固有缺陷。
來源:雙髻鯊科技
兩個攝像頭獨立安裝,固定在車體右側即可。中間無需剛性連接,也不需要嚴格控制攝像頭的角度和間距。“自由雙目”的核心原理是自校準技術,即使攝像頭在使用過程中發生了輕微的變形和移動,雙髻鯊的算法會自動檢測并重新校準,免除了常規雙目所需的定期重新標定校準工作。 2020 年 4 月,Foresight 宣布與 FLIR 合作,整合 FLIR 的紅外攝像頭,結合可見光立體視覺和熱成像立體視覺的技術,在惡劣的光線和天氣條件下提供精確的障礙物檢測。兩個立體通道之間的數據融合,可以有效解決隧道口等明暗快速變化的極端情況下的不報或者誤報。
佐思發布的毫米波報告中曾指出,毫米波雷達在侵蝕其他傳感器的地盤。攝像頭也是一樣,有很多企業用單目攝像頭做測距,做 3D 成像,試圖取代雙目或激光雷達。譬如 MAXIEYE。 MAXIEYE 第一代產品 IFVS-200 系列基于機器學習方案,第三代產品 IFVS-500 系列基于深度學習方案實現單目測距和 3D 掃描。IFVS-500 系列讓單目視覺產品可以像激光雷達一樣進行三維掃描,也可以在 50 米以內實現接近激光雷達的 3D 場景點云掃描,提供目標的直接測距功能,實現 200 米范圍的機動車檢測、100 米范圍的行人及小目標障礙物檢測。
紛紛增強極端場景下的視覺能力
無論是車內還是車外,都需要在光線不好甚至黑暗時獲得視覺能力,這意味著需要利用紅外技術。安森美半導體的 RGB-IR 圖像傳感器采用了 NIR(近紅外)技術,另一家廠商 Trieye 則通過短波紅外(SWIR)相機。短波紅外相機的優勢在于能夠在任何天氣 / 光照條件下看到物體,可以提前識別道路危險(例如道路結冰)。
2020 年 4 月,阿里達摩院研發出用于車載攝像頭的 ISP 處理器。根據路測結果顯示,使用達摩院 ISP 處理器,車載攝像頭在夜間場景下,圖像物體檢測識別能力比業內主流處理器有 10%以上的大幅度提升,原本模糊不清的標注物也得以清晰識別。 2020 年 5 月 19 日,豪威科技正式發布搭載 Nyxel 近紅外技術的圖像傳感器 OX03A2S 。這款 250 萬像素的 ASIL-B 等級傳感器專為外置成像應用設計,可用于車身周圍 2 米內的弱光甚至無光環境。OX03A2S 能夠在弱光環境下檢測和識別其它圖像傳感器無法捕捉的物體。
來源:豪威科技
視覺感知進入深水區,算法決定贏家
隨著智能汽車中視覺傳感器的大量增加,不同類型視覺傳感器的加入,產生的天量數據,給算法處理帶來了挑戰和機會。 視覺 ADAS 算法的領導者 Mobileye 在視覺感知體系當中,同時使用了多種相互獨立的感知算法實現冗余疊加,目的是為了在 Detection 和 Measurement 兩個維度上提升感知的精確度與穩定性。Detection 是決定感知的對象是什么物體,Measurement 是通過對攝像頭的 2D 畫面進行推算,得出感知對象的 3D 信息。 在 Detection 維度,Mobileye 就采用了 6 種獨立算法:
3D 汽車檢測(3DVD):識別 2D 畫面中的目標車輛,將其標注上 3D 的邊界框。
Full Image Detection:主要用于識別車輛兩側近距離的大型物體(如客車或卡車)。
Top View FS:重點識別畫面中沒有被占用的道路并進行標注。
Features Detection (如 Wheels):重點識別獨有特征的物體,例如車輪。
VIDAR:通過多個攝像頭的三角測量生成 3D 畫面,再將 3D 畫面導入到激光雷達感知算法中進行物體識別。
Scene Segmentation(NSS):通過像素級識別,分割出不同種類的物體并用不同顏色標注。
來源:Mobileye
特斯拉也是視覺感知算法的領先者,特斯拉把它的深度學習網絡稱為 HydraNet。整個 HydraNet 包含 48 個不同的神經網絡,通過這 48 個神經網絡,就能輸出 1000 個不同的預測向量,理論上來說,HydraNet 能同時檢測 1000 種物體。為了增強算法能力,特斯拉特地收購了計算機視覺初創公司 DeepScale。 為了在視覺感知算法上追趕特斯拉和 Mobileye,主機廠和 Tier1 們都在擴充軟件工程師團隊。算法能力將成為左右視覺感知性能優劣的決定性因素之一。