AMD-賽靈思自適應(yīng)計算挑戰(zhàn)賽已圓滿落幕，本屆挑戰(zhàn)賽歷時半年，獲得全球FPGA開發(fā)者廣發(fā)關(guān)注。此次大賽要求開發(fā)者們結(jié)合自身技術(shù)能力，綜合運用 AMD-賽靈思自適應(yīng)計算平臺與 Vivado? ML、Vitis? 統(tǒng)一軟件平臺以及 Vitis AI 開發(fā)環(huán)境，開發(fā)創(chuàng)新創(chuàng)意應(yīng)用，解決現(xiàn)實問題。

　　本屆挑戰(zhàn)賽由三大主要賽道構(gòu)成，每個賽道最高獎金 10,000 美元：

　　邊緣計算（使用賽靈思 Kria? KV260 視覺入門套件）

　　數(shù)據(jù)中心 AI（使用賽靈思 VCK5000 AI 推斷開發(fā)卡）

　　數(shù)據(jù)中心分析（使用賽靈思Varium? C1100 區(qū)塊鏈加速器）

　　此外，大賽今年新增了兩個賽道。一個是“賽靈思大學(xué)計劃”，鼓勵高校學(xué)子提交創(chuàng)新項目，積極參與工程實踐；另一個是“科技女性”，旨在號召更多女性開發(fā)者領(lǐng)導(dǎo)與參與技術(shù)競賽，最高獎金均為 2,500 美元。

　　今年的比賽有來自 35 個國家的 2000 多位個人和團隊報名參賽，共提交 634 個硬件申請借用項目，其中 165 個項目經(jīng)評選后成功獲得硬件進行開發(fā)。

　　五個賽道總共產(chǎn)生 14 位獲獎?wù)撸劷鹂傤~ 70,000 美元。與去年相比，入圍比賽的應(yīng)用數(shù)量增加了 3 倍以上。AMD-賽靈思很高興看到比賽規(guī)模的持續(xù)擴大與參與者的技術(shù)熱情，再次感謝每一位參賽者。

　　獲獎作品概覽：

　　邊緣計算第一名

　　1. Karp - Kria 自主機器人平臺

　　Jorge Lamperez

　　項目簡介

　　Kria自動機器人平臺 （Karp） 采用 Kria KV260 視覺 AI 入門套件構(gòu)建。KV260 套件以開箱即用的方式為設(shè)計視覺應(yīng)用提供可負擔(dān)、易于使用的開發(fā)平臺。作為 Kria K26 SOM 的開發(fā)平臺，KV260專門針對高級視覺應(yīng)用開發(fā)，而且不需要具備復(fù)雜的硬件設(shè)計知識。

　　該項目使用了多種不同的先進技術(shù)，如 AMD-賽靈思 FPGA、Vitis-AI 2.0、ROS 2、Odrive 電機控制器、Velodyne 激光雷達等。Karp高度可定制，方便用戶在這個低成本機器人平臺上開發(fā)自己的應(yīng)用。

　　邊緣計算第二名

　　1. PhiGent Heimdallr 雙目視覺雷達方案

　　Phigent Robotics

　　該項目在 KV26 SOM 上實現(xiàn)了基于 CNN 的立體應(yīng)用。

　　項目簡介

　　深度估算是自動駕駛領(lǐng)域的一項關(guān)鍵技術(shù)。為了獲取障礙物的距離信息，此項技術(shù)可以采用包括激光雷達、單目攝像頭和紅外線在內(nèi)的各種傳感器實現(xiàn)。作為自動駕駛的最常用傳感器，攝像頭能夠獲取更全面、豐富而又密集的信息。基于立體視覺的深度估算技術(shù)可以準確識別和定位運動與靜止目標(biāo)及路面對象。此外，它還能夠獲取隨機障礙物的臨界點云深度信息，從而有效降低漏檢率。

　　隨著卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展以及大規(guī)模標(biāo)準立體數(shù)據(jù)集的問世，基于神經(jīng)網(wǎng)絡(luò)的立體匹配算法得以快速發(fā)展，計算精度與效率均超過了傳統(tǒng)算法。為了把這種算法應(yīng)用于自動駕駛，關(guān)鍵是在邊緣設(shè)備中部署立體匹配算法。

　　在自動駕駛領(lǐng)域，作為最合適的人體識別解決方案，立體視覺解決方案一直獲得大量關(guān)注。它可以獲取非常可靠的高精度密集深度信息。借助強大的特征提取功能，基于深度學(xué)習(xí)的端到端雙目立體匹配技術(shù)能夠確保那些具有弱紋理和重復(fù)紋理的對象仍然可以輸出有效的高精度深度信息，從而滿足智能駕駛系統(tǒng)在各種場景下的感測需求。此外，通過持續(xù)的數(shù)據(jù)訓(xùn)練，神經(jīng)網(wǎng)絡(luò)可以獲得更高的準確性。這些因素使基于 CNN 的立體應(yīng)用成為 ADAS/AD 的大勢所趨。

　　與 GPU 平臺相比，F(xiàn)PGA 的優(yōu)勢是功耗低且具有更高的效率與靈活性水平。FPGA 中的豐富接口使其能夠靈活適應(yīng)各種自動駕駛場景。

　　在該作品中，參賽團隊針對基礎(chǔ)數(shù)據(jù)注入演示選用了 KV260 開發(fā)板，驗證在 ZU5 中部署 CNN 立體應(yīng)用的可行性。在最終版本中制作了被稱為 heimdallr-DEB 的 ZU5 擴展板，用于針對實時演示連接 FPGA 與立體攝像頭。

　　2. 采用邊緣計算的人類-AI 交互式診斷系統(tǒng)

　　All-Nighter Valkyrie

　　這是在 KV260 上創(chuàng)建的、基于深度學(xué)習(xí)的全新診斷系統(tǒng)，用于參照專家注釋來推斷準確的腫瘤分級。

　　該項目的目標(biāo)是設(shè)計出原型系統(tǒng)，即：用于肝臟腫瘤分割、基于邊緣計算設(shè)備的人類-AI 交互式診斷系統(tǒng) （HIDE）。參賽者并未采用常規(guī)的云-客戶端架構(gòu)，而是將 HIDE 的主要工作流程集成到單個現(xiàn)場可編程門陣列 （FPGA） 電路板，即 AMD-賽靈思 Kria KV260 視覺 AI 入門套件，該套件旨在實現(xiàn)交互式數(shù)據(jù)與注釋導(dǎo)入、數(shù)據(jù)存儲、AI 推斷和輸出圖像可視化等功能。為了解原型系統(tǒng)的其他優(yōu)勢，參賽者進一步估算了模型的性能與功耗。

　　KV260 與 Vitis AI 平臺可以為交互式診斷系統(tǒng)主動解決實際難題提供快速解決方案。根據(jù)該項目團隊的的開發(fā)經(jīng)驗，最大的優(yōu)勢是 AI 工程師/科學(xué)家無需具備過多有關(guān) FPGA 計算的知識就能夠?qū)⒒?GPU 的深度學(xué)習(xí)解決方案并行轉(zhuǎn)換到 KV260。參賽者認為KV260 具有低時延、高吞吐量、低能耗等優(yōu)勢，有很大潛力成為輕量級 AI 應(yīng)用產(chǎn)前的知名業(yè)務(wù)預(yù)備平臺。

　　邊緣計算第三名

　　1. 基于賽靈思 KV260 實現(xiàn)智能家用設(shè)備的手勢控制

　　Peter Quinn

　　編譯運行在賽靈思 Kria KV260 上的 PyTorch 預(yù)訓(xùn)練模型，通過 USB 攝像頭進行手勢識別來控制FireTV 手柄。

　　當(dāng)今的家庭擁有日益增多的大量智能設(shè)備，而智能家庭監(jiān)控攝像頭日益普及，但是它們生成的視頻大部分未得到利用，只不過是偶然查看而已。如果對已經(jīng)生成的此類數(shù)據(jù)進行處理并且把它用于控制 IoT 設(shè)備會怎么樣？幸運的是，利用功能強大的最新邊緣計算設(shè)備，如賽靈思 Kria KV260，此類應(yīng)用的可行性在日益提高。

　　在本項目中，參賽者展示了如何采用賽靈思 KV260 處理輸入視頻，以實現(xiàn)對手勢的實時檢測與分類，同時展示了如何采用相關(guān)預(yù)測結(jié)果控制智能家居設(shè)備。

　　2. 基于視覺演示學(xué)習(xí)的自動駕駛小車

　　Chuanhong Guo and Wang Yankui

　　由 KV260 和車前安裝的 USB 攝像頭驅(qū)動的模型車。

　　項目簡介

　　很多情況下我們只希望汽車僅完成新場景中的某些特定任務(wù)。在傳統(tǒng)的自動駕駛?cè)蝿?wù)中，通常需要由激光雷達、攝像頭和其他設(shè)備協(xié)調(diào)新的行走或巡游任務(wù)。此類解決方案需要針對每個新的環(huán)境對參數(shù)進行調(diào)節(jié)，而且靈活性不足。

　　3. Kria 智能監(jiān)控攝像頭

　　Ralph Yamamoto

　　根據(jù)飛行時間傳感器測量的距離切換 AI 檢測模型的智能攝像頭。

　　從本項目開始到結(jié)束，作者在努力嘗試確定哪個設(shè)計流程能夠最完美地實現(xiàn)他的設(shè)計目標(biāo)。最終挑選出三個流程 – PetaLinux、Ubuntu 或者 Ubuntu/PYNQ。所有這些流程都采用了 AMD-賽靈思的Vitis-AI 和 DPU。

　　為了使車輛快速適應(yīng)新的場景，項目作者從演示學(xué)習(xí)中獲得了靈感，并利用靈活、易于收集的視覺數(shù)據(jù)與神經(jīng)網(wǎng)絡(luò)執(zhí)行模仿學(xué)習(xí)。通過這種方法，我們只需要手動駕駛車輛來收集圖像數(shù)據(jù)與駕駛參數(shù)，用作創(chuàng)建數(shù)據(jù)集和訓(xùn)練網(wǎng)絡(luò)模型的標(biāo)簽。在應(yīng)用中，車輛可以讀取攝像頭數(shù)據(jù)，然后通過模型輸出轉(zhuǎn)向角度，完成相關(guān)任務(wù)。

　　數(shù)據(jù)中心 AI

　　1. 用于8 個臨床檢驗室的即時醫(yī)療圖像分析助手

　　NYCity

　　項目簡介

　　在這個類別里，開發(fā)者們希望 VCK5000 與 Vitis AI 實現(xiàn)最完美的搭配使用，為 AI 推斷加速。VCK5000 開發(fā)卡專門針對需要高吞吐量 AI 推斷和信號處理計算性能的設(shè)計。

　　為了準確檢測息肉并減輕醫(yī)生的負擔(dān)，開發(fā)團隊使用 VCK5000 開發(fā)板來創(chuàng)建實時息肉檢測系統(tǒng)。該系統(tǒng)最多可實時并行批量處理 8 個息肉分割任務(wù)，同時不劣化多個任務(wù)的推斷速度。

　　來自每臺單獨儀器的影像通過網(wǎng)絡(luò)傳送給服務(wù)器，隨后，服務(wù)器使用 VCK5000 內(nèi)置的 DPU 檢測息肉，最后將分割結(jié)果回傳給原始儀器。

　　依托此類結(jié)果，醫(yī)生便能夠更清楚地向患者闡述他們的疾病。而且已標(biāo)記息肉的手術(shù)視頻能夠為學(xué)術(shù)討論提供寶貴信息。該團隊希望這一創(chuàng)意和設(shè)計能夠為醫(yī)療行業(yè)帶來貢獻，同時也希望能夠幫助醫(yī)生拯救更多生命。

　　2. 綠色計算：基于Versal 的圖像修復(fù)流水線

　　Stefan Blattmann

　　展示基于超越業(yè)界一流計算系統(tǒng)性能的 VCK5000 的低功耗圖像修復(fù)流水線。

　　項目簡介

　　1. 背景

　　該項目作者具有移動測繪經(jīng)歷，因而決定創(chuàng)建一個能夠改進汽車與無人機等移動測繪系統(tǒng)的圖像質(zhì)量的圖像修復(fù)流水線。移動測繪系統(tǒng)通常用于獲取道路、城市與基礎(chǔ)設(shè)施的 3D 數(shù)據(jù)。大多數(shù)移動系統(tǒng)通常都采用攝像頭與激光掃描儀來獲取 3D 數(shù)據(jù)。由于測繪系統(tǒng)只從一個場景獲取一副圖像，因此圖像質(zhì)量至關(guān)重要，所以該項目要創(chuàng)建一個能夠改進圖像質(zhì)量的處理流水線。并且由于移動測繪的要求非常特殊，因此也需要創(chuàng)建一個適應(yīng)移動測繪難題的更常用解決方案。

　　移動測繪應(yīng)用的另一個要求是能源效率。大多數(shù)系統(tǒng)的能源都有限，尤其是無人機。參賽者決定密切關(guān)注系統(tǒng)的能耗。項目作者認為這一點不單單是對移動測繪應(yīng)用至關(guān)重要，因為云系統(tǒng)耗電量在 2030 年之前幾乎會一直以指數(shù)方式增長。

　　由于 VCK5000 卡常用于數(shù)據(jù)中心應(yīng)用而非移動測繪車輛，所以將該項目命名為“綠色計算：基于 Versal 的圖像修復(fù)流水線”。

　　2. 簡介

　　本項目推出一種基于 UNet 卷積網(wǎng)絡(luò)的圖像修復(fù)處理流水線。圖像流水線是專門面向 Versal VCK5000 卡進行設(shè)計的，同時采用中等規(guī)模 SIDD 數(shù)據(jù)集進行訓(xùn)練。整個處理流水線進行優(yōu)化處理，以期在每秒幀數(shù) （FPS） 性能方面實現(xiàn)高效運行，同時達到基于 GPU 的推斷的準確性。除了流水線開發(fā)，另外還對 Versal 與 GPU 系統(tǒng)的功耗進行了詳細研究。該項目的研究重點涵蓋三項不同的要求：

　　· 圖像修復(fù)流水線的能耗

　　· 能夠在特定模型精度每秒處理特定幀數(shù)

　　· 可靠推斷時間與可擴展性

　　對圖像修復(fù)處理進行訓(xùn)練，以消除圖像噪聲。圖像流水線針對智能手機攝像頭圖像進行優(yōu)化。可行應(yīng)用可能是基于云的圖像增強服務(wù)。

　　本項目開發(fā)的 VCK5000 圖像修復(fù)流水線在性能 （FPS） 和功耗方面超越最先進的 GPU。除了性能分析，詳細分析展示出不同訓(xùn)練與量化步驟如何影響卷積網(wǎng)絡(luò)的準確性。相關(guān)分析并不局限于特定模型或網(wǎng)絡(luò)，針對定制應(yīng)用可以輕松調(diào)整所需的步驟。由 Versal VCK5000 處理的最終網(wǎng)絡(luò)進入 paperswithcode 網(wǎng)站 15 強“SIDD 圖像降噪”網(wǎng)絡(luò)榜單（2022 年 3 月 30 日）。

　　在網(wǎng)絡(luò)優(yōu)化之后對 Versal 系統(tǒng)進行了詳細功率分析。Versal 系統(tǒng)功耗與基于GPU 的推斷相當(dāng)。本項工作的核心是運行時間功耗與推斷性能。訓(xùn)練與預(yù)處理的分析主要取決于訓(xùn)練數(shù)據(jù)集的規(guī)模（參賽者觀點），其不在本項目范圍內(nèi)。有關(guān)代碼結(jié)構(gòu)的靈感來自AMD-賽靈思 Vitis-AI 教程。所需步驟全部都分配到不同的 Python 或 Shell 腳本。run_all.sh 腳本處理實現(xiàn)整個處理流水線的所有步驟。

　　3. 基于 VCK5000 的 Deepfakes C-L-I

　　TheMatrix

　　采用 CautionVCK5000 AI 推斷卡加速 Deepfake C-L-I（分類-本地化-推斷）。

　　項目簡介

　　更好地生成模型和更大的數(shù)據(jù)集已經(jīng)催生出能夠騙過人眼與機器的更真實虛假視頻。如今假新聞的危害已經(jīng)眾所周知，而在通過社交網(wǎng)絡(luò)每天視頻內(nèi)容觀看時長超過 1 億小時的大背景下，偽造視頻的傳播正在引起越來越多的關(guān)注。

　　由于技術(shù)快速增長和計算速度提升，深度偽造視頻在將來會隨處可見并且可以到處直播，例如：通過直播新聞頻道以及 Youtube、Twitch、Instagram 等視頻流網(wǎng)站進行傳播。

　　有效檢測是阻止深度偽造視頻的惡意傳播與濫用的關(guān)鍵。需要在惡意深度偽造視頻擴散失控之前對其進行速度更快的解碼。

　　本項目的目標(biāo)是采用賽靈思 VCK5000 AI Versal 卡增強深度偽造推斷。

　　大數(shù)據(jù)分析

　　1. TRIDENT：硬件實現(xiàn)的 Poseidon哈希算法

　　DatenLord

　　在 FPGA 中實現(xiàn)了用于提高區(qū)塊鏈證明存儲性能的 ZK-SNARK 友好Poseidon 哈希算法。

　　2. 向多重哈希算法的快速 DFX

　　Quarky

　　通過具備快速動態(tài)函數(shù)交換功能的時間分割方法高效計算多重哈希算法。

　　3. 分散管理的云加速器

　　EdOliver, Victor Altamirano, Alejandro Sanchez

　　采用賽靈思 Varium C1100 在 Flux 上加快區(qū)塊鏈傳輸系統(tǒng)。

　　科技女性（WIT）

　　1. 用于自動注射的肌內(nèi)部位檢測

　　Team J-Eye: Runxi Wang, Yuqi Gu, Xinfei Guo

　　本項目探索一種用于檢測肌內(nèi)注射部位的低成本解決方案，以實現(xiàn)新一代自動疫苗注射。

　　項目簡介

　　COVID-19 疫情仍然在全球肆虐。它影響到人類生活的眾多方面，而且給公共健康、全球運輸系統(tǒng)以及眾多領(lǐng)域帶來了前所未有的挑戰(zhàn)。大多數(shù)政府都實施了封鎖政策并且限制國際旅行，以緩解病毒傳播。盡管還不存在能夠抗擊病毒的靈丹妙藥，不過接種疫苗目前仍然是降低病毒的死亡率與發(fā)病率的最有效方法之一。

　　但是，全球疫苗接種率仍然較低，尤其是在低收入國家，因為其醫(yī)療資源與資金有限。提供低成本疫苗接種解決方案迫切而又極具挑戰(zhàn)。疫苗開發(fā)本身就成本高昂，而且另一個昂貴的成分是疫苗接種本身，其需要各類附加資源。此外，傳統(tǒng)疫苗接種可能會增加病毒傳播的風(fēng)險，而且毋庸置疑也會增加醫(yī)護人員的工作量。

　　總而言之，當(dāng)前臨床需求表明，在持續(xù)疫情仍不斷帶來威脅而且全球社會實施前所未有的措施（包括社交疏離與封鎖）的時期迫切需要安全、充足的疫苗覆蓋。

　　“在這個項目中，我們提出了J-Eye，一種基于Xilinx KV260板的低成本2D視覺-人工智能輔助肌肉注射部位檢測方案。最終目標(biāo)是推動開發(fā)新一代自動疫苗注射應(yīng)用。

　　在這里，我們的目標(biāo)是利用Xilinx提供的強大工具套件，在KV260上構(gòu)建一個低成本的注射部位檢測應(yīng)用程序。我們還旨在探索使用輕量級AI模型的2D目標(biāo)檢測/定位技術(shù)的能力，該模型可以在FPGA板上輕松實現(xiàn)。” —— Team J-Eye

　　賽靈思大學(xué)計劃 （XUP）

　　1. 面向智慧城市的一體化自適應(yīng)計算平臺

　　Yufan Lu

　　可以根據(jù)模型規(guī)模、處理分支、推斷間隔和硬件配置實時動態(tài)調(diào)整性能。

　　項目簡介

　　在本次項目中，作者基于 KV260 SoM 設(shè)計出了靈活的視頻處理框架，其可以用于智慧城市智能交通運輸系統(tǒng) （ITS） 所使用的智能攝像頭應(yīng)用。該框架不但能夠利用語義分割與道路標(biāo)線檢測網(wǎng)絡(luò)自動檢測應(yīng)用場景（如：車輛或行人），而且還可以自動針對相關(guān)應(yīng)用場景自動選擇最佳 DNN 模型。得益于具有動態(tài)可重新配置功能與運行時間管理 API，該系統(tǒng)在運行時間無需停止視頻流水線即可動態(tài)切換 DNN 推斷模型。因此此款智能攝像頭系統(tǒng)最終擁有真正的自適應(yīng)性，而且能夠以更聰慧的方式達到最高性能。