中文引用格式： 王繹翔. 用于主動(dòng)學(xué)習(xí)的時(shí)序特征融合預(yù)測(cè)損失網(wǎng)絡(luò)[J]. 電子技術(shù)應(yīng)用，2024，50(6)：10-17.
英文引用格式： Wang Yixiang. Temporal feature fusion learning loss model for active learning[J]. Application of Electronic Technique，2024，50(6)：10-17.
引言
近年來(lái)，深度網(wǎng)絡(luò)在多個(gè)任務(wù)中取得了許多突破性進(jìn)展[1]。但是，深度網(wǎng)絡(luò)的訓(xùn)練需要大量的標(biāo)注數(shù)據(jù)，在很多任務(wù)中，標(biāo)注數(shù)據(jù)的獲取需要專家進(jìn)行標(biāo)注，成本很高。
主動(dòng)學(xué)習(xí)是一種可行的用于減少模型對(duì)標(biāo)注數(shù)據(jù)量依賴的方法。主動(dòng)學(xué)習(xí)模型主要由3個(gè)部分組成，即目標(biāo)任務(wù)模塊、主動(dòng)學(xué)習(xí)模塊和標(biāo)注模塊。目標(biāo)任務(wù)模塊用于在現(xiàn)有的標(biāo)注數(shù)據(jù)集上訓(xùn)練用于目標(biāo)任務(wù)(分類(lèi)、分割等)的模型。主動(dòng)學(xué)習(xí)模塊通過(guò)主動(dòng)學(xué)習(xí)的選擇算法來(lái)選擇合適的樣本用于標(biāo)注。注釋模塊主要根據(jù)主動(dòng)學(xué)習(xí)模塊選擇的樣本為其打上標(biāo)簽并放入標(biāo)注數(shù)據(jù)集中用于下一輪訓(xùn)練。在一般的任務(wù)中，注釋模塊由專家來(lái)完成，專家為選擇的樣本標(biāo)注后加入到標(biāo)注數(shù)據(jù)集中。因此，設(shè)計(jì)主動(dòng)學(xué)習(xí)的選擇算法是主動(dòng)學(xué)習(xí)的核心任務(wù)。
現(xiàn)有的選擇算法主要有三類(lèi)，即基于樣本的不確定性的算法、基于樣本的多樣性的算法以及不確定性和多樣性結(jié)合的算法。其中，早期的選擇算法在文獻(xiàn)[2]中進(jìn)行描述。基于樣本的不確定性的算法選擇對(duì)于任務(wù)模型而言預(yù)測(cè)最不確定的數(shù)據(jù)交給專家進(jìn)行標(biāo)注[3-4]。基于樣本的多樣性的算法則選擇最具有多樣性或代表性的數(shù)據(jù)交給專家進(jìn)行標(biāo)注[5-6]。不確定性和多樣性結(jié)合的算法則綜合以上兩點(diǎn)來(lái)對(duì)樣本進(jìn)行評(píng)估和選擇[7]。
目前的主動(dòng)學(xué)習(xí)模型主要有任務(wù)依賴的模型和任務(wù)不可知的模型兩類(lèi)。大多數(shù)主動(dòng)學(xué)習(xí)模型屬于任務(wù)依賴型主動(dòng)學(xué)習(xí)模型[8]。針對(duì)某項(xiàng)特定的目標(biāo)任務(wù)進(jìn)行選擇算法的設(shè)計(jì)，這些算法往往只能適用于某項(xiàng)特定任務(wù)，可擴(kuò)展性和任務(wù)泛化性較差。近年來(lái)，許多與任務(wù)無(wú)關(guān)的主動(dòng)學(xué)習(xí)模型被提出并用于各個(gè)任務(wù)中，這類(lèi)模型在多類(lèi)任務(wù)中都有很好的效果。
本文詳細(xì)內(nèi)容請(qǐng)下載：
http://www.xxav2194.com/resource/share/2000006022
作者信息：
王繹翔
（寧波大學(xué) 信息科學(xué)與工程學(xué)院， 浙江 寧波 355211）
