《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 設(shè)計(jì)應(yīng)用 > 基于CNN-Transformer混合構(gòu)架的輕量圖像超分辨率方法
基于CNN-Transformer混合構(gòu)架的輕量圖像超分辨率方法
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
林承浩,吳麗君
福州大學(xué)物理與信息工程學(xué)院
摘要: 針對(duì)基于混合構(gòu)架的圖像超分模型通常需要較高計(jì)算成本的問題,提出了一種基于CNN-Transformer混合構(gòu)架的輕量圖像超分網(wǎng)絡(luò)STSR(Swin Transformer based Single Image Super Resolution)。首先,提出了一種并行特征提取的特征增強(qiáng)模塊(Feature Enhancement Block,F(xiàn)EB),由卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和輕量型Transformer網(wǎng)絡(luò)并行地對(duì)輸入圖像進(jìn)行特征提取,再將提取到的特征進(jìn)行特征融合。其次,設(shè)計(jì)了一種動(dòng)態(tài)調(diào)整模塊(Dynamic Adjustment,DA),使得網(wǎng)絡(luò)能根據(jù)輸入圖像來動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)的輸出,減少網(wǎng)絡(luò)對(duì)無關(guān)信息的依賴。最后,采用基準(zhǔn)數(shù)據(jù)集來測試網(wǎng)絡(luò)的性能,實(shí)驗(yàn)結(jié)果表明STSR在降低模型參數(shù)量的前提下仍然保持較好的重建效果。
中圖分類號(hào):TP391文獻(xiàn)標(biāo)識(shí)碼:ADOI:10.19358/j.issn.2097-1788.2024.03.005
引用格式:林承浩,吳麗君.基于CNN-Transformer混合構(gòu)架的輕量圖像超分辨率方法[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理,2024,43(3):27-33.
A lightweight image super resolution method based on a hybrid CNN-Transformer architecture
Lin Chenghao, Wu Lijun
School of Physics and Information Engineering, Fuzhou University
Abstract: In order to address the problem that image super segmentation models based on hybrid architectures usually require high computational cost, this study proposes a lightweight image super segmentation network STSR (Swin Transformer based Single Image Super Resolution) based on a hybrid CNN-Transformer architecture. Firstly, this paper proposes a Feature Enhancement Block (FEB) for parallel feature extraction, which consists of a Convolutional Neural Network (CNN) and a lightweight Transformer Network to extract features from the input image in parallel, and then the extracted features are fused to the features. Secondly, this paper designs a Dynamic Adjustment (DA) module, which enables the network to dynamically adjust the output of the network according to the input image, reducing the network's dependence on irrelevant information. Finally, some benchmark datasets are used to test the performance of the network, and the experimental results show that STSR still maintains a better reconstruction effect under the premise of reducing the number of model parameters.
Key words : image superresolution; lightweighting; Convolutional Neural Network; Transformer

引言

圖像超分辨率(Super Resolution, SR)是一項(xiàng)被廣泛關(guān)注的計(jì)算機(jī)視覺任務(wù),其目的是從低分辨率(Low Resolution, LR)圖像中重建出高質(zhì)量的高分辨率(High Resolution, HR)圖像[1]。由于建出高質(zhì)量的高分辨率圖像具有不適定的性質(zhì),因此極具挑戰(zhàn)性[2]。隨著深度學(xué)習(xí)等新興技術(shù)的崛起,許多基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的方法被引入到圖像超分任務(wù)中[3-6]。SRCNN[3]首次將卷積神經(jīng)網(wǎng)絡(luò)引入到圖像超分任務(wù)中,用卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)圖像的特征表示,并通過卷積層的堆疊來逐步提取更高級(jí)別的特征,使得重建出的圖像具有較高的質(zhì)量。在后續(xù)研究中,Kaiming He等人提出了殘差結(jié)構(gòu)ResNet[5],通過引入跳躍連接,允許梯度能夠跨越層進(jìn)行傳播,有助于減輕梯度消失的問題,使得模型在較深的網(wǎng)絡(luò)情況下仍然能保持較好的性能。Bee Lim等人在EDSR[6]中也引入了殘差結(jié)構(gòu),EDSR實(shí)際上是SRResnet[7]的改進(jìn)版,去除了傳統(tǒng)殘差網(wǎng)絡(luò)中的BN層,在節(jié)省下來的空間中擴(kuò)展模型尺寸來增強(qiáng)表現(xiàn)力。RCAN[8]中提出了一種基于Residual in Residual結(jié)構(gòu)(RIR)和通道注意力機(jī)制(CA)的深度殘差網(wǎng)絡(luò)。雖然這些模型在當(dāng)時(shí)取得了較好的效果,但本質(zhì)上都是基于CNN網(wǎng)絡(luò)的模型,網(wǎng)絡(luò)中卷積核的大小會(huì)限制可以檢測的空間范圍,導(dǎo)致無法捕捉到長距離的依賴關(guān)系,意味著它們只能提取到局部特征,無法獲取全局的信息,不利于紋理細(xì)節(jié)的恢復(fù),使得圖像重建的效果不佳[5]。


本文詳細(xì)內(nèi)容請(qǐng)下載:

http://www.xxav2194.com/resource/share/2000005931


作者信息:

林承浩,吳麗君

福州大學(xué)物理與信息工程學(xué)院,福建福州350108


雜志訂閱.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 麻豆国产96在线|日韩| 日韩在线观看完整版电影| 欧美精品在线视频| 欧洲亚洲国产精华液| 日本中文字幕一区二区有码在线| 成人性生交大片免费看午夜a| 女人18毛片水真多免费播放| 国产香蕉在线观看| 国产成人一区二区三区| 台湾一级淫片完整版视频播放| 亚洲精品成人网久久久久久| 亚洲人成亚洲人成在线观看| 久久久无码精品亚洲日韩按摩| 一区二区三区四区在线观看视频| 97se亚洲综合在线| 青苹果乐园在线高清| 精品一区二区三区在线观看| 欧美日韩中文国产一区| 日本欧美一级二级三级不卡| 好紧好大好爽14p| 国产精品久久久久9999| 国产 欧洲韩国野花视频| 亚洲精品欧美综合四区| 久久水蜜桃亚洲AV无码精品| а√最新版在线天堂| 黄色香蕉视频网站| 精品三级AV无码一区| 最近国语免费看| 好吊色青青青国产在线播放| 国产猛烈高潮尖叫视频免费| 午夜视频在线观看视频| 亚洲午夜久久久久久久久电影网| 中文字幕加勒比| 美女无遮挡拍拍拍免费视频| 精品熟女碰碰人人a久久| 欧美一级在线免费观看| 小坏蛋轻点阿受不了漫画| 国产日韩精品一区二区三区在线 | 97久久人人超碰国产精品| 草莓视频未满十八勿网站| 欧美特黄一片aa大片免费看|