基于Flink流處理框架的FFT并行及優化
信息技術與網絡安全
鐘旭陽1，2，徐 云1，2
(1.中國科學技術大學 計算機科學與技術學院，安徽 合肥230026； 2.安徽省高性能計算重點實驗室，安徽 合肥230026)
摘要： FFT作為雷達信號處理的關鍵計算步驟之一，本質上是一個基于數據流的處理過程。以往的FFT計算大多集中在通用計算平臺上進行并行計算實現，計算系統存在擴展性和魯棒性問題。隨著科學計算應用在Flink上的逐漸興起，將FFT在Flink上進行并行和優化，不僅可以很好地利用框架自身良好的系統擴展性和魯棒性，同時也能使其具備高吞吐的實時性能。基于Flink對FFT流處理算法流程進行了設計和優化，同時針對Flink對適用于FFT計算的緩存窗口機制進行了設計，實驗結果表明，改進后FFT并行算法在多個大規模點數下計算速度均有所提高。
中圖分類號： TP311.1
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.08.009
引用格式： 鐘旭陽，徐云. 基于Flink流處理框架的FFT并行及優化[J].信息技術與網絡安全，2021，40(8)：53-59.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.08.009
引用格式： 鐘旭陽，徐云. 基于Flink流處理框架的FFT并行及優化[J].信息技術與網絡安全，2021，40(8)：53-59.
FFT parallel algorithm and optimization based on Flink stream processing framework
Zhong Xuyang1，2，Xu Yun1，2
(1.School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China； 2.Key Laboratory of High Performance Computing of Anhui Province，Hefei 230026，China)
Abstract： As one of the key calculation steps of radar signal processing, FFT is essentially a processing process based on data stream. In the past, most of the previous FFT calculations concentrated on the implementation of parallel calculations on a general-purpose computing platform, and the computing system has problems with scalability and robustness. With the increasing popularity of scientific computing applications on Flink, parallelizing and optimizing FFT on Flink can not only make good use of the framework′s own strong system scalability and robustness, but also enable it to have high-throughput real-time performance. Based on Flink, this paper designs and optimizes the FFT stream processing algorithm flow. At the same time, it designs a buffer window mechanism suitable for FFT calculation in Flink. The experimental results show that the improved FFT parallel algorithm has a better calculation speed at multiple large-scale points.
Key words : FFT parallel algorithm；radar signal processing；distributed stream processing；Apache Flink
0 引言
快速傅里葉變換(Fast Fourier Transform，FFT)是實現離散傅里葉變換及其逆變換的算法。FFT使用分而治之的主要思想，其主要目的是將一個復雜的大問題分解成多個簡單的小問題，然后分別解決這些小問題[1]。FFT在科學計算領域具有極其重要的地位[2]。利用FFT能夠在計算離散傅里葉變換時大大減少所需要的乘法次數，并且FFT點數規模越大，FFT算法所能夠節省的計算量就越顯著，因此FFT廣泛應用于數據信號處理、地震預報、石油勘探等領域。
已有的FFT分布式計算方法大多基于MapReduce批處理系統[1，3-5]，其中FFT計算作為一個整體，在某一個轉換操作中直接計算來自上一個操作的整個輸出數據，忽視了FFT計算特性的同時，還需要等待較長時間才能延遲得到處理結果。目前并未有成熟的、基于流粒度的對FFT的流處理分布式算法并行優化相關研究。且現如今Flink分布式流處理框架大都用于社交網絡等領域中簡單的數據項統計應用，對于FFT此類耗時大、數據量大的科學計算問題并不適用，因此需要對Flink相關的機制進行應用和改造，使得其符合FFT計算的要求。
本文詳細內容請下載：http://www.xxav2194.com/resource/share/2000003725
作者信息：
鐘旭陽1，2，徐 云1，2
(1.中國科學技術大學 計算機科學與技術學院，安徽 合肥230026；
2.安徽省高性能計算重點實驗室，安徽 合肥230026)
此內容為AET網站原創，未經授權禁止轉載。