《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計 > 設(shè)計應(yīng)用 > 高性能高可用Redis客戶端的設(shè)計與實現(xiàn)
高性能高可用Redis客戶端的設(shè)計與實現(xiàn)
2022年電子技術(shù)應(yīng)用第1期
劉世超1,2,楊 斌1,2,劉衛(wèi)國1,2
1.山東大學 軟件學院,山東 濟南250101;2.國家超級計算無錫中心,江蘇 無錫214072
摘要: Redis是一個基于內(nèi)存存儲的非結(jié)構(gòu)化數(shù)據(jù)庫,以高I/O(Input/Output)性能和高響應(yīng)速度著稱,在數(shù)據(jù)緩沖、消息隊列、Key-Value存儲等場景都發(fā)揮著重要的作用。在其支持的眾多客戶端中,C/C++客戶端Hiredis的應(yīng)用尤為廣泛。對Hiredis庫做了深入分析,發(fā)現(xiàn)了其管道功能存在高開銷、指令存儲不當以及內(nèi)存混淆問題。基于此,在32邏輯核的X86架構(gòu)處理器以及64 GB內(nèi)存的Linux服務(wù)器上,設(shè)計并實現(xiàn)了一個面向C/C++的高性能高可用Redis客戶端,通過內(nèi)存預(yù)分配以及內(nèi)存隔離的方法提高了大量指令批處理時的性能并解決了復(fù)雜場景下的內(nèi)存混淆問題。經(jīng)測試,新客戶端提高了3~7倍的指令執(zhí)行效率,同時也保證了復(fù)雜場景下的內(nèi)存安全以及數(shù)據(jù)準確性。
中圖分類號: TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.212432
中文引用格式: 劉世超,楊斌,劉衛(wèi)國. 高性能高可用Redis客戶端的設(shè)計與實現(xiàn)[J].電子技術(shù)應(yīng)用,2022,48(1):46-52,58.
英文引用格式: Liu Shichao,Yang Bin,Liu Weiguo. Design and implementation of high-performance and high-availability redis client[J]. Application of Electronic Technique,2022,48(1):46-52,58.
Design and implementation of high-performance and high-availability redis client
Liu Shichao1,2,Yang Bin1,2,Liu Weiguo1,2
1.School of Software,Shandong University,Jinan 250101,China;2.National Supercomputing Center in Wuxi,Wuxi 214072,China
Abstract: Redis is an unstructured database based on memory storage. It is known for high I/O(Input/Output) performance and high response speed. It plays an important role in data buffering, message queues, key-value storage and other scenarios. Among the many clients it supports, the C/C++ client Hiredis is particularly widely used. This article did an in-depth analysis of the Hiredis library and found that its pipeline function has high overhead, improper instruction storage, and memory confusion problems. Based on this, this article designs and implements a C/C++-oriented high-performance and high-availability Redis client on a 32-core X86 architecture processor and a 64 GB memory Linux server. It improves the performance of processing a large number of instructions and solves the problem of memory confusion in complex scenarios through memory pre-allocation and memory isolation. After testing, the new client has improved instruction execution efficiency by 3~7 times, while also ensuring memory safety and accuracy in complex scenarios.
Key words : Redis;pipeline;Hiredis;memory confusion;performance optimization

0 引言

    隨著互聯(lián)網(wǎng)飛速發(fā)展以及大規(guī)模應(yīng)用的不斷涌現(xiàn),目前已經(jīng)步入了大數(shù)據(jù)時代。非結(jié)構(gòu)化數(shù)據(jù)逐漸替代了傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)并迅速占據(jù)了主導(dǎo)地位,為了管理形式多樣的非結(jié)構(gòu)化數(shù)據(jù),涌現(xiàn)了諸如MongoDB[1]、InfluxDB[2]、Elasticsearch[3]等十分有代表性的數(shù)據(jù)庫。這些數(shù)據(jù)庫雖然針對非結(jié)構(gòu)化數(shù)據(jù)的存取做了很多優(yōu)化,但是受限于硬盤(Hard Disk Drive,HDD)等底層存儲介質(zhì),往往無法滿足高性能場景的需求。

    為了提高性能,以Redis為代表的內(nèi)存數(shù)據(jù)庫應(yīng)運而生。Redis是一個非結(jié)構(gòu)化數(shù)據(jù)庫,支持使用非結(jié)構(gòu)化語言(Not-only Structured Query Language,NoSQL)查詢。同時,Redis通過I/O(Input/Output)多路復(fù)用和DRAM(Dynamic Random Access Memory)提供了高吞吐、高并發(fā)和低時延的服務(wù),在數(shù)據(jù)緩沖、消息隊列、Key-Value存儲等場景都發(fā)揮了重要的作用。

    但是隨著大規(guī)模計算集群的算力逐漸增大,應(yīng)用的數(shù)據(jù)規(guī)模也隨之變大,計算和I/O之間的“存儲墻”也變得愈發(fā)明顯。現(xiàn)有的Redis也遇到一些網(wǎng)絡(luò)和存儲方面的問題。因此如何改進Redis也受到了廣泛的重視,隨之出現(xiàn)了很多Redis優(yōu)化的相關(guān)工作,它們從各種角度對Redis服務(wù)端或客戶端做了改進。




本文詳細內(nèi)容請下載:http://www.xxav2194.com/resource/share/2000003907




作者信息:

劉世超1,2,楊  斌1,2,劉衛(wèi)國1,2

(1.山東大學 軟件學院,山東 濟南250101;2.國家超級計算無錫中心,江蘇 無錫214072)




wd.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 国产v精品欧美精品v日韩| 天天爽夜夜爽人人爽| 亚洲成色在线综合网站| 色婷婷天天综合在线| 国产精品香港三级国产电影| 中文字幕国产视频| 桃子视频在线观看高清免费视频| 免费h成人黄漫画嘿咻破解版| 韩国三级在线高速影院| 国产综合久久久久| 一本大道无码人妻精品专区| 日韩免费高清视频| 亚洲日韩中文字幕一区| 精品亚洲欧美无人区乱码| 国产在线无码精品无码| 57pao一国产成视频永久免费| 岛国在线观看视频| 久久国产成人精品| 欧美性活一级视频| 免费一级成人毛片| 色悠久久久久久久综合网伊人 | 成人a视频片在线观看免费| 亚洲av成人综合网| 欧美视频在线免费播放| 免费看少妇作爱视频| 色多多视频官网| 国产日产久久高清欧美一区| 91精品免费观看| 好大好湿好硬顶到了好爽视频 | 中文字幕在线永久| 最新更新国内自拍视频| 亚洲欧美国产免费综合视频| 精品久久久久久成人AV| 国产一区二区三区免费看| 黑白配hd视频| 国产精品女在线观看| 99久久久国产精品免费牛牛四川| 孩交精品xxxx视频视频| 中文字幕成人精品久久不卡| 日本肉体xxxx裸交| 亚欧色一区w666天堂|