隨著人工智能和5G網(wǎng)絡的興起,“喚醒萬物,萬物互聯(lián)”的時代已經(jīng)來臨。計算量需求的爆發(fā)式增長無疑對數(shù)據(jù)中心的網(wǎng)絡提出了更苛刻的要求,需要更多的高性能數(shù)據(jù)中心。
隨著人工智能和5G網(wǎng)絡的興起,“喚醒萬物,萬物互聯(lián)”的時代已經(jīng)來臨。計算量需求的爆發(fā)式增長無疑對數(shù)據(jù)中心的網(wǎng)絡提出了更苛刻的要求,需要更多的高性能數(shù)據(jù)中心。
數(shù)據(jù)中心承載的網(wǎng)絡轉(zhuǎn)發(fā)數(shù)據(jù)量越來越大,建設高性能網(wǎng)絡勢在必行。以往我們將目光都集中在了軟件定義網(wǎng)絡技術的普及、100G/400G單端口帶寬的提升等方面的新技術,而忽略了性能。一個網(wǎng)絡的性能高低與每個環(huán)節(jié)都休戚相關,并不是簡單地將網(wǎng)絡出口由10G換成40G或100G就能改變的,從流量訪問一直到應用軟件的處理都需要提升,最大的瓶頸在哪里?搞過網(wǎng)絡技術的人都知道,對于一個交換機,其上的端口能做線速轉(zhuǎn)發(fā)是基本要求,但對于服務器來說就很困難,一個1G網(wǎng)卡的服務器,處理流量能達到800M就相當不錯了,這是因為服務器收到數(shù)據(jù)流量還要解析(交換機往往做三層解析就足夠,而且是由專門芯片來完成,不消耗CPU資源),將每個報文的內(nèi)容都要解析出來,然后提供給應用層軟件,例如圖1:
圖1:RDMA與TCP/IP技術對比圖
圖1中右側是經(jīng)典的TCP/IP協(xié)議,是數(shù)據(jù)中心內(nèi)部數(shù)據(jù)傳輸網(wǎng)絡使用的唯一網(wǎng)絡協(xié)議,分為五層,其中藍色標記的代表硬件部分,紅色標記的代表是系統(tǒng)軟件部分,綠色標記的代表是應用軟件部分。在TCP/IP的網(wǎng)絡世界里,一個服務器網(wǎng)卡接收到一個數(shù)據(jù)報文,要經(jīng)過網(wǎng)絡層和傳輸層,再送給應用層,網(wǎng)絡和傳輸層就要消耗CPU資源,由CPU來查詢內(nèi)存地址,檢驗CRC,還原TCP包到應用,占用CPU緩存,單位時間內(nèi)進來的報文數(shù)量越多,消耗CPU的資源就越多,CPU除了處理數(shù)據(jù)報文還要運行其它的應用,CPU并不是完全平穩(wěn)運行的,CPU的高低波動也會影響處理報文的速度,從而影響網(wǎng)絡傳輸性能。左側是RDMA技術,最大的突破是將網(wǎng)絡層和傳輸層放到了硬件中,服務器的網(wǎng)卡上來實現(xiàn),數(shù)據(jù)報文進入網(wǎng)卡后,在網(wǎng)卡硬件上就完成四層解析,直接上送到應用層軟件,四層解析CPU無需干預,這就是RDMA能帶來低延時、高帶寬和低CPU利用率的根本原因,也是RDMA技術的吸引人之處。利用RDMA技術,可以將網(wǎng)卡的帶寬利用率大幅提升,一個擁有1G網(wǎng)卡的服務器,使用RDMA技術,應用軟件處理的數(shù)據(jù)速度就可以接近1G。服務器可以將幾乎100%的CPU資源都提供給計算,降低了CPU在網(wǎng)絡協(xié)議處理中的占用率,服務器可以利用這些CPU資源來做更多計算或提供其他的服務,相當于增加了虛擬機數(shù)量,節(jié)省了服務器資源。
RDMA技術的全稱叫做RemoteDirectMemoryAccess,即遠程直接數(shù)據(jù)存取,就是為解決網(wǎng)絡傳輸中服務器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過網(wǎng)卡將數(shù)據(jù)直接傳入服務器的存儲區(qū),不對操作系統(tǒng)造成任何影響,消除了外部存儲器復制和文本交換操作,解放內(nèi)存帶寬和CPU資源。當一個應用執(zhí)行RDMA讀或?qū)懻埱髸r,不執(zhí)行任何數(shù)據(jù)復制。在不需要任何內(nèi)核內(nèi)存參與的條件下,RDMA請求從運行在用戶空間中的應用中發(fā)送到本地網(wǎng)卡,然后經(jīng)過網(wǎng)絡傳送到遠程服務器網(wǎng)卡。RDMA最早專屬于Infiniband架構,隨著在網(wǎng)絡融合大趨勢下出現(xiàn)了RoCE(RDMAoverConvergedEthernet)和iWARP(RDMAoverTCP/IP),這使高速、超低延時、極低CPU使用率的RDMA得以部署在目前使用最廣泛的數(shù)據(jù)中心網(wǎng)絡上。三種技術都是在網(wǎng)絡設備側實現(xiàn),用來和支持RDMA的網(wǎng)卡進行適配,識別和轉(zhuǎn)發(fā)RDMA報文。InfiniBand采用Cut-Through轉(zhuǎn)發(fā)模式,減少轉(zhuǎn)發(fā)時延,基于Credit流控機制,保證無丟包。RoCE性能與IB網(wǎng)絡相當,DCB特性保證無丟包,需要網(wǎng)絡支持DCB特性,但時延比IB交換機時延稍高一些。iWARP則是利用成熟IP網(wǎng)絡,繼承RDMA優(yōu)點,但如果采用傳統(tǒng)IP網(wǎng)絡丟包對性能影響大。圖2列舉了三種技術的對比情況:
圖2:三種RDMA技術對比
從圖2中可以看到,IB是低延時網(wǎng)絡交換機的專有技術,一般延時可達到140ns,應用程序延時3μs,比普通網(wǎng)絡設備延時要低一個量級,但價格奇貴,一般是普通網(wǎng)絡設備的五到十倍,只有在金融、期貨交易環(huán)境中才會考慮使用,畢竟全部采用在技術和成本方面花費太高。為了降低應用成本,IB組織在IB協(xié)議基礎上增加了適用于以太網(wǎng)的協(xié)議:RoCE和iWARP。使用這兩類協(xié)議就可以通過普通的以太網(wǎng)硬件組網(wǎng)。iWARP技術的主要問題在于穩(wěn)定性,一旦網(wǎng)絡有丟包,性能會奇差,而iWARP就是基于以太網(wǎng)協(xié)議實現(xiàn)的,以太網(wǎng)協(xié)議不可能沒有丟包,這使得iWARP技術沒有了應用空間。IB性能最好,RoCE則用得最多,RoCE是伴隨著RDMA技術才普及起來的,相比于IB技術,RoCE技術仍基于以太網(wǎng)實現(xiàn),但是增加了丟包控制機制,確保以太網(wǎng)處于一個無丟包的狀態(tài),雖然延時比IB差些,但部署成本要低得多,而且在這樣的網(wǎng)絡中,RDMA才是主角,通過服務器網(wǎng)卡來實現(xiàn)RDMA,網(wǎng)絡設備只要通過RoCE技術配合實現(xiàn)就行,關鍵還是靠RDMA來降低時延。
隨著人工智能和5G網(wǎng)絡的興起,“喚醒萬物,萬物互聯(lián)”的時代已經(jīng)來臨。計算量需求的爆發(fā)式增長無疑對數(shù)據(jù)中心的網(wǎng)絡提出了更苛刻的要求,需要更多的高性能數(shù)據(jù)中心。RDMA技術作為一種先進的網(wǎng)絡數(shù)據(jù)傳輸方式映入眼簾,引起了強烈關注。與傳統(tǒng)網(wǎng)絡相比,RDMA可更加顯著地提升應用效率,提供高性能的網(wǎng)絡傳輸。RDMA這么好,為什么還沒有普及呢,仍只在HPC中有些應用,主要還是價格因素,現(xiàn)如今已經(jīng)出現(xiàn)了像RoCE這樣兼容以太網(wǎng)的技術,相信在數(shù)據(jù)中心網(wǎng)絡領域,RDMA會真正的開花結果,尤其在存儲領域,IP存儲已經(jīng)看上了RDMA,很多互聯(lián)網(wǎng)公司均開始考慮現(xiàn)在存儲網(wǎng)絡中部署RDMA,然后慢慢向其它網(wǎng)絡部分延伸。
文章編輯:CobiNet(寧波)
本公司專注于電訊配件,銅纜綜合布線系列領域產(chǎn)品研發(fā)生產(chǎn)超五類,六類,七類線,屏蔽模塊,配線架及相關模塊配件的研發(fā)和生產(chǎn)。
?2016-2019寧波科博通信技術有限公司版權所有浙ICP備16026074號