產(chǎn)品介紹

大數(shù)據(jù)服務(wù)總線是云計(jì)算平臺(tái)內(nèi)平臺(tái)服務(wù)層的核心支撐組件，承載著可提供的數(shù)據(jù)服務(wù)資源，并對(duì)服務(wù)提供者和使用者搭建一個(gè)可交互共享的服務(wù)中介平臺(tái)，兼容適配異構(gòu)多云，解決分布式數(shù)據(jù)訪問和不同應(yīng)用間訪問調(diào)用的差異問題，將跨地域、跨層級(jí)、跨部門的應(yīng)用系統(tǒng)及數(shù)據(jù)有機(jī)地聯(lián)系與整合在一起，實(shí)現(xiàn)了全網(wǎng)分布式信息共享和資源綜合利用。

技術(shù)淺析

傳輸可觀察

提供可觀察性，實(shí)現(xiàn)傳輸過程的可見、透明、白盒化

●日志采集+解析：指標(biāo)度量、分布式鏈路、結(jié)構(gòu)化日志、傳輸賬單

●標(biāo)準(zhǔn)數(shù)據(jù)格式和上報(bào)API

●開放數(shù)據(jù)格式和采集API

高可靠傳輸

網(wǎng)絡(luò)可靠：檢測-重傳機(jī)制

●差錯(cuò)檢測：數(shù)據(jù)摘要/指紋→錯(cuò)誤重傳

●丟包檢測

●發(fā)送方檢測：定時(shí)檢查等待的確認(rèn)→超時(shí)重傳

●接收方檢測：協(xié)商連續(xù)編號(hào)/數(shù)據(jù)清單→選擇重傳

●重復(fù)檢測：唯一性數(shù)據(jù)標(biāo)識(shí)/摘要指紋→冗余過濾

●順序檢測：時(shí)間戳/有序編號(hào)→重新排序

節(jié)點(diǎn)可靠性

●本地持久化緩沖，支持?jǐn)嚯姳Ｗo(hù)、異?；謴?fù)

●滾動(dòng)WAL和異步落盤，降低持久化影響

●節(jié)點(diǎn)HA集群

對(duì)賬支持

●輸出邊界賬單，供外部對(duì)賬

可靠與性能的平衡

高性能傳輸

并發(fā)模型

●非阻塞異步IO：epoll多路復(fù)用、Reactor線程模型

協(xié)議效率

●七層HTTP  四層TCP

●減少報(bào)文冗余，支持二進(jìn)制格式（壓縮透傳）

大報(bào)文：超過發(fā)送緩沖區(qū)大小

●分塊并發(fā)：切分參數(shù)支持靜態(tài)配置、動(dòng)態(tài)統(tǒng)計(jì)更新

●流水線并發(fā)、多鏈路并行、多核心并行

●內(nèi)部編號(hào)，確保接收端的可靠拼裝

●斷點(diǎn)續(xù)傳

文件系統(tǒng)

●零拷貝

●小文件合并：拼包，對(duì)齊MTU；減少新建連接數(shù)

適應(yīng)性傳輸

根據(jù)功能、部門及業(yè)務(wù)等因素動(dòng)態(tài)構(gòu)建差異化、隔離的專用虛擬通道

●綁定資源池（ CPU、線程、內(nèi)存、網(wǎng)絡(luò)、磁盤）、傳輸策略（優(yōu)先級(jí)、可靠性等）

適應(yīng)不同優(yōu)先級(jí)、可靠性、安全要求、傳輸策略的精準(zhǔn)、平衡需要

●高可靠 vs. 高吞吐

●大報(bào)文&大文件傳輸 vs. 普通請(qǐng)求服務(wù)

應(yīng)用場景

邏輯上把請(qǐng)求過程和響應(yīng)過程分成異步的兩部分，但在具體的物理協(xié)議適配上：

●對(duì)于HTTP這種同步請(qǐng)求響應(yīng)的協(xié)議，在節(jié)點(diǎn)側(cè)同步阻塞響應(yīng)，保持物理的同步調(diào)用

●對(duì)于PCI這種異步請(qǐng)求響應(yīng)的協(xié)議，就原生支持了；當(dāng)然目前提供的PCI Client API的封裝版本rbsp api，有實(shí)現(xiàn)應(yīng)用側(cè)的異步仿真同步。