三、車聯(lián)網(wǎng)系統(tǒng)架構(gòu)圖

　　一、數(shù)據(jù)源

　　大數(shù)據(jù)平臺(tái)的數(shù)據(jù)源包括兩類數(shù)據(jù)：

　　1、車載終端數(shù)據(jù)

　　系統(tǒng)規(guī)模由車載終端并發(fā)接入量與消息并發(fā)處理需求決定，其特點(diǎn)為增長(zhǎng)迅速，數(shù)據(jù)類型繁多且數(shù)據(jù)格式多變。大數(shù)據(jù)平臺(tái)必須可能保證車載終端高并發(fā)遠(yuǎn)程接入并傳輸數(shù)據(jù)。同時(shí)還應(yīng)兼顧歷史數(shù)據(jù)的導(dǎo)入，傳統(tǒng)數(shù)據(jù)存儲(chǔ)及分析方式往往以兩種形式處理這些車載終端數(shù)據(jù)：一是用傳統(tǒng)型關(guān)系型數(shù)據(jù)庫(kù)，二是用文件系統(tǒng)。

　　2、 應(yīng)用數(shù)據(jù)

　　應(yīng)用系統(tǒng)相關(guān)數(shù)據(jù)，數(shù)據(jù)相對(duì)較小，增長(zhǎng)較慢。數(shù)據(jù)結(jié)構(gòu)與應(yīng)用強(qiáng)相關(guān)且較為穩(wěn)定。

　　二、數(shù)據(jù)傳輸

　　針對(duì)上述數(shù)據(jù)源，大數(shù)據(jù)平臺(tái)應(yīng)提供相應(yīng)的數(shù)據(jù)傳輸接入工具：

　　1、車載終端數(shù)據(jù)

　　2、實(shí)時(shí)數(shù)據(jù)

　　大數(shù)據(jù)平臺(tái)應(yīng)支持多設(shè)備同時(shí)接入并進(jìn)行數(shù)據(jù)傳輸。高并發(fā)的規(guī)模應(yīng)考慮在十萬(wàn)級(jí)別。

　　3、歷史數(shù)據(jù)

　　大數(shù)據(jù)平臺(tái)應(yīng)提供面向關(guān)系型數(shù)據(jù)庫(kù)與文件系統(tǒng)的數(shù)據(jù)導(dǎo)入接口。

　　4、通訊協(xié)議

　　如果車載終端由不同供應(yīng)商提供且使用不同的私有自定義通訊協(xié)議，大數(shù)據(jù)平臺(tái)應(yīng)提供私有協(xié)議解析適配功能。

　　5、應(yīng)用數(shù)據(jù)

　　大數(shù)據(jù)平臺(tái)不應(yīng)對(duì)建設(shè)在其上的應(yīng)用系統(tǒng)附加限制，如開(kāi)發(fā)語(yǔ)言，通訊協(xié)議等。大數(shù)據(jù)平臺(tái)應(yīng)遵循‘面向服務(wù)架構(gòu)’（Service-Oriented Architecture）的設(shè)計(jì)模式，即各種異構(gòu)的應(yīng)用系統(tǒng)可通過(guò)獨(dú)立的消息中間件進(jìn)行通信，且通信的數(shù)據(jù)路由、消息傳輸協(xié)議、傳輸質(zhì)量與安全都可管理。大數(shù)據(jù)平臺(tái)應(yīng)提供面向消息中間件的數(shù)據(jù)接入與導(dǎo)出接口。

　　三、數(shù)據(jù)預(yù)處理

　　車載終端數(shù)據(jù)的一個(gè)顯著特點(diǎn)是數(shù)據(jù)源源不斷，且具有周期性。因此此類數(shù)據(jù)隨車載終端數(shù)量增多，系統(tǒng)部署規(guī)模的擴(kuò)大會(huì)迅速積累增長(zhǎng)，對(duì)數(shù)據(jù)存儲(chǔ)與分析帶來(lái)較大壓力。對(duì)此，大數(shù)據(jù)平臺(tái)需在數(shù)據(jù)存儲(chǔ)之前進(jìn)行一些必要的預(yù)處理：

　　1、解析

　　每種車載終端數(shù)據(jù)均有固定的schema，大數(shù)據(jù)平臺(tái)應(yīng)提供一種統(tǒng)一的schema定義工具，所有車載終端供應(yīng)商可便捷的通過(guò)此工具將數(shù)據(jù)schema導(dǎo)入或直接編輯。大數(shù)據(jù)平臺(tái)還應(yīng)提供‘通用信號(hào)’功能，在應(yīng)用與數(shù)據(jù)間提供了一個(gè)適配層，使應(yīng)用無(wú)需關(guān)注某一信號(hào)在每個(gè)異構(gòu)車載終端中的名稱。即將類似‘車速’、‘車門(mén)故障’這樣的通用描述與各種異構(gòu)車載終端中的信號(hào)名（例如不同列車總線對(duì)車速信號(hào)的定義可能是Spd/speed/carspeed等）進(jìn)行綁定。

　　2、過(guò)濾

　　針對(duì)解析后的數(shù)據(jù)值，大數(shù)據(jù)平臺(tái)應(yīng)提供去重、降噪、篩選、清洗等工具將無(wú)效數(shù)據(jù)進(jìn)行過(guò)濾，以達(dá)到節(jié)省存儲(chǔ)空間的目的。這些操作應(yīng)該是在數(shù)據(jù)接入時(shí)實(shí)時(shí)處理的。

　　3、預(yù)處理

　　此外，大數(shù)據(jù)平臺(tái)為數(shù)據(jù)分析提供預(yù)處理功能，以便提高后續(xù)數(shù)據(jù)分析的效率。預(yù)處理包括合并、分類、轉(zhuǎn)換與增強(qiáng)等。

　　四、數(shù)據(jù)存儲(chǔ)

　　傳統(tǒng)的集中式的數(shù)據(jù)存儲(chǔ)方案在存儲(chǔ)車載終端數(shù)據(jù)時(shí)均存在一些性能瓶頸。關(guān)系型數(shù)據(jù)庫(kù)的規(guī)模擴(kuò)展是其最大的性能瓶頸，縱向擴(kuò)展意味著花費(fèi)高昂的成本采購(gòu)硬件設(shè)備，橫向擴(kuò)展則對(duì)數(shù)據(jù)庫(kù)管理軟件、數(shù)據(jù)庫(kù)管理員乃至網(wǎng)絡(luò)帶寬與環(huán)境等均提出非常高的要求。這主要是因?yàn)樵谄浜诵脑O(shè)計(jì)理念提出的上世紀(jì)70年代，分布式的概念尚未出現(xiàn)。而文件系統(tǒng)則在數(shù)據(jù)分析時(shí)面臨數(shù)據(jù)索引、文件切分等問(wèn)題，影響分析效率。

　　大數(shù)據(jù)平臺(tái)應(yīng)針對(duì)車載終端數(shù)據(jù)與應(yīng)用數(shù)據(jù)提供分布式與集中式的混合型存儲(chǔ)建構(gòu)。其中對(duì)車載終端數(shù)據(jù)的存儲(chǔ)是對(duì)客觀事實(shí)的記錄，即一旦存入便不會(huì)變更，應(yīng)采用分布式方案來(lái)存儲(chǔ)車載終端數(shù)據(jù)，以便于靈活擴(kuò)展系統(tǒng)存儲(chǔ)規(guī)模。應(yīng)用相關(guān)數(shù)據(jù)則可采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。此外，系統(tǒng)應(yīng)提供數(shù)據(jù)導(dǎo)出功能以便用戶使用專業(yè)工具進(jìn)行數(shù)據(jù)處理。

　　五、數(shù)據(jù)分析

　　大數(shù)據(jù)平臺(tái)的核心功能是將原始數(shù)據(jù)通過(guò)各種數(shù)據(jù)分析的手段轉(zhuǎn)換成對(duì)用戶有意義的信息。大數(shù)據(jù)平臺(tái)的數(shù)據(jù)分析包括：

　　1、基礎(chǔ)數(shù)據(jù)運(yùn)算

　　針對(duì)各種數(shù)據(jù)類型，提供相應(yīng)基礎(chǔ)數(shù)據(jù)分析功能，例如求平均數(shù)、最值、變化率、數(shù)值積分等。

　　2、機(jī)器學(xué)習(xí)

　　大數(shù)據(jù)平臺(tái)應(yīng)內(nèi)置各種機(jī)器學(xué)習(xí)的算法，并為用戶提供友好的客戶端接口。

　　3、自定義數(shù)據(jù)分析工作流

　　用戶可結(jié)合應(yīng)用需求將基礎(chǔ)數(shù)據(jù)運(yùn)算功能、機(jī)器學(xué)習(xí)以及其他分析手段結(jié)合在一起組合成自定義工作流，由大數(shù)據(jù)平臺(tái)提供任務(wù)的調(diào)度與結(jié)果的展示。

　　4、實(shí)時(shí)分析

　　有些數(shù)據(jù)時(shí)效性較強(qiáng)，即需要被實(shí)時(shí)處理才能將原始數(shù)據(jù)轉(zhuǎn)化為對(duì)用戶有意義的信息或被用于支持一些即時(shí)決策。一旦處理不及時(shí)，這些數(shù)據(jù)所包含的信息量將大幅下降。大數(shù)據(jù)平臺(tái)可在數(shù)據(jù)預(yù)處理時(shí)提供實(shí)時(shí)數(shù)據(jù)處理.