大數(shù)據(jù)分析系統(tǒng)架構(gòu)圖

OLAP引擎：OLAP引擎提供全面的多維建模與分析能力。多維模型包括維度、層次、級(jí)別、屬性、指標(biāo)、計(jì)算成員等；同時(shí)預(yù)置系列分析函數(shù)，包括同比/環(huán)比/期比/基比等時(shí)間序列分析、占比/排名/方差等統(tǒng)計(jì)分析、指數(shù)回歸和線性回歸分析等；提供標(biāo)準(zhǔn)的MDX解析與執(zhí)行，與數(shù)據(jù)倉(cāng)庫(kù)等模塊結(jié)合，提供針對(duì)海量數(shù)據(jù)的實(shí)時(shí)分析和處理能力。

語(yǔ)義層：為統(tǒng)一的查詢建模平臺(tái)和數(shù)據(jù)訪問(wèn)接口。除提供標(biāo)準(zhǔn)的查詢建模能力外，還有語(yǔ)義驅(qū)動(dòng)、語(yǔ)義規(guī)則、語(yǔ)義函數(shù)、描述器等等擴(kuò)展方式，滿足不同層面的擴(kuò)展要求。 數(shù)據(jù)集成：能夠勝任在大數(shù)據(jù)量、高并發(fā)、多維分析等環(huán)境背景下的實(shí)時(shí)分析。通過(guò)實(shí)時(shí)數(shù)據(jù)集成（RDI）提供的數(shù)據(jù)實(shí)時(shí)復(fù)制與DW的列式存儲(chǔ)引擎，解決了以往在傳統(tǒng)架構(gòu)模式下，普通行式存儲(chǔ)引擎無(wú)法實(shí)現(xiàn)的業(yè)務(wù)場(chǎng)景。 數(shù)據(jù)倉(cāng)庫(kù)：數(shù)據(jù)倉(cāng)庫(kù)提供針對(duì)海量數(shù)據(jù)進(jìn)行高效的查詢和分析。包括同時(shí)支持關(guān)系數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、以及分布式文件系統(tǒng)進(jìn)行數(shù)據(jù)存儲(chǔ)和加載的多存儲(chǔ)引擎，基于MapReduce框架針對(duì)海量數(shù)據(jù)的高性能查詢和分析，以及MapReduce 框架本身具有的高擴(kuò)展性和容錯(cuò)性。 數(shù)據(jù)挖掘：支持運(yùn)行于分布式文件系統(tǒng)和分布式計(jì)算平臺(tái)之上的分布式數(shù)據(jù)挖掘算法，具體包括：K均值、譜聚類(lèi)算法及其分布式實(shí)現(xiàn)；邏輯斯特回歸、樸素貝葉斯分類(lèi)算法及其分布式實(shí)現(xiàn)；頻繁模式挖掘分析算法及其分布式實(shí)現(xiàn)；潛在狄利克雷分配語(yǔ)義挖掘算法及其分布式實(shí)現(xiàn)；協(xié)同過(guò)濾、概率矩陣分解推薦算法及其分布式實(shí)現(xiàn)；提供分布式挖掘算法的統(tǒng)一操作原語(yǔ)和執(zhí)行引擎。 流計(jì)算引擎：流計(jì)算引擎是為解決系統(tǒng)的實(shí)時(shí)性和一致性的高要求的實(shí)時(shí)數(shù)據(jù)處理框架，具備高可拓展性，能處理高頻數(shù)據(jù)和大規(guī)模數(shù)據(jù)，實(shí)時(shí)流計(jì)算解決方案被應(yīng)用于實(shí)時(shí)搜索、高頻交易的大數(shù)據(jù)系統(tǒng)上。 消息總線：包括主數(shù)據(jù)管理、應(yīng)用集成開(kāi)發(fā)環(huán)境、集中身份管理、集成監(jiān)控管理等。滿足集成平臺(tái)的應(yīng)用需求，支持信息集成、界面集成、流程集成、服務(wù)集成等集成方式。 非結(jié)構(gòu)化數(shù)據(jù)管理：非結(jié)構(gòu)化數(shù)據(jù)不包含內(nèi)嵌的語(yǔ)義結(jié)構(gòu)描述信息，而信息系統(tǒng)需要結(jié)合其“內(nèi)容”而不僅僅是數(shù)據(jù)本身進(jìn)行查詢、檢索、分析與挖掘，因此非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)需要實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)提取，提取的非結(jié)構(gòu)化數(shù)據(jù)是進(jìn)行后續(xù)處理的基礎(chǔ)，具體包括結(jié)構(gòu)化信息和底層/高層特征的提取兩個(gè)。非結(jié)構(gòu)化數(shù)據(jù)提取組件依賴于分布式文件系統(tǒng)和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)提供的原始數(shù)據(jù)作為數(shù)據(jù)源數(shù)據(jù)，依賴于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)來(lái)存儲(chǔ)提取的元數(shù)據(jù)或者特征數(shù)據(jù)，依賴于并行計(jì)算框架來(lái)分布化執(zhí)行過(guò)程，加快執(zhí)行速度。 分布式計(jì)算系統(tǒng)：包括分布式文件系統(tǒng)和分布式計(jì)算框架。分布式文件系統(tǒng)以高可靠的容錯(cuò)機(jī)制為核心，系統(tǒng)架構(gòu)包括多元數(shù)據(jù)服務(wù)器、多數(shù)據(jù)存儲(chǔ)服務(wù)器、多監(jiān)管者、多客戶端，支持大文件和大數(shù)據(jù)塊的分布式存儲(chǔ)與管理；分布式計(jì)算框架基于MapReduce與MPI計(jì)算模型，提供了一套并行計(jì)算框架；并利用物理機(jī)以及虛擬機(jī)的監(jiān)控信息，實(shí)現(xiàn)對(duì)計(jì)算資源的合理分配，支持對(duì)大量工作任務(wù)的靈活切分和分布式調(diào)度。