大數(shù)據(jù)集成平臺(Know DataIntergration),是一款通用的數(shù)據(jù)采集、治理/數(shù)據(jù)處理軟件,解決對數(shù)據(jù)湖獲取、治理、感知和技術(shù)支持等諸多問題。
通過友好GUI界面,業(yè)務(wù)人員可以按照他們關(guān)心的方式來操作數(shù)據(jù),包括: 創(chuàng)建數(shù)據(jù)源、定義數(shù)據(jù)加載、數(shù)據(jù)預(yù)處理、轉(zhuǎn)換,發(fā)布到目標(biāo)系統(tǒng)。因為不需要部署任何代碼,也不需要依賴IT部門,業(yè)務(wù)人員做到了對項目的完全掌控,從而極大的減少項目所需的時間。
用戶通過世通數(shù)據(jù)集成平臺可以建立和管理數(shù)據(jù)模型,建立和管理數(shù)據(jù)源,建立和管理主數(shù)據(jù),設(shè)計 ETL 流程以從各種數(shù)據(jù)源中抽取數(shù)據(jù)、轉(zhuǎn)換/清洗數(shù)據(jù)、把數(shù)據(jù)加載到數(shù)據(jù)倉庫或數(shù)據(jù)中心,調(diào)度和監(jiān)控 ETL作業(yè)的運行狀態(tài),將 ETL作業(yè)通過 HA 集群分布到不同的 ETL服務(wù)器上運行。
世通數(shù)據(jù)集成平臺除了支持各種常見的數(shù)據(jù)庫如 Oracle、 DB2、 MySQL 等,還支持各種平面文件,另外支持 Hadoop、 HBase、 MongoDB 等 NoSQL 數(shù)據(jù)源。世通數(shù)據(jù)集成平臺內(nèi)置了百余種轉(zhuǎn)換插件,開發(fā)人員通過流程圖式的設(shè)計方式就可以快速開發(fā)數(shù)據(jù)處理程序,使開發(fā)人員專注于業(yè)務(wù)邏輯,而不用深入到一些技術(shù)細節(jié)上。
功能包括:
前端交互引擎
交互引擎作為集成平臺與大數(shù)據(jù)基礎(chǔ)平臺的接口
數(shù)據(jù)管道引擎
移植與改造該模塊作為平臺的數(shù)據(jù)集成管道
工作流引擎
調(diào)用大數(shù)據(jù)基礎(chǔ)平臺工作流引擎
安全管理
調(diào)用基于大數(shù)據(jù)基礎(chǔ)平臺3A框架
元數(shù)據(jù)管理
調(diào)用大數(shù)據(jù)基礎(chǔ)平臺數(shù)據(jù)治理框架
調(diào)用數(shù)據(jù)集成平臺元數(shù)據(jù)管理引擎