亚洲精品久久九九九九-亚洲精品尤物av在线观看不卡-国产在线观看高清视频黄网-亚洲乱亚洲乱妇中文影视

大數據基礎管理平臺TDP

       大數據管理平臺是企業交付式大數據開放平臺,主要作用是能夠實現大數據管理套件的自動化部署、啟停、配置以及監控集群狀態,同平臺提供多種接入手段將企業內部所有結構化和非結構化數據進行整合,為企業在運維、研發、產品、運營、等多個部門及管理層提供統一的檢索、分析和挖掘的服務。

       集群服務包括: HDFS、YARN、Mapreduce2、 Spark、Tez、Nagios、Ganglia 、Hive、HBase、Sqoop、ZooKeeper、HugeTable等。同時,通過接口可實現二次開發,以滿足業務深入定制需求,讓企業數據應用一目了然。

        平臺特點在統一的分布式存儲之上數據平臺上通過YARN提供統一的資源管理調度,結合LDAP與Kerberos提供完備的權限管理控制,不同的部門以及使用租戶可以按需創建計算集群訪問其授權數據,包括基于Spark計算框架的SQL類統計分析應用與數據挖掘類應用,或者基于MapReduce計算框架的應用。同時,平臺通過使用Hbase結合Hive/Phoenix/Impala/SparkSQL,為用戶提供基于SQL的高并發的查詢以及分析能力。

         在數據集成與交換方面,平臺提供統一數據管道服務,支持實時與非實時的結構/非結構化的數據導入與交換能力,包括Flume提供海量數據文件的聚合匯總到HDFS的功能,Sqoop提供與關系型數據庫的數據交換以及Kafka消息隊列集群接收實時流數據,實時攝取關系型數據庫增量事務數據(CDC)。

          此外,TDP數據平臺提供實時的流處理能力,通過消息隊列Kafka接收實時數據流,做到數據不丟不重,通過Stream基于SparkStreaming提供類似與批處理系統的計算能力、健壯性、擴展性的同時,將數據時延降低至秒級甚至毫秒級。