Apache Kylin大數據入門 | 誠品線上

Apache Kylin大數據入門

內容簡介

內容簡介 本書全面介紹Apache Kylin，內容包含： 環境架設、範例演練、原始程式分析、Cube最佳化⋯⋯等。 資料倉儲、資料模型、OLAP、資料立方體⋯⋯等方面的相關知識。 系統性學習與實戰操作，使讀者能夠架設以Apache Kylin為基礎的企業級大數據分析平台。 熟練使用Apache Kylin多維度分析巨量資料，並透過視覺化工具展現結果。 適用：大數據技術初學者；大數據分析人員、架構師等；亦適合Hadoop、HBase、Hive和Kylin等相關從業人員。

作者介紹

作者介紹 蔣守壯現就職於萬達網路科技集團有限公司，資深大數據工程師，大數據實踐者。曾任平安科技資深大數據分析師和架構師，CSDN社區專家，知識庫特約編輯。目前專注於Docker、Kubernetes、Mesos、Hadoop、Spark以及Kylin等技術領域。

產品目錄

產品目錄 第一部分 Apache Kylin基礎部分 Chapter 01 Apache Kylin前世今生 1.1 Apache Kylin的背景 1.2 Apache Kylin的應用場景 1.3 Apache Kylin的發展歷程 Chapter 02 Apache Kylin前奏 2.1 事實表和維表 2.2 星型模型和雪花型模型 2.3 OLAP 2.4 資料立方體（Data Cube） Chapter 03 Apache Kylin工作原理和系統架構 3.1 Kylin工作原理 3.2 Kylin系統架構 3.3 Kylin中的核心部分：Cube建構 3.4 Kylin的SQL查詢 3.5 Kylin的特性和生態圈 Chapter 04 架設CDH大數據平台 4.1 系統環境和安裝套件 4.2 準備工作：系統環境架設 4.3 正式安裝CDH：準備工作 4.4 正式安裝CDH5：安裝設定 Chapter 05 使用Kylin建構企業大數據分析平台的四種部署方式 5.1 Kylin部署的架構 5.2 Kylin的四種典型部署方式 Chapter 06 單獨為Kylin部署HBase叢集 Chapter 07 部署Kylin叢集環境 7.1 部署Kylin的先決條件 7.2 部署Kylin叢集環境 7.3 為Kylin叢集架設負載平衡器 第二部分 Apache Kylin進階部分 Chapter 08 Demo案例實戰 8.1 Sample Cube案例描述 8.2 Sample Cube案例實戰 Chapter 09 多維分析的Cube建立實戰 9.1 Cube模型 9.2 建立Cube的流程 Chapter 10 Build Cube的來龍去脈 10.1 流程分析 10.2 小結 第三部分 Apache Kylin進階部分 Chapter 11 Cube最佳化 Chapter 12 備份Kylin的Metadata 12.1 Kylin的中繼資料 12.2 備份中繼資料 12.3 恢復中繼資料 Chapter 13 使用Hive視圖 13.1 使用Hive視圖 13.2 使用視圖實戰 Chapter 14 Kylin的垃圾清理 14.1 清理中繼資料 14.2 清理記憶體資料 Chapter 15 JDBC 存取方式 Chapter 16 透過RESTful存取Kylin Chapter 17 Kylin版本之間升級 17.1 從1.5.2升級到最新版本1.5.3 17.2 從1.5.1升級到1.5.2版本 17.3 從Kylin 1.5.2.1升級到Kylin 1.5.3實戰 17.4 補充內容 Chapter 18 大數據視覺化實作 18.1 視覺化工具簡述 18.2 安裝Kylin ODBC驅動 18.3 透過Excel存取Kylin 18.4 透過Power BI存取Kylin 18.5 透過Tableau存取Kylin 18.6 Kylin + Mondrian + Saiku 18.7 實戰演練：透過Saiku存取Kylin 18.8 透過Apache Zepplin存取Kylin 18.9 透過Kylin的"Insight"查詢 Chapter 19 使用Streaming Table建構准即時Cube Chapter 20 快速資料立方演算法 20.1 快速資料立方演算法概述 20.2 快速資料立方演算法優點和缺點 20.3 取得Fast Cubing演算法的優勢 第四部分 Apache Kylin的擴充部分 Chapter 21 大數據智慧分析平台KAP 21.1 大數據智慧分析平台KAP概述 21.2 KAP的安裝部署

商品規格

最佳賣點

最佳賣點 : Apache Kylin為第一個由華人團隊完整貢獻至Apache的專案。
內容淺顯易懂、實作性強大，是目前第一本系統性介紹Kylin的實作書籍。

試閱文字

推薦序 : 推薦序

Apache Kylin將傳統的資料倉儲及商務智慧分析能力帶入到大數據時代，作為新興的技術已被廣大使用者所使用。身為創始者，我非常欣喜能看到關於Apache Kylin相關書籍的出版，這無疑對使用者更進一步地使用Kylin，解決實際大數據分析架構及業務問題有很大的幫助。

韓卿
Kyligence聯合創始人兼CEO
Apache Kylin專案管理委員會主席(PMC Chair)

因為RDBMS很難處理單表10億行資料，所以大數據技術應需而生。大數據技術從最初解決巨量資料的快速儲存和讀取，到現今巨量資料的OLAP，當中衍生出許多的技術產品，Apache Kylin就是其中的優秀產品，目標是解決大數據範圍中的OLAP。
第二大主軸為大數據思維。資料處理的最近幾十年都被RDBMS的思想所束縛，小表、多表、表的連接、過分注重容錯性的壞處，等等，這些都限制了巨量資料上的處理與分析。大數據技術出來之後，隨之而來的大數據想法，所帶來了巨量資料處理的新思維。這個新思維的核心就是突破表的概念，而採用物件導向的資料模型在資料層上實現。Apache Kylin的Cube模型就是在逐步表現大數據的思維。
最後一條主軸為大數據實作。大數據實作分為資料整理、資料建模、資料獲取、資料控管、資料服務、資料視覺化和資料分析。這是環環相扣的步驟，不能跳過。Apache Kylin作為資料分析環節的技術產品，一定要與資料管理的優秀產品相結合，才能充分發揮出分析的功效。
蔣守壯是業界知名的Apache Kylin專家。本書淺顯容易、實作性強，是目前Apache Kylin界不可多得的技術資料，值得細讀和研究。

楊正洪
武漢市雲升科技發展有限公司董事長

Apache Kylin是一個大數據領域真正進入全球主流應用的開放原始碼專案。作為軟體開發的驕傲之作，市面上卻缺少一本系統性介紹該專案的書籍。
萬達科技集團大數據中心蔣守壯同學在專案誕生之初就一直追蹤Kylin的進展，深入研究專案的技術原理，並將其運用在許多實際專案中。無論您是大數據技術同好，抑或您正在考慮引用Kylin這樣傑出的大數據處理工具，本書都將是您很好的參考指南！

龔少成
萬達網路科技集團大數據中心副總經理
《Spark進階資料分析》中文版譯者

Apache Kylin是以MOLAP為基礎的即時大數據引擎，與Hadoop生態系統結合更加緊密，先天的優勢註定了其支援更大的資料規模、更好的擴充性，獨有的華人中文血統較其他開放原始碼軟體更具當地語系化優勢。本書包含了守壯多年的實作經驗，系統化全面性介紹了Apache Kylin技術，值得推薦。

賈傳青
資料架構師，IT脫口秀（清風那個吹）創始人

Apache Kylin是以大數據技術為基礎的一種OLAP實現，其根據OLAP原理、利用MapReduce架構建置CUBE，並將預計算結果儲存在HBase中，實現多維分析和查詢的秒級回應。Apache Kylin雖屬於MOLAP範圍，但還是有別於傳統的MOLAP，它充分利用了Hadoop分散式運算的精髓，是分散式OLAP（DOLAP：Distributed OLAP）的實作方式，在TB、PB級資料集上體現出卓越的效能表現，自開放原始碼以來就備受各界關注。
作為一位技術達人，蔣守壯依靠自身深厚的技術功力，結合實際工作對Kylin做了許多研究工作。從各種部署環境的架設、實際工作案例開發測試到各種問題的分析及解決，作者深入分析了Kylin的原始程式碼，也給Kylin社區回饋了很多缺失，被Kylin社區確認並在新的版本中加以增強。本書即是蔣守壯對自己研究工作的歸納和昇華，是目前第一本系統介紹Kylin的實用書籍。

項同德
平安科技（深圳）有限公司高級經理

目前在企業級市場上主流的BI產品有Oracle的BIEE、IBM的Cognos、SAP的BO等，這些產品主要是以傳統為基礎的關係型資料進行報表開發和資料分析，雖然可以透過加強伺服器效能來提升資料處理的能力，但受限於其本身的架構，在處理大數據（TB級及以上）上就顯得緩慢，而Kylin是一款專為大數據而生的開放原始碼產品。相對於傳統大廠商主導的BI產品，Kylin是一個開放原始碼的分散式分析引擎，提供Hadoop之上的SQL查詢介面及多維分析（OLAP）能力以支援超大規模資料，其最初由eBay公司開發並貢獻至開放原始碼社區，它能在微秒內查詢極大的Hive表，並且在不斷地增強和進化。
Kylin作為Apache頂級專案，在社區備受推崇，但一直缺少一本實用、可操作的技術書籍讓普通的開發人員將其部署實施，應用於企業的發展，產生經濟價值。蔣守壯的這本書系統而全面地介紹了Kylin的架構、架設及應用，能讓有一定技術功力的人員，快速實施部署，對於目前苦於大數據處理的人員來講，無疑是久旱逢甘霖。
蔣守壯一直專注於大數據的研究和應用，技術出色，尤其是擅長解決各種疑難問題。這本書融合了作者多年的技術累積和實戰經驗，相信對您，無論是學習還是實戰都大有益處。

萬文兵
萬達網路科技集團有限公司大數據資深專案經理

試閱文字

內文 : 2 第二種方式
Kylin 部署叢集方式相對來說也簡單，只需要增加Kylin 的節點數，因為
Kylin 的中繼資料（Metadata）是儲存在HBase 中，只需要在Kylin 中設
定，讓Kylin 的每個節點都能存取同一個Metadata 表就形成了Kylin 叢
集（kylin.metadata.url 值相同），並且Kylin 叢集中只有一個Kylin 實例
執行工作引擎（kylin.server.mode ＝ all），其他Kylin 實例都是查詢引擎
（kylin.server.mode =query）模式。通常可以使用LDAP 來管理使用者許
可權。
為了實現負載平衡，即將不同使用者的存取請求透過Load Balancer（負
載平衡器）（例如lvs、Nginx 等）分發到每個Kylin 節點，保障Kylin 叢
集負載平衡。對於負載平衡器可以啟用SSL 加密，安裝防火牆，對外部
使用者只用曝露負載平衡器的位址和通訊埠編號，這樣也保障Kylin 系
統對外部來說是隔離的。
我們的生產環境中使用的LB 是Nginx，使用者透過LB 的位址存取
Kylin 時，LB 將請求透過負載平衡排程演算法分發到Kylin 叢集的某一
個節點，不會出現單點問題，同時如果某一個Kylin 節點掛掉了，也不
會影響使用者的分析。
這種方式也不是完美的，但是一般場景下是可以滿足的。
3 第三種方式
Kylin 非常適合讀寫分離，原因是Kylin 的工作負載有兩種：