大數據時代的資料庫處理: Spark SQL親自動手做 | 誠品線上

大數據時代的資料庫處理: Spark SQL親自動手做

內容簡介

內容簡介 全書分為4篇，共9章，第一篇講解Spark SQL 發展歷史和開發環境搭建。第二篇講解Spark SQL 實例，幫助讀者掌握Spark SQL的入門操作，瞭解Spark RDD、DataFrame和DataSet，並熟悉 DataFrame 各種操作。第三篇講解基於WiFi探針的商業大數據分析專案，實例中包含資料獲取、預處理、存儲、利用Spark SQL 挖掘資料，一步步帶領讀者學習Spark SQL強大的資料採擷功能。第四篇講解Spark SQL 最佳化的知識。適用：Spark初學者、Spark資料分析人員以及Spark程式開發人員，也可作為大專院校和培訓機構等相關專業的師生教學參考。

作者介紹

作者介紹 ■作者簡介紀涵資料採擷、雲計算愛好者，曾負責多個中小型網站的開發維護工作，參與開發設計多款面向校園服務的App，與多個基於Hadoop、Spark平台的大數據應用，現主要研究方向為機器學習、資料採擷。靖曉文、趙政達

產品目錄

產品目錄 第一部分 入門篇1初識Spark SQL 1.1 Spark SQL的前世今生1.2 Spark SQL能做什麼2 Spark安裝、程式設計環境架設以及包裝傳送2.1 Spark的簡易安裝2.2 準備撰寫Spark應用程式的IDEA環境2.3 將撰寫好的Spark應用程式套件裝成jar傳送到Spark上第二部分 基礎篇3 Spark上的RDD程式設計3.1 RDD基礎3.2 RDD簡單實例－wordcount 3.3 建立RDD 3.4 RDD操作3.5 向Spark傳遞函數3.6 常見的轉化操作和行動操作3.7 深入了解RDD 3.8 RDD 快取、持久化3.9 RDD checkpoint容錯機制4 Spark SQL程式設計入門4.1 Spark SQL概述4.2 Spark SQL程式設計入門範例5 Spark SQL的DataFrame操作大全5.1 由JSON檔案產生所需的DataFrame物件5.2 DataFrame上的行動操作5.3 DataFrame上的轉化操作6 Spark SQL支援的多種資料來源6.1 概述6.2 典型結構化資料來源第三部分 實作篇7 Spark SQL 工程實戰之以WiFi探針為基礎的商業大數據分析技術7.1 功能需求7.2 系統架構7.3 功能設計7.4 資料庫結構7.5 本章小結8 第一個Spark SQL應用程式8.1 完全分散式環境架設8.2 資料清洗8.3 資料處理流程8.4 Spark程式遠端偵錯8.5 Spark的Web介面8.6 本章小結第四部分 最佳化篇9 讓Spark程式再快一點9.1 Spark執行流程9.2 Spark記憶體簡介9.3 Spark的一些概念9.4 Spark程式設計四大守則9.5 Spark最佳化七式9.6 解決資料傾斜問題9.7 Spark 執行引擎Tungsten 簡介9.8 Spark SQL解析引擎Catalyst 簡介9.9 本章小結

商品規格

最佳賣點

最佳賣點 : Spark SQL是 Spark大資料框架的一部分，支援使用標準SQL查詢和HiveQL來讀寫資料，可用於結構化資料處理，並可以執行類似SQL的Spark資料查詢，有助於開發人員更快地創建和運行Spark程式。