大數據管理系統 | 誠品線上

大數據管理系統

內容簡介

內容簡介 大數據管理技術涉及了大數據管理的各個方面，包括資料儲存、資料查詢、資料治理、資料整合、資料處理、資料分析、資料視覺化。傳統關聯資料庫的一站式服務已經無法滿足大數據領域的資料處理需求。一方面，以網際網路應用爲代表的大數據應用產生的龐大數據量超出了傳統工具的處理能力；另一方面，異構資料源和種類繁多的大數據應用對資料處理和資料查詢提出了諸多靈活性需求，這些需求大多不易透過傳統的SQL查詢來實現。爲解決資料量大和資料處理需求多樣性所帶來的挑戰，大數據管理技術發展出了一系列革新的資料管理技術。本書詳細討論大數據管理技術的各個分支及其實現技術，包括大數據建模技術、大數據儲存和索引技術、大數據查詢處理技術、大數據交易技術和大數據匯流排技術，並在此基礎上，對大數據應用系統進行了全面分析。本書面向大數據應用的開發人員、大數據管理系統的開發人員以及大數據管理技術的研究人員，也適用於高等院校相關專業師生學習。

作者介紹

作者介紹 江大偉 高雲君 陳剛陳剛，大學計算機科學與技術學院教授，博士生導師。主要研究方向為資料庫、大數據處理、雲端運算、CPS系統等。擔任了包括資料庫領域TOP會議VLDB在內的近十個國際會議程式委員，以及TKDE、VLDBJ、TPDS、JCST等國際期刊的評審專家。

產品目錄

產品目錄 第1 篇 大數據管理系統基礎第1 章 大數據技術簡介1.1 大數據技術的起源1.2 大數據與雲端運算參考文獻第2 章 大數據管理系統架構2.1 大數據管理系統不能採用單一架構2.1.1 大數據的5V 特徵2.1.2 關聯資料庫系統架構的缺陷2.2 基於Hadoop 生態系統的大數據管理系統架構2.2.1 Hadoop 簡介2.2.2 HDFS 分散式文件系統2.2.3 MapReduce 資料處理系統2.3 面向領域的大數據管理系統2.3.1 什麼是面向領域的大數據管理系統2.3.2 面向領域的大數據管理系統架構參考文獻第3 章 大數據模型3.1 關聯資料模型3.1.1 關聯資料模式3.1.2 關聯大數據儲存模型3.1.3 查詢語言3.1.4 典型系統3.2 鍵值資料模型3.2.1 鍵值資料模式3.2.2 鍵值資料儲存模型3.2.3 查詢語言3.2.4 典型系統3.3 列族資料模型3.3.1 列族資料模式3.3.2 列族資料儲存模型3.3.3 查詢語言3.3.4 典型系統3.4 文件資料模型3.4.1 文件資料模式3.4.2 文件資料儲存模型3.4.3 查詢語言3.4.4 典型系統3.5 圖資料模型3.5.1 圖資料模式3.5.2 圖資料儲存模型3.5.3 查詢語言3.5.4 典型系統參考文獻第4 章 大數據應用開發4.1 大數據應用開發流程4.2 大資料庫設計4.2.1 頂層設計4.2.2 資料儲存格式4.2.3 資料模式設計4.2.4 元資料管理4.2.5 元資料儲存參考文獻第2 篇 大數據管理系統實現技術第5 章 大數據儲存和索引技術5.1 大數據儲存技術5.1.1 分散式文件系統5.1.2 關聯資料儲存5.1.3 列族大數據儲存技術5.2 大數據索引技術5.2.1 系統概述5.2.2 CG 索引參考文獻第6 章 大數據查詢處理技術6.1 大數據批處理技術6.1.1 MapReduce 技術簡介6.1.2 基於MapReduce 的多表連接技術6.2 大數據串流處理技術6.2.1 系統設計動機與需求6.2.2 MillWheel 程式模型6.2.3 MillWheel 程式設計介面6.2.4 運算6.2.5 鍵6.2.6 流6.2.7 持久態6.2.8 低水位6.2.9 定時器6.3 大圖資料處理技術6.3.1 Pregel 大圖處理系統6.3.2 系統實現6.3.3 GRAPE 大圖處理系統6.4 混合大數據處理技術6.4.1 背景介紹6.4.2 EPIC 框架概述6.4.3 模型抽象6.4.4 實現方案與技術細節6.4.5 實驗6.5 群組查詢處理技術6.5.1 簡介6.5.2 群組查詢的非侵入式方法6.5.3 群組查詢基礎6.5.4 群組查詢引擎COHANA6.5.5 性能分析6.5.6 總結參考文獻第7 章 大數據交易技術7.1 基於鍵組的交易技術7.1.1 鍵組7.1.2 鍵值分組協議7.1.3 系統實現7.2 基於時間戳的交易技術7.2.1 Spanner 交易簡介7.2.2 TrueTime 應用介面7.2.3 基於時間戳的交易7.3 確定性分散式交易技術7.4 基於資料遷移的交易技術7.4.1 LEAP7.4.2 L-Store參考文獻第8 章 大數據匯流排技術8.1 爲什麼需要大數據匯流排8.1.1 兩個複雜性問題8.1.2 從N-to-N 到N-to-One8.2 基於日誌的資料匯流排8.2.1 資料庫中的日誌8.2.2 分散式系統中的日誌8.3 Kafka 系統簡介8.3.1 單個分區的效率8.3.2 分散式協調8.3.3 交付保證參考文獻第3 篇 面向領域應用的大數據管理系統第9 章 面向決策支持的雲展大數據倉儲系統9.1 決策支持簡介9.2 雲展大數據倉儲系統架構9.2.1 雲展大數據倉儲系統總覽9.2.2 SINGA 分散式深度學習平臺9.2.3 CDAS 衆包資料分析系統9.3 應用實例9.3.1 簡介9.3.2 綜合醫療分析系統架構9.3.3 聯合患者檔案9.3.4 案例分析： 患者返院預測參考文獻第10 章 面向大規模軌跡資料的分析系統TrajBase10.1 軌跡資料處理系統簡介10.1.1 軌跡資料處理技術簡介10.1.2 集中式軌跡資料處理系統10.1.3 分散式多維資料處理系統10.1.4 分散式時空資料處理系統10.2 軌跡概念介紹10.3 TrajBase 系統架構10.4 軌跡資料處理技術10.4.1 軌跡資料表達技術10.4.2 軌跡資料儲存技術10.4.3 軌跡資料索引和查詢技術10.4.4 軌跡資料探勘技術參考文獻第11 章 基於超圖的互動式圖像檢索與標記系統HIRT11.1 圖像檢索與標記方法簡介11.1.1 基於文字的圖片檢索方法11.1.2 基於內容的圖片檢索方法11.1.3 基於超圖的圖片檢索方法11.2 HIRT 系統架構11.2.1 超圖構建11.2.2 矩陣運算11.2.3 Top-k 查詢11.3 互動式圖像檢索技術11.3.1 平行查詢方法11.3.2 近似查詢方法11.3.3 互動式查詢方法參考文獻

商品規格

試閱文字

自序 : 作為過去十年裡最重要的資訊技術，大數據技術深刻影響了人們生活的各種層面。如今，從在家購物到出門叫車，從投資理財到金融風控，從健康管理到公共安全，人們無時無刻不在使用各種大數據。在大數據引領的資訊時代下，如何有效管理大數據，從大數據中擷取有價值的資訊，提升組織者的決策水準，發現新的利潤成長點，成爲各界持續關注和廣泛研究的重要課題。大數據管理技術已經成爲網際網路等行業的核心競爭力之一。
大數據管理技術涉及了大數據管理的各個方面，包括資料儲存、資料查詢、資料治理、資料整合、資料處理、資料分析、資料視覺化。傳統關聯資料庫的一站式服務已經無法滿足大數據領域的資料處理需求。一方面，以網際網路應用爲代表的大數據應用產生的龐大數據量超出了傳統工具的處理能力；另一方面，異構資料源和種類繁多的大數據應用對資料處理和資料查詢提出了諸多靈活性需求，這些需求大多不易透過傳統的SQL查詢來實現。爲解決資料量大和資料處理需求多樣性所帶來的挑戰，大數據管理技術發展出了一系列革新的資料管理技術。
本書從大數據管理技術產生的歷史背景出發，對大數據管理技術的起源和發展進行了全面介紹，詳細討論大數據管理技術，包括大數據建模技術、大數據儲存和索引技術、大數據查詢處理技術、大數據交易技術和大數據匯流排技術等，並在此基礎上，對大數據應用系統進行了全面分析。
本書採取理論與實踐並重的方式介紹大數據管理技術。在理論層面，力求覆蓋面廣，涵蓋大數據管理技術的所有重要分支。在具體技術層面，力求深入淺出，重點介紹技術產生的應用背景，以及該技術解決應用中痛點問題的基本原理。對技術實現細節感興趣的讀者，可以透過書中列出的引文，從原始文獻中擷取相關資訊。在實踐層面，本書透過三章內容，具體介紹大數據管理技術如何應用於實際的大數據應用系統。希望這樣的安排，能夠滿足不同層面的讀者對大數據管理技術的研習需求。
本書面向大數據應用的開發人員、大數據管理系統的開發人員以及大數據管理技術的研究人員，也適用於大專院校相關專業師生學習。本書要求讀者具有一定的電腦基礎和資料庫相關知識。希望本書在幫助讀者了解大數據技術發展的同時，能夠爲相關領域的工作者在進行大數據系統開發時提供借鑒。

最佳賣點

最佳賣點 : 本書詳細討論大數據管理技術的各個分支及其實現技術，包括大數據建模技術、大數據儲存和索引技術、大數據查詢處理技術、大數據交易技術和大數據匯流排技術，並在此基礎上，對大數據應用系統進行了全面分析。