大數據技術原理及應用

1、大數據技術原理及應用 大數據技術原理及應用大數據處理架構— 大數據處理架構—Hadoop Hadoop 簡介 簡介Hadoop 項目包括了很多子項目，結構如下圖? Common Common原名：Core，包含 HDFS, MapReduce 和其他公共項目，從 Hadoop 0.21 版本后，HDFS 和MapReduce 分離出去，其余部分內容構成 Hadoop Common。Common 為其他子項目提供支持的常用工具，主要包括文

2、件系統、RPC(Remote procedure call) 和串行化庫。? Avro AvroAvro 是用于數據序列化的系統。它提供了豐富的數據結構類型、快速可壓縮的二進制數據格式、 存儲持久性數據的文件集、 遠程調用 RPC 的功能和簡單的動態(tài)語言集成功能。 其中，代碼生成器既不需要讀寫文件數據，也不需要使用或實現 RPC 協議，它只是一個可選的對靜態(tài)類型語言的實現。 Avro 系統依賴于模式 （Schema） ，Avro 數據的

3、讀和寫是在模式之下完成的。這樣就可以減少寫入數據的開銷，提高序列化的速度并縮減其大小。Avro 可以將數據結構或對象轉化成便于存儲和傳輸的格式，節(jié)約數據存儲空間和網絡傳輸帶寬，Hadoop 的其他子項目（如 HBase 和 Hive）的客戶端和服務端之間的數據傳輸。? HDFS HDFSHDFS：是一個分布式文件系統，為 Hadoop 項目兩大核心之一，是 Google file system（GFS）的開源實現。由于 HDFS 具有高

4、容錯性（fault-tolerant）的特點，所以可以設計部署在低廉（low-cost） 的硬件上。 它可以通過提供高吞吐率 （high throughput） 來訪問應用程序的數據，適合那些有著超大數據集的應用程序。HDFS 放寬了可移植操作系統接口（POSIX，PortableOperating System Interface ）的要求，這樣就可以實現以流的形式訪問文件系統中的數據。了靈活且強大的工具，用于顯示、監(jiān)視和分析數據結果

5、，以便更好地利用所收集的數據。大數據存儲 大數據存儲存儲的講解分為四部分：HDFS, HBase, NoSQL 和云數據庫HDFS HDFS分布式文件系統簡介 分布式文件系統簡介相對于傳統的本地文件系統而言， 分布式文件系統是一種通過網絡實現文件在多臺計算機上進行分布式存儲的文件系統。分布式文件系統的設計一般采用“客戶機 /服務器”（client/server）模式，客戶端以特定的通信協議通過網絡與服務器建立連接，提出文件訪問請求，客戶

6、端和服務器可以通過設置訪問權來限制請求方對底層數據存儲快的訪問。在我們所熟悉的 Windows、 Linux 操作系統中， 文件系統一般會把磁盤空間劃分為每 512字節(jié)一組，稱為“磁盤塊” ，它是文件系統讀寫操作的最小單位，文件系統的塊（ block）通常是磁盤塊的整數倍，即每次讀寫的數據量必須是磁盤塊大小的整數倍。分布式文件系統也采用了塊的概念，HDFS 默認的一個塊的大小為 64MB。與普通文件不同的是， 在分布式文件系統中， 如果