Search
#純靠北工程師3au
各位神人好，小弟又來問問題了
想請教各位AWS EMR的問題
小弟我在EMR建立hadoop叢集(初始有設key-pair，其他設定沒動)
之後想從外部終端機使用AWS生成的DNS連線，但是外部終端機卻一直error，照理來說應該不可能發生這種情況才對
查了一下aws的官方文件卻又不太懂，想請各位工程師解惑
大概是什麼原因產生這個問題的 感恩><
👉 去 GitHub 給我們🌟用行動支持純靠北工程師 https://github.com/init-engineer/init.engineer
📢 匿名發文請至 https://kaobei.engineer/cards/create
🥙 全平台留言 https://kaobei.engineer/cards/show/4278
Hadoop 和“大數據”的世界可能會令人生畏 – 許多具有神秘名稱的不同技術形成了 Hadoop 生態系統。通過本課程，你不僅可以了解這些系統是什麼以及它們如何組織在一起，而且你將親自動手並學習如何使用它們來解決實際的業務問題！
在這個全面的課程中學習和掌握最受歡迎的大數據技術，由亞馬遜和 IMDb 的前工程師和高級經理教授。我們將遠遠超越 Hadoop 本身，並深入各種可能需要整合的分散式系統中。
1. 使用 Hortonworks 和 Ambari UI 在桌面上安裝並使用
真正的 Hadoop 安裝
2. 使用 HDFS 和 MapReduce 管理群集上的大數據
3. 使用 Pig 和 Spark 編寫程式以分析 Hadoop 上的資料
4. 使用 Sqoop、Hive、MySQL、HBase、Cassandra、MongoDB、Drill、Phoenix、Presto 儲存和查詢你的資料
5. 使用 Hadoop 生態系統設計真實世界的系統
6. 了解如何使用 YARN、Mesos、Zookeeper、Oozie、Zeppelin 和 Hue 管理群集
7. 使用 Kafka、Flume、Spark Streaming、Flink 和 Storm 即時處理串流資料
了解 Hadoop 對於在擁有大量數據的公司工作的任何人來說都是非常有價值的技能。
https://softnshare.com/ultimate-hands-on-hadoop-tame-your-…/
TL;DR
如果發現 hbase shell 在 scan 或 count 的筆數與你預期筆數不一致的話，就 split region 看看吧。
--- 以下是前言，還真長 XD ---
最近都在忙著新版本上線，所以小編也好一陣子沒發文了。不過這幾天有個有趣的案例，想跟大家分享一下。
有在看小編文章的大概會知道我們產品的資料庫是以 HBase 建置而成的，而 HBase 最重要的組成就是 rowkey 了。若 rowkey 設計錯誤輕微可以使用 column 來救，嚴重的甚至要砍掉整筆 row，重新設計 rowkey 才能解決。
兩年前在設計某 table 的 rowkey 時，不小心忘了對 rowkey 做 salt (HBase 基礎之一，避免 scan 時產生 hotspotting)，如果又沒切 region 的話 (HBase 基礎之一，避免 scan 時產生 hotspotting)，這些資料在建立時都會跑到同一個 region，在 scan 的時候效能會超差。
像這種例子就算使用 column 來救也完全沒辦法，所以小編就打算把整筆 row 砍掉重新把 salt 加上去。
--- 以下是追蹤過程 ---
原 rowkey 開頭及加上 salt 之後的新 rowkey 開頭如下：
* 原：A000001、新：DNhA000001
* 原：A000002、新：dMfA000002
* 原：A000003、新：p9OA000003
* 以此類推
原 rowkey 相同 pattern (A000XXX) 的 row 有 2000 萬筆 (在 hbase shell 內使用 count 來計算 table 的資料量)，所以這次 rebuild 總共會刪除原 rowkey 共 2000 萬筆，新增新 rowkey 共 2000 萬筆。
在使用 HBase 的 Java API 執行增刪 rebuild 後，在 hbase shell 使用 count 計算 table 的資料量時卻只有 900 萬筆。一開始小編還以為是 compaction 跟 flush 的問題，所以強制對 table 做了下面幾個動作，以確保資料有在 HFile 裡面正確地寫入及刪除：
* 確認資料都會刪除：compact、major_ compact
* 確認資料都會寫入：flush
但執行完後再跑一次 count 也是一樣只有 900 萬筆，所以就開始找問題點了。
後來又使用 HBase 的 exists API，確認有找到 2000 萬筆的資料。一開始小編以為是 MapReduce 的問題，因為 HBase 計算 row count 是使用 MapReduce 來執行的，但找了一堆資料都沒人說有類似問題。後來想說在 hbase shell 內使用 scan {COLUMNS => "cf:XX"} 將所有的資料都拿出來，發現也是只有 900 萬筆，所以初步排除是 MapReduce 的問題。
後來比對了新增的 rowkey 及目前 scan 出來的 rowkey，發現 scan 出來的 rowkey 只有到 GbVA000017 而已，後面的 H-Z、a-z 開頭的全部都沒出現。所以小編使用 hbase shell 的 get 指令，確認在 Java API 新增的 rowkey (A-Z、a-z 開頭的) 是否存在於 table 內，發現用 get 可以拿的到資料。討論後用 scan 加 start rowkey 試試，結果如下：
* STARTROW => "GbVA000017"：只找到一筆
* STARTROW => "H"：可以找到 H 之後的所有資料
看了這結果，真的覺得非常奇怪啊！！！
後來大神 Cowman Chiang 說要不要試著用 split 讓 HBase 重切 region 看看，等於是 rebuild region 的意思，因為 split 會使用字母順序切分成不同的 region，讓 row 重新分散。split 完之後再做一次 count 果然就找到 2000 萬筆資料了啊。
感恩 Cowman Chiang 讚嘆 Cowman Chiang！！！
--- 以下是結論 ---
目前看起來就是 region 發生異常，還不知道是什麼原因會造成這次事件的發生。但如果發現 scan 或 count 的筆數與你預期的內容不一致的話，就 split region 看看吧。
--- 本次追蹤使用工具 ---
* Linux: grep, cat, cut, sort, sed, comm, wc, less, head
* Java: exists, scan, get, put, BufferedReader
* hbase shell: snapshot, split, compact, major_compact, flush, restore_snapshot, scan, get, disable, enable, clone_snapshot, list_snapshots
--- 20180112 後記 ---
後來把 snapshot 還原之後，重新做了一次 rebuild 再做 count，結果還是一樣只有 900 萬筆，然後用 hbase hbck -repair 試著看看是否能把 region 修復 (有 4 個 inconsistencies)，修復完後一樣是 900 萬筆。
也有同事說到會不會是資料塞太快的關係，造成 region 無法 split 完整才會發生這個問題。對於這個說法，小編也還在研究看看，有什麼進度會再分享給大家知道。
#hbase #hadoop #mapreduce #hotspotting
Hadoop 是 一個能夠儲存並管理大量資料的分散式大數據處理平臺，其包含三大模組： HDFS MapReduce Yarn. ... <看更多>
Doug Cutting 曾表示，Hadoop 這個名稱的由來，是來自於自己小孩所擁有的一隻絨毛填充黃色大象玩具。 Doug 不只開發了Hadoop ，還包括Lucene 和Nutch。 ... <看更多>
hadoop是什麼 在 08 尚硅谷Hadoop 入门Hadoop是什么 的推薦與評價
Hadoop是 大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开 ... ... <看更多>