Hadoop – 企業級大數據管理平臺CDH(小技巧一)

附上:

喵了個咪的博客:w-blog.cn

官方文檔地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 磁盤擴容磁盤遷移

對於磁盤增加減少重新分配都是在大數據裡面屢見不鮮的內容,當磁盤不夠用或者磁盤損壞的時候我們怎麼來替換磁盤和增加磁盤就成了一個很重要的事情了,我們先通過cm控制端進入到其中一個datanode管理頁面

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-hrRaZWhr-1597140202369)(Hhttp://pic.w-blog.cn/EE38D42F-6B31-459A-95AB-3FCE31026BEE.png)]

增加或刪除一個磁盤

然後在HDFS頁面

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-sAH1NQKU-1597140202374)(http://pic.w-blog.cn/81981535-306A-48D5-8ED1-FCB78BC637F6.png)]

二, HBASE-Thrift2

CDH在管理平臺中HBASE開啟的HBASE-Thrift是使用的Thrift1,Thrift2相對Thrift1對開發更加友好,可以通過如下方式開啟Thrift2

/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091

推薦Supervisor守護進程的方式開啟

喵咪Liunx(1)計劃任務隊列腳本後臺進程Supervisor幫你搞定 - 喵了個咪博客空間 - 開源中國

;你需要啟動的進程給個名字
[program:thrift2]
;你需要執行的語句
command=/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091
;運行程序的用戶
user=root

三, 監控報警重啟

對於cm-service和cm-agent是沒有守護進程的,如果掛掉了也無法得知具體情況,這裡就要推薦一波筆者之前的一個工具了進程監控

喵咪Liunx(4)Monit進程監控 - 喵了個咪博客空間 - 開源中國

cm-service

check process cm-service with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-server.pid  
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-server start"

cm-agent

check process cm-agent with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-agent/cloudera-scm-agent.pid 
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-agent start"

PS:也以配置郵件通知具體參考之前的博文

一 , 磁盤擴容磁盤遷移

二, HBASE-Thrift2

三, 監控報警重啟

Leave a Reply Cancel reply