-
Notifications
You must be signed in to change notification settings - Fork 0
/
CDH.txt
53 lines (39 loc) · 3.01 KB
/
CDH.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
1 快速安装部署
https://hub.docker.com/r/cloudera/quickstart
2 参考
https://www.cnblogs.com/piperck/p/9917118.html
根据需要修改hosts 127.0.0.1 quickstart.cloudera
简版命令
docker run --hostname=quickstart.cloudera --privileged=true -t -i -p 8888 -p 7180 4239cd2958c6 /usr/bin/docker-quickstart
比较完整版
docker run -idt --hostname=quickstart.cloudera --privileged=true -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 -p 8888:8888 --name=cdh cloudera/quickstart /usr/bin/docker-quickstart
进入cdh容器
docker exec -it cdh bash
启动CM
/home/cloudera/cloudera-manager --express && service ntpd start
按需要启动相关应用。可以开启HUE,进入UI交互操作。
docker stop cdh 停止cdh
docker rm cdh 删除cdh
将文件/hue.ini 复制到 hue容器内 指定位置,冒号 分割 容器名称 和位置
docker cp /hue.ini hue:/usr/share/hue/desktop/conf/hue.ini
将文件hue容器内 指定位置文件 复制到 宿主机 /hue.ini,冒号 分割 容器名称 和位置
docker cp hue:/usr/share/hue/desktop/conf/hue.ini /
--------------------------------------------------------------------------------------------------
3 部署集群版
参考
http://www.javashuo.com/article/p-zqpijlqf-nb.html
https://blog.csdn.net/matrixbbwolf/article/details/108865747
https://www.jianshu.com/p/adfa7cfbdfb3
出现的问题:
(1)问题描述:容器(centos7.9)内安装的mysql 5.7.27或者8均无法获取初始密码,log空,尝试过网上搜索的多种方法均无解。空密码无效。
解决方法:使用mysql单独容器方式,可以设置初始密码,然后设置各个服务的数据库。具体参考MySQL。
重点步骤: docker run -it --name=mysql8 -p 13308:3306 -e MYSQL_ROOT_PASSWORD=123456Aa. --net hadoop_net --ip 172.10.0.5 -h mysql.hadoop --privileged mysql。 这时,初始化数据库命令应为/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h172.10.0.5 -uroot -p'123456Aa.' --scm-host cm.hadoop scm root 123456Aa. ,注意修改cm 配置文件中的相关设置,还有mysql访问权限,以及mysql版本不同的语法差异。
(2)有的配置设置后无效,可能需要重启docker或宿主机,非重启服务。
4 Hive跑批量离线,Impala负责实时查询,Spark统一内存计算,HBase列存储随机读写,sqoop负责和关系数据库打交道,oozie串成工作流,pyspark是python友好,HUE提供UI对大众SQL用户友好,yarn和zookeeper负责资源协调调度。
5 CDH/CDP spark_SQL
https://docs.cloudera.com/cdp-private-cloud-base/7.1.5/developing-spark-applications/topics/spark-sql-example.html
https://blog.csdn.net/Mrheiiow/article/details/123007848
http://blog.51yip.com/hadoop/2286.html/comment-page-1
6 CDH常用端口
https://www.jianshu.com/p/6f9b9b5f6100
https://blog.csdn.net/u011110301/article/details/119002470