Chan’s blog

hadoop的Pseudo-Distributed模式测试

2020-04-07T04:15:38+00:00

1.安装jdk，参考

2.安装hadoop，参考

3.配置文件修改

## hadoop-env.sh 
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh 
export JAVA_HOME=/opt/module/jdk1.8.0_144


## core-site.xml
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
<configuration>
	<!-- 指定HDFS中NameNode的地址 -->
	<property>
	<name>fs.defaultFS</name>
	    <value>hdfs://hadoop211:9000</value>
	</property>

	<!-- 指定Hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
	</property>
</configuration>


## hdfs-site.xml
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml
<configuration>
	<!-- 指定HDFS副本的数量 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

4.启动集群

1).格式化NameNode（第一次启动时格式化，以后就不要总格式化）

[root@hadoop211]# hdfs namenode -format

2).启动NameNode

[root@hadoop211]# hadoop-daemon.sh start namenode

3).启动DataNode

[root@hadoop211]# hadoop-daemon.sh start datanode

4).确认是否启动成功

# 注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps
[root@hadoop211]# jps
2176 NameNode
2259 DataNode
2333 Jps

web端查看 http://hadoop211:50070/

5).查看产生的Log日志

说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。

[root@hadoop211]# ls /opt/module/hadoop-2.7.2/logs
total 64
-rw-r--r--. 1 root root 23979 Apr  7 16:49 hadoop-root-datanode-hadoop211.log
-rw-r--r--. 1 root root   714 Apr  7 16:49 hadoop-root-datanode-hadoop211.out
-rw-r--r--. 1 root root 27653 Apr  7 16:56 hadoop-root-namenode-hadoop211.log
-rw-r--r--. 1 root root  4960 Apr  7 16:56 hadoop-root-namenode-hadoop211.out

6).注意：为什么不能一直格式化NameNode，格式化NameNode，要注意什么？

[root@hadoop211]# cat /opt/module/hadoop-2.7.2/data/tmp/dfs/name/current/VERSION
#Tue Apr 07 16:46:56 CST 2020
namespaceID=1667612766
clusterID=CID-4b8e5f21-529e-40e5-8ff5-55fcf64f3cc0
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1450470986-192.168.31.211-1586249216548
layoutVersion=-63


[root@hadoop211]# cat /opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/VERSION
#Tue Apr 07 16:49:29 CST 2020
storageID=DS-79880931-ab57-4cee-8ce1-9c5fe21d0812
clusterID=CID-4b8e5f21-529e-40e5-8ff5-55fcf64f3cc0
cTime=0
datanodeUuid=15e0af92-e7f4-49ff-b47f-17d508e14fa8
storageType=DATA_NODE
layoutVersion=-56

注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。

5.操作集群

1).在HDFS文件系统上创建一个input文件夹

[root@hadoop211]# hdfs dfs -mkdir -p /user/bigdata/input

2).将测试文件内容上传到文件系统上

[root@hadoop211]# hdfs dfs -put /opt/tmp/hadoop/wcinput/*  /user/bigdata/input/

3).查看上传的文件是否正确

[root@hadoop211]# hdfs dfs -ls  /user/bigdata/input/
[root@hadoop211]# hdfs dfs -cat  /user/bigdata/input/hadoop-policy.xml

4).运行MapReduce程序

[root@hadoop211]# hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar \
 wordcount /user/bigdata/input/ /user/bigdata/output

5).查看输出结果

[root@hadoop211]# hdfs dfs -cat /user/bigdata/output/*

6).将测试文件内容下载到本地

[root@hadoop211]# hdfs dfs -get /user/bigdata/output/part-r-00000 /root/

7).删除输出结果

[root@hadoop211]# hdfs dfs -rm -r /user/bigdata/output

6.启动YARN并运行MapReduce程序

1).配置

## 配置yarn-env.sh
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144


## 配置yarn-site.xml
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop211</value>
</property>


## 配置 mapred-env.sh
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144


## 配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
[root@hadoop211]# mv /opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml.template \
	/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml 
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml 

<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

2).启动集群

启动前必须保证NameNode和DataNode已经启动
启动

## 启动ResourceManager
[root@hadoop211]# yarn-daemon.sh start resourcemanager

## 启动NodeManager
[root@hadoop211]# yarn-daemon.sh start nodemanager

3).集群操作

YARN的浏览器页面查看 http://hadoop211:8088/cluster

## 删除文件系统上的output文件
[root@hadoop211]# hdfs dfs -rm -R /user/bigdata/output

## 执行MapReduce程序
[root@hadoop211]# hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar \
  wordcount /user/bigdata/input  /user/bigdata/output

## 查看运行结果
[root@hadoop211]# hdfs dfs -cat /user/bigdata/output/*

4).配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

## 配置mapred-site.xml
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop211:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop211:19888</value>
</property>

启动历史服务器

[root@hadoop211]# mr-jobhistory-daemon.sh start historyserver

##	查看历史服务器是否启动
[root@hadoop211]# jps

查看JobHistory http://hadoop211:19888/jobhistory

5).配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。开启日志聚集功能具体步骤如下：

##	配置yarn-site.xml
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>


##	关闭NodeManager 、ResourceManager和HistoryManager
[root@hadoop211]# yarn-daemon.sh stop resourcemanager
[root@hadoop211]# yarn-daemon.sh stop nodemanager
[root@hadoop211]# mr-jobhistory-daemon.sh stop historyserver


##	启动NodeManager 、ResourceManager和HistoryManager
[root@hadoop211]# yarn-daemon.sh start resourcemanager
[root@hadoop211]# yarn-daemon.sh start nodemanager
[root@hadoop211]# mr-jobhistory-daemon.sh start historyserver


## 删除HDFS上已经存在的输出文件
[root@hadoop211]# hdfs dfs -rm -R /user/atguigu/output


##	执行WordCount程序
[root@hadoop211]# hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar \
  wordcount /user/bigdata/input /user/bigdata/output

查看日志，http://hadoop101:19888/jobhistory

6). 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

## 配置yarn-site.xml
[root@hadoop211]# vi /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>


## 关闭NodeManager 、ResourceManager和HistoryManager
[root@hadoop211]# mr-jobhistory-daemon.sh stop historyserver
[root@hadoop211]# yarn-daemon.sh stop nodemanager
[root@hadoop211]# yarn-daemon.sh stop resourcemanager


## 启动NodeManager 、ResourceManager和HistoryManager
[root@hadoop211]# yarn-daemon.sh start resourcemanager
[root@hadoop211]# yarn-daemon.sh start nodemanager
[root@hadoop211]# mr-jobhistory-daemon.sh start historyserver


## 删除HDFS上已经存在的输出文件
[root@hadoop211]# hdfs dfs -rm -R /user/bigdata/output


## 执行WordCount程序
[root@hadoop211]#  hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar \
 wordcount /user/bigdata/input /user/bigdata/output

查看日志，http://hadoop101:19888/jobhistory

安装hadoop并在standalone模式下简单测试

2020-04-06T15:46:38+00:00

1.安装jdk，参考

2.下载hadoop二进制包

[root@hadoop211]# wget http://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

3.设置hadoop环境变量

[root@hadoop211]# tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module

[root@hadoop211]# vi /etc/profile

# 在文件尾部增加
## HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

[root@hadoop211]# source /etc/profile

[root@hadoop211]# hadoop version
Hadoop 2.7.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41
Compiled by jenkins on 2016-01-26T00:08Z
Compiled with protoc 2.5.0
From source with checksum d0fda26633fa762bff87ec759ebe689c
This command was run using /opt/module/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar

4.跑两个官方示例

官方Grep案例

[root@hadoop211]# mkdir -p /opt/tmp/hadoop/input
[root@hadoop211]# cp /opt/module/hadoop-2.7.2/etc/hadoop/*.xml /opt/tmp/hadoop/input
[root@hadoop211]# hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar \
 grep /opt/tmp/hadoop/input /opt/tmp/hadoop/output 'dfs[a-z.]+'
[root@hadoop211]# cat /opt/tmp/hadoop/output/*

官方WordCount案例

[root@hadoop211]# mkdir -p /opt/tmp/hadoop/wcinput
[root@hadoop211]# cp /opt/module/hadoop-2.7.2/etc/hadoop/*.xml /opt/tmp/hadoop/wcinput
[root@hadoop211]# hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar \
 wordcount /opt/tmp/hadoop/wcinput /opt/tmp/hadoop/wcoutput
[root@hadoop211]# cat /opt/tmp/hadoop/wcoutput/*

使用git的submodule方式管理微服务架构代码

2020-04-02T07:40:24+00:00

创建整体项目repo，此处命名为parent 该repo不做具体代码提交用，仅做流水线发布拉取代码的主repo。

$ mkdir parent
$ cd parent
$ git init
$ git remote origin set-url http://localhost:3000/demo-multi-module/parent.git
$ git push

不同的微服务模块放在不同代码仓库 module 中，创建具体的 repo，此处命名module。

$ mkdir module
$ cd module
$ git init
$ git remote origin set-url http://localhost:3000/demo-multi-module/module.git
$ git push

将module添加为parent的子目录

$ git submodule add http://localhost:3000/demo-multi-module/module.git module
$ git commit -m "some comment"
$ git push

后面具体module提交代码就在自己repo中

$ echo 'first line' >> example.txt
$ git commit -m 'add example.txt'
$ git push 

由于当module具体需要更新时，在parent的repo要cd进入目录去 git pull比较繁琐，以下为遍历更新多个module目录的脚本

#! /bin/bash

path=`pwd`

ls $path | while read line
do
	if [ -d $line ];then
		echo $line is a directory;
		cd $line;
		git pull;
		cd ..
	else
		echo $line is a file;
	fi
done

参考：

https://blog.csdn.net/guotianqing/article/details/82391665

[转载]CentOS 7安装Python 2.6（与已有版本共存）

2020-03-10T17:33:24+00:00

安装需要用到的包

[root@hadoop102 ~]# yum install -y zlib-devel bzip2-devel openssl-devel xz-libs wget 

下载 Python 2.6.8 版本

[root@hadoop102 ~]# wget https://www.python.org/ftp/python/2.6.8/Python-2.6.8.tgz

解压文件

[root@hadoop102 ~]# tar -xzvf Python-2.6.8.tgz -C /opt/python/

进入解压后文件的目录
```
[root@hadoop102 ~]# cd Python-2.6.8
```

配置安装信息.

[root@hadoop102 ~]# ./configure  --enable-shared --prefix=/opt/module/python2.6
#（添加参数：--enable-shared，这样即会生成libpython2.6.so.1.0）

编译文件

[root@hadoop102 ~]# make
#（若失败提示：configure: error: no acceptable C compiler found in $PATH
# 安装GCC：yum install gcc）

安装编译好的文件

[root@hadoop102 ~]# make altinstall      # 使用 altinstall 安装, 不影响其他 Python 版本

设置软链接, 方便随时切换 Python 版本

[root@hadoop102 ~]# ln -s /opt/module/python2.6/bin/python2.6 /usr/bin/python2.6
[root@hadoop102 ~]# ln -s /opt/module/python2.6/lib/libpython2.6.so.1.0  /usr/lib/libpython2.6.so.1.0

9.执行python2.6时出现错误：

[root@hadoop102 ~]# python2.6
python: error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such file or directory

原因：linux系统默认没有把lib路径加入动态库搜索路径解决：

[root@hadoop102 ~]# vim /etc/ld.so.conf
# 添加如下一行内容
/opt/module/python2.6/lib　　#python2.6的路径
[root@hadoop102 ~]# ldconfig  # 使新添加的路径生效
[root@hadoop102 ~]# /sbin/ldconfig -v

参考：

https://www.cnblogs.com/MWCloud/p/11354591.html
https://blog.csdn.net/lyq19870515/article/details/80449386

Cloudera Manager在CentOS上安装

2020-03-07T05:55:24+00:00

1.CM下载地址

1).CM下载地址

2).离线库下载地址

2.CM安装

注：以下所有操作均使用root用户

1).创建/opt/module/cm目录

[root@hadoop102 module]# mkdir –p /opt/module/cm

2).上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到hadoop102的/opt/software目录，并解压到/opt/module/cm目录

[root@hadoop102 software]# tar -zxvf cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cm

3).分别在hadoop102、hadoop103、hadoop104创建用户cloudera-scm

[root@hadoop102 module]# 
useradd \
--system \
--home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \
--no-create-home \
--shell=/bin/false \
--comment "Cloudera SCM User" cloudera-scm

[root@hadoop103 module]# 
useradd \
--system \
--home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \
--no-create-home \
--shell=/bin/false \
--comment "Cloudera SCM User" cloudera-scm

[root@hadoop104 module]# 
useradd \
--system \
--home=/opt/module/cm/cm-5.12.1/run/cloudera-scm-server \
--no-create-home \
--shell=/bin/false \
--comment "Cloudera SCM User" cloudera-scm

参数说明：
--system 创建一个系统账户
--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
--no-create-home 不要创建用户的主目录
--shell 用户的登录 shell 名
--comment 用户的描述信息
注意：Cloudera Manager默认去找用户cloudera-scm，创建完该用户后，将自动使用此用户。

4).修改CM Agent配置

修改文件/opt/module/cm/cm-5.12.1/etc/cloudera-scm-agent/ config.ini的主机名称

[root@hadoop102 cloudera-scm-agent]# vim /opt/module/cm/cm-5.12.1/etc/cloudera-scm-agent/config.ini
# 修改主机名称
server_host=hadoop102

5).配置CM的数据库

拷贝mysql-connector-java-5.1.27-bin.jar文件到目录 /usr/share/java/

[root@hadoop102 cm]# mkdir –p /usr/share/java/
[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

[root@hadoop102 mysql-libs]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

[root@hadoop102 mysql-libs]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

注意：jar包名称要修改为mysql-connector-java.jar

6).使用CM自带的脚本，在MySQL中创建CM库

[root@hadoop102 cm-5.12.1]# 
/opt/module/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 --scm-host hadoop102 scm scm scm

JAVA_HOME=/opt/module/jdk1.8.0_144
Verifying that we can write to /mnt/nas/hadoop102/module/cm/cm-5.12.1/etc/cloudera-scm-server
Creating SCM configuration file in /mnt/nas/hadoop102/module/cm/cm-5.12.1/etc/cloudera-scm-server
Executing:  /opt/module/jdk1.8.0_144/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/mnt/nas/hadoop102/module/cm/cm-5.12.1/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /mnt/nas/hadoop102/module/cm/cm-5.12.1/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

参数说明
-h：Database host
-u：Database username
-p：Database Password
--scm-host：SCM server's hostname

7).修改服务端启动对应的数据地址、端口、用户、密码

[root@hadoop102 module]# vi /opt/module/cm/cm-5.12.1/etc/cloudera-scm-server/db.properties
...
com.cloudera.cmf.db.host=hadoop102
com.cloudera.cmf.db.name=cm
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=000000
...

8).分发cm

[root@hadoop102 module]# xsync /opt/module/cm

9).创建Parcel-repo

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcel-repo
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

10).拷贝下载文件manifest.json 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到hadoop102的/opt/cloudera/parcel-repo/目录下

[root@hadoop102 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel  CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1  
manifest.json

11).将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1：需改名为 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

[root@hadoop102 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

12).在hadoop102上创建目录/opt/cloudera/parcels，并修改该目录的所属用户及用户组为cloudera-scm

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels 
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

13).分发/opt/cloudera/

[root@hadoop102 opt]# xsync /opt/cloudera/

3.启动CM服务

1).启动服务节点：hadoop102

[root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [确定]

2).启动工作节点：hadoop102、hadoop103、hadoop104

[root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

[root@hadoop103 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

[root@hadoop104 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

注意：启动过程非常慢，Manager启动成功需要等待5分钟左右，过程中会在数据库中创建对应的表需要耗费一些时间。

如果遇到，启动失败，日志文件/opt/module/cm/cm-5.12.1/log/cloudera-scm-agent/cloudera-scm-agent.out 提示 /usr/bin/env: python2.6: No such file or directory ，则需要单独设置python2.6环境，<参考>

3).查看被占用则表示安装成功了！！！

[root@hadoop102 cm]# netstat -anp | grep 7180
tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java 

4).访问http://hadoop102:7180，（用户名、密码：admin）

4.关闭CM服务

1).关闭工作节点：hadoop102、hadoop103、hadoop104

[root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [确定]
[root@hadoop103 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [确定]
[root@hadoop104 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent:                               [确定]

2).关闭服务节点：hadoop102

[root@hadoop102 cm]# /opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server：                                 [确定]

集群整体操作脚本

2020-03-06T09:39:24+00:00

1）在/root/bin目录下创建脚本xcall.sh

[root@hadoop102 bin]$ vim xcall.sh

2）在脚本中编写如下内容

#! /bin/bash

for i in hadoop102 hadoop103 hadoop104
do
        echo --------- $i ----------
        ssh $i "$*"
done

3）修改脚本执行权限

[root@hadoop102 bin]$ chmod 777 xcall.sh

集群文件同步脚本

2020-03-06T09:39:24+00:00

1）在/root目录下创建bin目录，并在bin目录下创建文件xsync，文件内容如下：

$ cd ~
$ mkdir bin
$ cd bin/
$ vi xsync

2)在该文件中编写如下代码

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径 #pdir=`cd -P $(dirname $p1); pwd`
#3 获取上级目录的路径
pdir=`cd $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
done

3）修改脚本 xsync 具有执行权限

$ chmod 777 xsync

关闭SELINUX

2020-03-06T02:06:24+00:00

安全增强型Linux（Security-Enhanced Linux）简称SELinux，它是一个 Linux 内核模块，也是Linux的一个安全子系统。

有如下两种关闭方法

1.临时关闭（不建议使用）

[root@hadoop102 ~]# setenforce 0

但是这种方式只对当次启动有效，重启机器后会失效。

2.永久关闭（建议使用）修改配置文件/etc/selinux/config

[root@hadoop102 ~]# vim /etc/selinux/config
将SELINUX=enforcing 改为SELINUX=disabled
SELINUX=disabled

3.同步/etc/selinux/config配置文件

[root@hadoop102 ~]# xsync /etc/selinux/config

4.重启主机

[root@hadoop102 ~]# reboot

Mysql5.6在Centos7上的安装排错过程

2020-03-05T07:26:38+00:00

首先准备mysql5.6相关的安装包

注意：一定要用root用户操作如下步骤；先卸载MySQL再安装

1.准备安装包

[root@hadoop102 mysql-libs]# ll
总用量 76048
-rw-r--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm
-rw-r--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz
-rw-r--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

2.检查并卸载本地的自带默认msyql及依赖

#查看MySQL是否安装
[root@hadoop102 mysql-libs]# rpm -qa|grep mysql
mysql-libs-5.1.73-7.el6.x86_64
[root@hadoop102 mysql-libs]# rpm -qa| grep mariadb
mariadb-libs-5.5.64-1.el7.x86_64

#如果安装了就先卸载
[root@hadoop102 mysql-libs]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
[root@hadoop102 mysql-libs]# rpm -e --nodeps mariadb-libs-5.5.64-1.el7.x86_64

3.安装MySQL服务器

# 安装
[root@hadoop102 mysql-libs]# yum localinstall MySQL-server-5.6.24-1.el6.x86_64.rpm

# 查看MySQL状态
[root@hadoop102 mysql-libs]# service mysql status

# 启动MySQL
[root@hadoop102 mysql-libs]# service mysql start
Starting MySQL..The server quit without updating PID file ([FAILED]/mysql/hadoop102.pid).

# 启动不了，如遇上述状况，查看 /var/lib/mysql/hadoop102.err
200306 10:53:15 mysqld_safe Starting mysqld daemon with databases from /data/mysql
2020-03-06 10:53:15 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2020-03-06 10:53:15 0 [Note] /usr/sbin/mysqld (mysqld 5.6.24) starting as process 2919 ...
2020-03-06 10:53:15 2919 [Note] Plugin 'FEDERATED' is disabled.
/usr/sbin/mysqld: Table 'mysql.plugin' doesn't exist
2020-03-06 10:53:15 2919 [ERROR] Can't open the mysql.plugin table. Please run mysql_upgrade to create it.
2020-03-06 10:53:15 2919 [Note] InnoDB: Using atomics to ref count buffer pool pages

# 提示Table 'mysql.plugin' doesn't exist
# 执行以下操作，找到 mysql_install_db 所在目录做一次初始化
[root@hadoop102 mysql-libs]# find / -name mysql_install_db
/usr/bin/mysql_install_db

# 执行/usr/bin/mysql_install_db 初始化数据库
[root@hadoop102 mysql-libs]# /usr/bin/mysql_install_db --user=mysql
FATAL ERROR: please install the following perl modules before executing /usr/bin/mysql_install_db:
Data::Dumper

# 如出现上述错误执行下
[root@hadoop102 mysql-libs] yum -y install autoconf
# 再执行
[root@hadoop102 mysql-libs]# /usr/bin/mysql_install_db --user=mysql

# 再次启动
[root@hadoop102 mysql-libs]# service mysql start
Starting MySQL..                                           [  OK  ]

4、更换持久化数据目录，目的是以后服务器销毁还能保留，如无该需求此步可忽略

# 在NAS挂载盘中创建对应目录，并做好本机软链
[root@hadoop102 mysql-libs]# mkdir -p /mnt/nas/hadoop102/data/
[root@hadoop102 mysql-libs]# ln -s /mnt/nas/hadoop102/data/ /data
[root@hadoop102 mysql-libs]# mkdir -p /data/mysql

# 停止服务器
[root@hadoop102 mysql-libs]# service mysql stop

# 修改mysql服务的启动文件数据目录
[root@hadoop102 mysql-libs]# vi /etc/rc.d/init.d/mysql
# 找到开头 datadir= 的地方改为 datadir=/data/mysql

# 剪切 /var/lib/mysql 下的所有文件到 /data/mysql 下
[root@hadoop102 mysql-libs]# mv /var/lib/mysql/* /data/mysql/

# 再次启动服务器
[root@hadoop102 mysql-libs]# service mysql start

5.安装MySQL客户端并重置用户权限

1).安装MySQL客户端

[root@hadoop102 mysql-libs]# yum localinstall MySQL-client-5.6.24-1.el6.x86_64.rpm

2).链接MySQL并修改密码

[root@hadoop102 mysql-libs]# mysql
mysql>SET PASSWORD=PASSWORD('000000');
mysql>exit

3).修改MySQL中user表中主机配置，配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。

# 进入MySQL
[root@hadoop102 mysql-libs]# mysql -uroot -p000000

# 显示数据库
mysql>show databases;

# 使用MySQL数据库
mysql>use mysql;

# 展示MySQL数据库中的所有表
mysql>show tables;

# 展示user表的结构
mysql>desc user;

# 查询user表
mysql>select User, Host, Password from user;

# 修改user表，把Host表内容修改为%
mysql>update user set host='%' where host='localhost';

# 删除root用户的其他host
mysql>delete from user where Host='hadoop102';
mysql>delete from user where Host='127.0.0.1';
mysql>delete from user where Host='::1';

# 刷新使权限生效
mysql>flush privileges;

# 退出
mysql>quit;

在CentOS安装JDK

2020-03-05T03:26:38+00:00

在CentOS安装JDK

1.解压JDK到/opt/module目录下，并修改文件的所有者和所有者组为root

[root@hadoop102 software]# ls jdk*
jdk-8u144-linux-x64.tar.gz
[root@hadoop102 software]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

2.修改文件的所有者和所有者组为root

[root@hadoop102 software]# cd /opt/module
[root@hadoop102 software]# chown root:root -R /opt/module/jdk1.8.0_144/

3.配置JDK环境变量

# 打开/etc/profile文件，在文件末尾添加JDK路径
[root@hadoop102 software]# vi /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

# 保存退出

4.让修改后的文件生效

[root@hadoop102 software]# source /etc/profile

5.测试JDK是否安装成功

[root@hadoop102 software]# java -version
java version "1.8.0_144"

6.确认java版本无误后完成