一、集群安装知识
启动集群的命令start-all.sh位于 Hadoop安装目录的sbin文件夹 目录下。
bin文件夹下包含常见的Hadoop,yarn命令；sbin命令下包含集群的启动、停止命令。
启动集群的命令start-all.sh包含 同时启动start-dfs.sh和start-yarn.sh 功能。
先启动文件系统start-dfs.sh，然后启动计算相关start-yarn.sh。
集群完全启动（dfs和yarn）后，master端包括 NameNode、SecondaryNameNode、ResourceManager 进程
文件系统相关：NameNode、SecondaryNameNode；
计算相关的资源管理进程：ResourceManager
集群完全启动后，salve工作节点包含进程：DataNode、NodeManager
文件存储进程：DataNode；节点计算进程：NodeManager
集群启动dfs后，master端包含 NameNode、SecondaryNameNode 进程与dfs相关。
集群启动yarn后，工作节点包含 NodeManager 进程与yarn相关。
假设集群的安装目录是/home/zkpk/hadoop-3.1.3，则集群的配置文件子目录是 /home/zkpk/hadoop-3.1.3/etc/hadoop
配置文件在HADOOP_HOME的etc/hadoop子目录下
linux的系统环境配置文件是 /etc/profile
系统环境文件为/etc/profile，通常JAVA_HOME在此设置
Linux中记录主机Ip地址与主机名称的文件是 /etc/hosts
文件名为/etc/hosts；文件内容：每一行包含IP地址 主机名
Linux中：～表示用户的HOME目录；修改/etc/profile需要root用户操作；
语句cd和cd~相同，都是表示返回当前用户的HOME目录；cd..表示返回上一级目录。
二、HADOOP知识
大数据的4V理论：数据量大（Volume）；数据类型繁多（Variety）；
处理速度快（Velocity）；价值密度低（Value）。
4V+特征
数据量大（Volume）
数据类型繁多（Variety）
数据价值密度低（Value）
数据速度快时效高（Velocity）
可变性（Variability）、真实性(Veracity)
大数据计量单位：GB-TB-PB-EB-ZB（其中ZB是容量最大的单位）
大数据的四种计算模式：批处理；流计算；图计算；查询分析计算。
关于Hadoop的说法：高可靠性；可容错性；高可扩展性；低成本
HADOOP生态系统组件：YARN、SPARK、MapReduce、Hive、Hbase......
安装HADOOP集训需要用到ssh面密码登录：
需要配置master到所有slave主机，slave相互之间的免密登录。
Hadoop 3.X的WebUI浏览端口是9870
查看/打印集群上的根目录下abc文件夹的文件：hadoop fs -ls /abc；hadoop fs -cat /abc/*
上传一个Linux当前目录下的test.a文件到集群根目录下，应该使用命令：hadoop fs -put test.a /
关于MapReduce的说法：核心思想是“分而治之”；Map阶段的输出作为Reduce阶段的输入；
Map任务全部完成后，才能进行Reduce任务；
不同Map/Reduce任务之间不会进行通信。
关于MR的说法：Map端的结果要写入本次磁盘；
一个Reduce任务处理一个分区数据；
Shuffle-就是从map端输出到reduce端输入之间的过程；
Map端输出时，要进行分区、排序、合并、归并等操作
一个文件大小是800M，集群block大小为256，Split分片大小为150M，则启动Map任务的数量是6
在Hadoop中，Map任务的数量通常是由输入文件被切分成的Split数量决定的。每个Split会对应一个Map任务。文件大小/split分片大小=800/150=6个
HADOOP序列化类型中与JAVA数据类型的描述中，
hadoop的Text类型与java的String对应；
hadoop的IntWritable类型与java的int 对应；
hadoop的LongWritable类型与java的long 对应；
hadoop的NullWritable空类型与Java的null对应
Yarn的说法中：yarn是一个通用的资源管理调度框架；
yarn的目标是“一个集群多个框架”；
yarn支持strom计算框架；
yarn把集群中的资源以容器（Container）方式分配给提出申请的应用程序。
