hadoop分布式文件系统搭建

### hadoop分布式文件系统搭建 #### 一、配置hadoop分布式文件系统环境搭建 ##### 1. 准备 在开始搭建Hadoop分布式文件系统之前，首先需要确保环境准备妥当。具体步骤包括： - **检查端口占用情况**：通过`netstat -apn | grep 9083`命令检查端口9083是否被占用。这是因为Hadoop的一些服务可能会使用到特定端口，确保这些端口可用是非常重要的。 - **操作系统要求**：本教程使用的操作系统为Linux Red Hat 4.1.2-51。尽管这是一个较旧的版本，但用于学习和实验是足够的。 - **硬件环境**：准备五台虚拟机服务器作为搭建环境： - `172.168.0.2`：主节点（NameNode） - `172.168.0.3`、`172.168.0.4`、`172.168.0.5`、`172.168.0.6`：从节点（DataNode） ##### 2. 配置SSH无密码登录各个节点 为了使NameNode能够有效地管理DataNode，需要配置SSH无密码登录。 - **步骤2.1**：使用SecureCRT登录到主节点`172.168.0.2`，执行`ssh-keygen -trsa`命令来生成RSA密钥对。按回车接受默认设置即可。完成后，会在`/root/.ssh/`目录下生成两个文件：`id_rsa`（私钥）和`id_rsa.pub`（公钥）。 - **步骤2.2**：将`id_rsa.pub`文件复制到`authorized_keys`文件中。可以使用`cat id_rsa.pub >> authorized_keys`命令完成。 - **步骤2.3**：将`authorized_keys`文件通过`scp`命令发送到每个从节点的`/root/.ssh/`目录下。如果目标目录不存在，则需要先创建。例如，向从节点`172.168.0.3`发送文件时，可能需要先执行`mkdir /root/.ssh`来创建`.ssh`目录。 完成上述步骤后，NameNode就可以通过SSH无密码登录到所有DataNode。可以使用`ssh 172.168.0.x`来测试连接性，其中`x`代表从节点的IP地址。 ##### 3. 下载JDK和Hadoop安装包并配置 接下来，需要下载JDK和Hadoop的安装包并进行相应的配置。 - **JDK和Hadoop版本选择**：这里选择的是JDK 1.7.0_79 64位和Hadoop 2.6.0。 - **JDK环境变量配置**： - 解压JDK：`tar -zxvf jdk1.7.0_79.tar.gz -C /usr/java` - 修改`/etc/profile`文件添加以下行： ``` export JAVA_HOME="/usr/java/jdk1.7.0_79" export JRE_HOME="$JAVA_HOME/jre" export CLASSPATH="$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar" export PATH="$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH" ``` - 使用`source /etc/profile`命令使环境变量生效。 ##### 4. 格式化分布式文件系统 在配置好JDK和Hadoop之后，下一步是格式化Hadoop的分布式文件系统（HDFS）。 - 进入到Hadoop安装目录下的`bin`目录。 - 执行`hdfs namenode -format`命令来格式化HDFS。 - 格式化完成后，可以使用`hadoop fs -ls /`命令检查HDFS根目录下的文件和目录。 #### 二、配置Hive 配置完Hadoop后，接下来需要配置Hive，以便能够进行数据处理和分析。 ##### 1. 下载Hive和MySQL安装包并解压 - **Hive**：下载Hive的安装包并解压至适当位置。 - **MySQL**：同样下载MySQL的安装包并解压。 ##### 2. 配置Hive环境变量 - 修改`/etc/profile`文件，添加Hive的相关环境变量： ``` export HIVE_HOME=<hive-installation-path> export PATH="$PATH:$HIVE_HOME/bin" ``` ##### 3. 安装MySQL - 安装MySQL服务，并启动服务。 - 创建Hive元数据存储所需的数据库。 ##### 4. 设置root密码 - 通过MySQL客户端设置root用户的密码。 ##### 5. 修改Hive配置文件 - 编辑Hive的配置文件`hive-site.xml`，配置Hive与MySQL之间的连接以及HDFS的位置。 ##### 6. 启动Hive和退出 - 使用`hive`命令启动Hive Shell。 - 使用`exit`命令退出Hive Shell。 本文详细介绍了如何从零开始搭建一个包含Hadoop分布式文件系统和Hive的数据处理平台。通过遵循上述步骤，可以构建一个基本的Hadoop集群，并在此基础上进行更高级的数据处理任务。