mac OS hadoop伪分布安装教程

作者:高景洋 日期:2020/10/23 11:55 浏览次数:128

一、需要进行hadoop伪分布安装的本机环境

系统版本:MacOS Catalina 10.15.1


二、Java JDK 安装

java jdk 版本:1.8.0_211

链接: https://pan.baidu.com/s/1AI4rfQAkZlrvbC5JUkPYVg 

提取码: q945 


三、开通ssh

1、屏幕左上角-'苹果小图标'-'系统偏好设置'-'共享'


四、免密码登录

1、创建密钥匙

执行命令:ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

一路回车, 最终会在~/.ssh目录生成id_rsa和id_rsa.pub文件

2、将密钥放在ssh授权目录,目的是免除ssh登陆密码

执行命令:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3、常试ssh 登陆

执行命令:ssh localhost


五、hadoop下载

1、下载地址:http://hadoop.apache.org/releases.html,我们选择hadoop-3.2.1 版本

2、下载后文件为:hadoop-3.2.1.tar.gz

3、解压文件 生成 hadoop-3.2.1 目录

4、为方便管理,我们将hadoop 目录移至 /usr/local/hadoop 下

     执行命令 sudo mv /Users/jasongao/Documents/soft/hadoop-3.2.1 /usr/local/hadoop


六、伪分布模式配置

进入目录/usr/local/hadoop/etc/hadoop,对以下文件进行修改


1、打开hadoop-env.sh文件,增加JAVA的路径设置:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home


2、打开core-site.xml文件,将configuration节点改为如下内容:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>


3、打开hdfs-site.xml文件,将configuration节点改为如下内容:


<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

4、打开mapred-site.xml文件,将configuration节点改为如下内容:

<configuration>
    <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>

5、打开yarn-site.xml文件,将configuration节点改为如下内容:

<configuration>
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property>
    <property> 
        <name>yarn.nodemanager.env-whitelist</name>
                  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

6、在目录/usr/local/hadoop/bin执行以下命令,初始化hdfs:

执行命令:./hdfs namenode -format


七、启动hdfs

1、进入目录 /usr/local/hadoop/sbin,执行执行./start-dfs.sh启动hdfs: 

ps:有warning 提示,直接忽略

2. 本地浏览器访问地址:localhost:9870,可见正常UI页面

3、进入目录 /usr/local/hadoop/sbin,执行./start-yarn.sh启动yarn:

4、本地浏览器访问地址:localhost:8088 ,可见yarn的web页面如下图:

5、执行jps命令查看所有java进程,正常情况下可以见到以下进程:

     2161 NodeManager
     1825 SecondaryNameNode
     2065 ResourceManager
     1591 NameNode
     2234 Jps
     1691 DataNode

八、停止hadoop服务

1、进入目录 /usr/local/hadoop/sbin,执行./stop-all.sh即可关闭hadoop的所有服务


本文永久性链接:
<a href="http://www.zhihu.so/art146.aspx">mac OS hadoop伪分布安装教程</a>
相关文章
友情链接
支付宝打赏(内容对您有帮助的话)
微信交流
知乎编程经验网 - 在工作中总结编程的经验! 备案/许可证编号:鲁ICP备11020152号
QQ:120217215 联系电话:15192695151