虚拟机环境搭建与Hadoop用户配置指南
1、安装虚拟机
下载VMvare,安装ubuntu16.04,完成虚拟系统基本设置,学习本地与虚拟机之间文件互传的方式。此部分内容自行参照网上教程。
2、创建用户
如果你安装 Ubuntu 的时候不是用的 "hadoop" 用户,那么需要增加一个名为 hadoop 的用户:
首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :
sudo useradd -m hadoop -s /bin/bash
这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。
sudo命令:
本文中会大量使用到sudo命令。sudo是ubuntu中 一种权限管理机制,管理员可以授权给一些普通用户去执行一些需 要root权限执行的操作。当使用sudo命令时,就需要输入您当前用户的密码。
密码:
在Linux的终端中输入密码,终端是不会显示任何你当前输入的密码,也不会提示你已经输入了多少字符密码。而在windows 系统中,输入密码一般都会以“*”表示你输入的密码字符。
接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:
sudo passwd hadoop
可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
sudo adduser hadoop sudo
最后注销当前用户(点击屏幕右上角的齿轮,选择注销),返回登陆界面。
在登陆界面中选择刚创建的 hadoop 用户进行登陆。
3、更新apt
用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。
按 ctrl+alt+t 打开终端窗口,执行如下命令:
sudo apt-get update

若出现如下 "Hash校验和不符" 的提示,可通过更改软件源来解决。
若没有该问题,则不需要更改。
从软件源下载某些软件的过程中,可能由于网络方面的原因出现没法下载的情况,那么建议更改 软件源。
在学习Hadoop过程中,即使出现“Hash校验和不符”的提示,也不会影响Hadoop的安装。
首先点击左侧任务栏的【系统设置】(齿轮图标),选择【软件 和更新】

点击 “下载自” 右侧的方框,选择【其他节点】

在列表中选中【mirrors.aliyun.com】,并点击右下角的【选择 服务器】,会要求输入用户密码,输入即可。

接着点击关闭。

此时会提示列表信息过时,点击【重新载入】, 最后耐心等待更新缓存即可。

更新完成会自动关闭【软件和更 新】这个窗口。
如果还是提示错误,请选择其他服务器节点如 mirrors.163.com 再次进行尝试。
更新成功后,再次执行 sudo apt get update 就正常了。
后续需要更改一些配置文件,我比较喜欢用的是 vim(vi增强 版,基本用法相同),建议安装一下(如果你实在还不会用 vi/vim 的,请将后面用到 vim 的地方改为 gedit,这样可以使用文本编辑 器进行修改,并且每次文件更改完成后请关闭整个 gedit 程序,否 则会占用终端):
sudo apt-get install vim

安装软件时若需要确认,在提示处输入 y 即可。
vim的常用模式有分为命令模式,插入模式,可视模式,正常模式。
本教程中,只需要用到正常模式和插入模式。二者间的切换即可以帮助你完成本指南的学习。
1. 正常模式
正常模式主要用来浏览文本内容。一开始打开vim都是正常模式。在任何模式下按下Esc键就可以返回正常模式
2. 插入编辑模式
插入编辑模式则用来向文本中添加内容的。在正常模式下,输入i键即可进入插入编辑模式
3. 退出vim
如果有利用vim修改任何的文本,一定要记得保存。
Esc键退回到正常模式 中,然后输入:wq即可保存文本并退出vim
4、安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你 可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认 已安装了 SSH client,此外还需要安装 SSH server:
sudo apt-get install openssh-server

安装后,可以使用如下命令登陆本机:
ssh localhost

此时会有如下提示(SSH首次登陆提示),输入 yes 。
然后按提 示输入密码 hadoop,这样就登陆到本机了。
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密 码登陆比较方便。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
exit

退出刚才的 ssh loca lhost
cd ~/.ssh/
若没有该目录,请先执 行一次ssh localhost
ssh-keygen -t rsa

会有提示,都按回车 就可以
cat ./id_rsa.pub >> ./authorized_keys
加入授权

~的含义:
在 Linux 系统中,~ 代表的是用户的主文件夹,即 "/home/用户名" 这个目录,如你的用户名为 hadoop,则 ~ 就代 表 "/home/hadoop/"。
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,如下图。

5、安装Java环境
按照下面步骤来自己手动安装JDK1.8。
安装包:jdk-8u162 linux-x64.tar.gz
自行官网查找,登录后下载。
在Linux命令行界面中,执行如下Shell命令(注意:当前登录 用户名是hadoop):
cd /usr/lib
sudo mkdir jvm
创建/usr/lib/jvm目录用来存放JDK文件
cd ~
进入hadoop用户的主目录
cd Downloads
注意区分大小写字母。

刚才已经通过FTP 软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该 目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /u sr/lib/jvm


把JDK文件解压到/usr/lib/jvm目录下 JDK文件解压缩以后,可以执行如下命令到/usr/lib/jvm目录查看 一下:
cd /usr/lib/jvm
ls

可以看到,在/usr/lib/jvm目录下有个jdk1.8.0_162目录。
下面继续执行如下命令,设置环境变量:
cd ~
vim ~/.bashrc

上面命令使用vim编辑器打开了hadoop这个用户的环境变量配 置文件,请在这个文件的开头位置,添加如下几行内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存.bashrc文件并退出vim编辑器。
然后,继续执行如下命令 让.bashrc文件的配置立即生效:
source ~/.bashrc

这时,可以使用如下命令查看是否安装成功:
java -version

如果能够在屏幕上返回如下信息,则说明安装成功:
hadoop@ubuntu:~$
java -version java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, m ixed mode)
至此,就成功安装了Java环境。
更多推荐



所有评论(0)