linux下搭建hadoop环境步骤分享

linux下搭建hadoop环境步骤,需要的朋友可以参考下

1、下载hadoop包
wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
2、tar xvzf hadoop-0.20.2.tar.gz
3、安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录
5、配置java环境变量 vi /etc/profile


export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

在终端下执行 source /etc/profile 使配置生效

6、可以用以下命令查看
显示JAVA版本 java -vesion


echo $JAVA_HOME
which java
echo $PATH
echo $CLASSPATH

如果java -version没有显示你的JDK的版本,请检查你的path的设置。

7、配置hadoop环境变量 vi /etc/profile


export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_INSTALL/bin

source /etc/profile 使配置生效

8、测试环境
hadoop version 显示
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010

9、配置
hadoop每一个组件都使用一个XML文件配置,核心属性在core-site.xml中,HDFS属性在hdfs-site.xml中,MapReduce属性在mapred-site.xml中。这些文件都在conf子目录下。
hadoop有本地模式、伪分布模式和完全分布模式三种,默认配置为本地模式,没有守护进程,一切都运行在单个JVM上。

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除!

相关文档推荐

查看新增磁盘的设备号 如下图,本例中新增磁盘设备号为 /dev/vdb,大小为10G;磁盘已自动完成分区(/dev/vdb1)和文件系统(ext4)的设置,下面直接挂载即可。 挂载磁盘文件系统 这里介绍两种挂载方式:手动和自动。手动即每次重启启动后,需要再次手工挂载分
1.Ubuntu 查看磁盘空间大小命令 df -h Df命令是linux系统以磁盘分区为单位查看文件系统,可以加上参数查看磁盘剩余空间信息, 命令格式: df -hl 显示格式为: 文件系统 容量 已用 可用 已用% 挂载点 Filesystem Size Used Avail Use% Mounted on /dev/hda2
报错内容如下: [root@localhost win]# java -jar /opt/jodconverter2/lib/jodconverter-cli-2.2.2.jar /tmp/win/3.doc /tmp/win/3.pdf2013-7-31 17:24:01 com.artofsolving.jodconverter.openoffice.connection.AbstractOpenOfficeConnection connect信息: c
1、在网上找到你要的目标字体。 2、上传到CentOS 7系统的 /usr/share/fonts 目录中。 3、执行# sudo mkfontscale(如果命令不存在,请yum安装mkfontscale)。 4、执行# mkfontdir (如果命令不存在,请yum安装mkfontdir )。 5、执行# fc-cache -fv(如果命
一、启动步骤: 1.cd /opt/openoffice4/program (安装路径) 2.运行命令 soffice -headless -accept=socket,host=127.0.0.1,port=8100;urp; -nofirststartwizard 或者1 2合并为以下这一个命令来启动: 启动命令 /opt/openoffice4/program/soffice -headless
linux 宝塔控制面板 安装过程 yum install -y wget wget -O install.sh http://103.224.251.79:5880/install/install.sh sh install.sh 下载完成后 有个确认是否安装面板,输入y确认。 大约3分钟完成。 然后安装LAMP套装,大约16-20分钟。 此时可以同时上传