hadoop在windows下的配置与运行

1、一、cygwin的安装与配置1、什么是cygwin　cygwin是一个在windows平台上运行的unix模拟环境，是cygnussolutions公司开发的自由软件（该公司开发了很多好东西，著名的还有eCos，不过现已被Redhat收购）。它对于学习unix/linux操作环境，或者从unix到windows的应用程序移植，或者进行某些特殊的开发工作，尤其是使用gnu工具集在windows上进行嵌入式系统开发，非常有用。随着嵌入式系统开发在国内日渐流行，越来越多的开发者对cygwin产生了兴趣。2、cygwin的安装（1）下载安装程序，下载地址为：http://www.cygwin.com/setup.exe(2)选择必须安装的包,根据实践有如下包必须选择安装，否则很可能cygwin安装失败！NetCategory下的OpenSSL，OpenSSH;BaseCategory下的sed;EditorsCategory下的vim,Emacs;DevelCategory下的subversion,binutils,gcc,gcc-mingw,gdb(3)点击下一步。一直到完成说明：虽然cygwin提供在线安装，个人建议先完全下载到本地，再进行安装，因为在线安装会出现许多莫名奇妙的问题。2、cygwin的配置（1）配置环境变量CLASSPATH=.;C:\Java\jdk1.6.0_11\lib\dt.jar;C:\Java\jdk1.6.0_11\lib\tools.jarCYGWIN=ntsec;JAVA_HOME=C:\Java\JDK1.6.0_11;C:\Java\jre6;在PATH环境变量中加入如下路径C:\cygwin\bin;C:\cygwin\usr\i686-pc-cygwin\bin;C:\Java\jdk1.6.0_11\bin;（2）安装sshd服务启动cygwin输入命令：ssh-host-config;根据提示进行相应的操作直至安装完成，安装成功后立即启动名称为“CYGWINsshd”的服务。（3）配置ssh登录执行ssh-keygen命令，然后根据提示按三次回车键，最后输入如下命令：cd~/.ssh/;cpid_rsa.pubauthorized_keys至此，cygwin的安装与配置成功，你可以享受cygwin带来的乐趣。

2、二、hadoop多节点的安装与部署1、下载hadoop;本实验用的版本是：hadoop-0.20.1;2、外部配置选中一台机子做为jobTracker，namenode,datanode这个邙掩镔呔机子为master,这个机器的ip设置为192.168.1.140。另外两台做datanode,TaskTracker为slave，这个机器的ip为192.168.1.141，192.168.1.1423、为了实现无密码登录ssh服务器，在master机器cygwin的控制台中输入如下命令：cd~/.ssh；chmod600authorized_keys；scpauthorized_keysAdministrator@192.168.1.141:~/.ssh/authorized_keys；scpauthorized_keysAdministrator@192.168.1.142:~/.ssh/authorized_keys；假如是所用的客户端计算机是第一次登陆SSH服务器，命令行中会提示“Areyousureyouwanttocontinueconnecting(yes/no)?”，只要输入yes即可，SSH服务器会自动将这次的登陆信息存储在/.ssh/known_host文件中。当显示“Fanfare!!!Youaresuccessfullyloggedintothisserver!!!”时，说明已经成功登陆到ssh服务器计算机内了，需要注重的是，此时在当前控制台内输入的命令都将在ssh服务器计算机里运行。4、master机器Hadoop机器环境部署：（1）将安装包解压到F:\hadoop\run中；（2）修改conf目录下的hadoop-env.shexportJAVA_HOME="/cygdrive/c/Java/jdk1.6.0_11"(3)修改conf目录下的core-site.xml；<property><name>fs.default.name</name><value>hdfs://192.168.1.140:9000<value>......................................(4)修改conf目录下的hdfs-site.xml；<property><name>dfs.datanode.handler.count</name><value>1<value>......................................<property><name>dfs.replication</name><value>1<value>......................................（5）修改conf目录下的mapred-site.xml<property><name>mapred.job.tracker</name><value>192.168.1.140:9001<value>......................................（6）修改conf目录下的masters文件输入192.168.1.140（7）修改conf目录下的slaves文件输入：192.168.1.140192.168.1.141192.168.1.142（7）配置hadoop在cygwin中的环境用vi打开/etc/profile文件，在文件的末尾追加如下代码：exportHADOOP_HOME=/cygdrive/f/hadoop/runexportPATH=$PATH:$HADOOP_HOME/bin（8）格式化一个新的分布式文件系统cd$HADOOP_HOMEbin/hadoopnamenode-format5、slave机器Hadoop机器环境部署把master机器上的F:\hadoop拷贝到slave机器上的F盘的根目录下即可。6、关闭master，slave机器上的Cygwin,然后重启Cygwin。7、启动master上的hadoop，执行如下命令：sshlocalhostcd$HADOOP_HOMEbin/start-dfs.shbin/start-mapred.shjps8、运行wordcount程序$bin/hadoopdfs-put./test-ininput$bin/hadoopjarhadoop-0.16.0-examples.jarwordcountinputoutput$bin/hadoopdfs-catoutput/*9、停止hadoop进行$bin/stop-all.sh10、配置hadoop的开发环境(1)下载hadoop-0.20.1-eclipse-plugin.jar(2)将其复制到Eclipse安装目录下的plugins子目录下。(3)删除org.eclipse.update目录，重启Eclipse.(4)配置一个Map/Reduce对象，即DFSlocation,将Map/ReduceMaster一栏中的host设置为192.168.140，port设置为9001；将DFSMaster一栏中的host设置为192.168.140，port设置为9000；（5）运行wordcout程序创建一个Map/ReduceProject,将wordcount.java拷贝到该工程的src目录下，运行程序。至此，如果以上没有问题的话，hadoop多节点的运行环境与开发环境配置完毕了，你可以开发Map/Reduce程序了。