云计算实验报告2（共五篇）.docx

云计算实验报告2（共五篇）

第一篇：云计算实验报告2太原科技大学实验报告2020年10月14日实验时间：16时00分至18时00分专业姓名学号班级课程名称实验名称Hadoop平台安装实验2同组者指导教师成绩一、实验目标：在大数据时代，存在很多开源的分布式数据采集、计算、存储技术，本实验将熟悉并搭建几种常用的大数据采集、处理分析技术环境。实验二需要在笔记本上搭建Hadoop集群，实验报告根据教程对笔记本上创建虚拟机搭建Hadoop集群的步骤进行了说明。包含所有需要安装的软件与服务的版本，安装路径，安装方法等。二、实验原理：1.单机模式：Hadoop默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即java单进程，方便进行调试。2.伪分布式模式：Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以分离的java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。3.分布式模式：使用多个节点构成集群环境来运行Hadoop。三、实验内容：以伪分布式模式安装Hadoop平台四、实验设备：个人笔记本电脑虚拟街软件：VMwareWorkstation系统CentOS-7-x86_64-Everything-2003.iso阿里云contos-7镜像站点：http://mirrors.aliyun.com/centos/7/isos/x86_64/五、实验步骤：：将hadoop-2.7.3.tar.gz，拷贝到CentOS中的~/software目录下1、将Hadoop压缩包，解压缩到用户主目录的dt目录下；$cd~$mkdirdt$cddt$tar-zxvf~/software/hadoop-2.7.3.tar.gz2、打开/etc/profile配置文件，配置hadoop环境变量:exportHADOOP_HOME=/home/hduser/dt/hadoop-2.7.3exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH3、保存。然后执行/etc/profile文件(让配置生效)：$source/etc/profile配置Hadoop:1、配置$HADOOP_HOME/etc/hadoop/目录中如下的配置文件：1)hadoop-env.sh两个文件中都做：exportJAVA_HOME=/usr/local/jdk1.8.0_1622)core-site.xml注：如果没有hddata/tmp目录，要先在磁盘上创建。fs.defaultFShdfs://localhost:8020/hadoop.tmp.dir/home/hduser/dt/hddata/tmp3)hdfs-site.xml注：如果没有hddata/name目录和hddata/data目录，要先在磁盘上创建。dfs.namenode.name.dir/home/hduser/dt/hddata/namedfs.datanode.data.dir/home/hduser/dt/hddata/datadfs.replication14)mapred-site.xml注：默认没有这个文件，从mapred-site.xml.template复制一份并改名。$cpmapred-site.xml.templatemapred-site.xml#配置内容如下：mapreduce.framework.nameyarnmapreduce.jobhistory.addresslocalhost:10020mapreduce.jobhistory.webapp.addresslocalhost:198885)yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce_shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.hostnamelocalhost2、格式化hdfs(仅需执行格式化一次)。在终端窗口，执行命令:$hdfsnamenode-format安装SSH服务，实现集群中SSH无密码连接(从主节点到从节点的无密码登录)：1、在终端下，执行如下的命令：(注:CentOS已自带SSH服务，略过此步)$sudoyum-yinstallsshsudoapt-getinstallssh$ls-a2、本地SSH登录：$sshlocalhost$exit3、查看.ssh目录：$ls-a4、进入.ssh目录：$cd.ssh5、生成公私钥：