hadoop伪分布式搭建笔记
1、切换到hadoop下面的etc(配置文件都在etc下面)
2、在hadoop中配置core-site.xml
3、在hadoop中配置hdfs-site.xml
4、格式化NameNode(第一次启动时格式化,不要总是格式化)
格式化命令:hdfs namenode –format
5、启动namenode
命令:hdfs - -daemon start namenode
6、启动datanode
命令:hdfs --daemon start datanode
7、启动resourcemanager
命令:[root@hadoop1000 hadoop]# yarn --daemon start resourcemanager
8、启动nodemanager
命令:[root@hadoop1000 hadoop]# yarn --daemon start nodemanager
9、Jsp查看java进程
命令:jsp
10、在HDFS中创建文件夹/user/input
命令:hdfs dfs -mkdir -p /user/input
11、在HDFS中创建文件夹/user/input
命令:hdfs dfs -mkdir -p /user/input
12、将文件上传到HDFS
命令:hdfs dfs –put 要上传的文件名 上传的地址
案例: hdfs dfs -put wcinput/wc.input /user/input/
13、查看hdfs的文件目录
命令:Hdfs dfs –ls 文件路径
注意:这里面的根目录不是linux的根目录
案例:hdfs dfs -ls /user/input/
14、查看hdfs中文件内容
命令:hdfs dfs –cat 文件名
案例:hdfs dfs -cat /user/input/wc.input
15、执行文件
命令:hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples- 3.1.3.jar wordcount 执行的文件位置 输出的文件位置
16、查看执行后的结果
命令:hdfs dfs -cat 输出文件路径/*
案例:hdfs dfs -cat /user/output/*
17、停止进程
命令:hdfs –daemon stop namenode
群起命令:start-all.sh
群停命令:stop-all.sh