每周总结第二周-大数据初步学习
HDFS
分布式存储
原因:数据太大,单台服务器无法存储。
架构分析:去中心化模式
中心化模式(大多)
部署HDFS集群环境
在VMware虚拟机集群部署HDFS集群环境
在node1虚拟机中完成了hadoop的下载
修改workers hadooop-env.sh core-site.xml hdfs-site.xml
hdfs-site.xml 配置内容
<configuration>
<property>
<name>dfs.datanode.data.dir.perm</name>
<value>700</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/nn</value>
</property>
<property>
<name>dfs.namenode.hosts</name>
<value>node1,node2,node3</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>268435456</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/dn</value>
</property>
</configuration>