大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day01】——Hadoop和Linux

前言

大家好，我是程序员manor。作为一名大数据专业学生、爱好者，深知面试重要性，正值金三银四的春招

接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍常见面试题及恰如其分的解答。

相信只要一路走来，日积月累，我们终会在最高处见。

以古人的话共勉：道阻且长，行则将至；行而不辍，未来可期！

Hadoop相关总结

1.2.1 Hadoop常用端口号

dfs.namenode.http-address:50070

dfs.datanode.http-address:50075

SecondaryNameNode辅助名称节点端口号：50090

dfs.datanode.address:50010

fs.defaultFS:8020 或者9000

yarn.resourcemanager.webapp.address:8088

历史服务器web访问端口：19888

1.2.2 Hadoop配置文件以及简单的Hadoop集群搭建

（1）配置文件：

core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

hadoop-env.sh、yarn-env.sh、mapred-env.sh、slaves

（2）简单的集群搭建过程：

JDK安装

配置SSH免密登录

配置hadoop核心文件:

格式化namenode

Linux&Shell相关总结

1.1.1 Linux常用命令

序号 命令 命令解释

1 top 查看内存

2 df -h 查看磁盘存储情况

3 iotop 查看磁盘IO读写(yum install iotop安装）

4 iotop -o 直接查看比较高的磁盘读写程序

5 netstat -tunlp | grep 端口号 查看端口占用情况

6 uptime 查看报告系统运行时长及平均负载

7 ps aux 查看进程

1.1.2 Shell常用工具

awk、sed、cut、sort

总结

今天我们复习了面试中常考的Hadoop和Linux相关的五个问题，你做到心中有数了么？

其实做这个专栏我也有私心，就是希望借助每天写一篇面试题，督促自己学习，以免在面试期间尴尬！平时不流汗,面试多流泪!

对了，如果你的朋友也在准备面试，请将这个系列扔给他，

好了，今天就到这里，学废了的同学，记得在评论区留言：打卡。给同学们以激励。

Hadoop Linux 大数据

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。