大数据分析面试题库—Hadoop开发人员面试题

　　破解Hadoop开发人员面试并不容易，但是准备工作可以完成所有工作。如果您是新手，请学习Hadoop概念并进行适当的准备。对不同的文件系统，Hadoop版本，命令，系统安全性等都有很好的了解。以下几个问题可以帮助您通过Hadoop开发人员面试。
 

31. Hadoop中有哪些不同的配置文件?
 

　　答： Hadoop中的不同配置文件是：

　　core-site.xml –此配置文件包含Hadoop核心配置设置，例如I / O设置，这对于MapReduce和HDFS非常常见。它使用主机名端口。

　　mapred-site.xml –此配置文件通过设置mapreduce.framework.name为MapReduce指定框架名称

　　hdfs-site.xml –此配置文件包含HDFS守护程序配置设置。它还在HDFS上指定默认阻止权限和复制检查。

　　yarn-site.xml –此配置文件指定ResourceManager和NodeManager的配置设置。
 

32. Hadoop 2和Hadoop 3有什么区别?
 

　　答：以下是Hadoop 2和Hadoop 3之间的区别

33.如何在Hadoop中实现安全性?
 

　　答： Kerberos用于在Hadoop中实现安全性。使用Kerberos时，共有3个步骤可以高层访问服务。每个步骤都涉及与服务器的消息交换。

　　身份验证–第一步涉及到客户端对身份验证服务器的身份验证，然后向客户端提供带时间戳的TGT(票证授予票证)。

　　授权–在此步骤中，客户端使用接收到的TGT向TGS(票证授予服务器)请求服务票证。

　　服务请求–这是在Hadoop中实现安全性的最后一步。然后，客户端使用服务票证向服务器进行身份验证。
 

34.什么是商品硬件?
 

　　答：商品硬件是一种可用性较低，质量较低的低成本系统。商品硬件由RAM组成，因为它执行许多需要RAM才能执行的服务。一个不需要高端硬件配置或超级计算机即可运行Hadoop，它可以在任何通用硬件上运行。
 

35. NFS与HDFS有何不同?
 

　　答：有许多分布式文件系统以它们自己的方式工作。NFS(网络文件系统)是最古老和流行的分布式文件存储系统之一，而HDFS(Hadoop分布式文件系统)是最近使用和流行的处理大数据的系统。 NFS和HDFS之间的主要区别如下

36. Hadoop MapReduce如何工作?
 

　　MapReduce操作分为两个阶段。

　　映射阶段–在此阶段，输入数据由映射任务拆分。地图任务并行运行。这些拆分数据用于分析目的。

　　减少阶段-在此阶段，从整个集合中汇总相似的拆分数据并显示结果。
 

37.什么是MapReduce?您运行MapReduce程序使用的语法是什么?
 

　　MapReduce是Hadoop中的一种编程模型，用于在通常称为HDFS的计算机集群上处理大型数据集。它是一个并行编程模型。

　　运行MapReduce程序的语法为– hadoop_jar_file.jar / input_path / output_path 。
 

38. NameNode，Task Tracker和Job Tracker的端口号是什么?
 

　　1)NameNode –端口50070

　　2)任务跟踪器–端口50060

　　3)作业跟踪器–端口50030
 

39. HDFS中文件或目录级别的文件权限有哪些不同?
 

　　Hadoop分布式文件系统(HDFS)对文件和目录使用特定的权限模型。HDFS中使用了以下用户级别：

　　1)所有者

　　2)组

　　3)其他。

　　对于上述每个用户，以下权限均适用：

　　1)读(r)

　　2)写(w)

　　3)执行(x)。

　　上面提到的权限对文件和目录的作用不同。

　　对于文件：

　　1)在[R 权限是用于读取文件

　　2)该W¯¯ 许可是写一个文件。

　　对于目录：

　　1)在[R 权限列出内容的特定目录。

　　2)该W¯¯ 权限创建或删除一个目录。

　　3)该X 许可是用于访问子目录。
 

40. Mapper的基本参数是什么?
 

　　1)映射器的基本参数是

　　2)长写和文本

　　3)文字和可写