大数据管理试题？ 大数据管理期末考试？

【大数据】Hive常见面试题

数据倾斜是Hive中常见的问题，主要发生在reduce阶段，由于key的hash分布不均导致大量相同key集中到一个reduce中。在map阶段也可能出现数据倾斜，如压缩文件过大导致无法切分。数据倾斜的根本原因在于任务处理大量重复key或读取大文件时的不均匀分布。

面试题一：如何解决大数据Hive表关联查询中的数据倾斜问题？数据倾斜是Hive表关联查询中的常见问题，主要由以下原因引起：数据分布不均、业务数据特性、建表时考虑不周以及SQL语句设计不合理。避免数据倾斜的一种方法是为数据量为空的情况赋予随机值。解决数据倾斜的策略包括参数调整和SQL语句优化。

SQL优化：减少数据集大小，利用分区表避免全表扫描，优化JOIN操作。谓词下推与Map端聚合：利用谓词下推减少后续数据处理量，开启Map端聚合功能减少数据传输量。Hive合并输入格式：设置Hive合并输入格式，在执行map前合并文件。小文件合并：通过Hive生成的MR任务合并小文件，提高处理效率。

**Join、Map与reduce数量、Jvm重用**：优化策略需关注Join操作的效率、Map与reduce的数量设置以及JVM的重用，通过合理配置减少计算资源的浪费。 **解决数据倾斜**：通过了解数据分布，可以采取措施减少数据倾斜带来的性能影响。

大数据面试题集锦-Hadoop面试题(二)-HDFS

1、HDFS中的block默认保存几份？ 默认保存3份。 HDFS默认BlockSize是多大？ 默认64MB，但在Hadoop x版本中默认大小是128MB。 负责HDFS数据存储的是哪一部分？ DataNode负责数据存储。

2、在HDFS中，文件物理上是分块存储的，块的大小可以通过配置参数（ dfs.blocksize）来规定。默认大小在hadoopx版本中是128M，老版本中是64M。块大小不能设置得太小或太大。块的大小应足够大以减少寻址开销，同时考虑到磁盘传输速率。

3、HDFS的容错机制包括故障检测、数据复制和数据完整性检查。故障检测通过心跳信号确保DataNode的正常运行。数据复制确保数据的冗余存储，提高容错性。数据完整性通过总和检验码和定期数据块报告检查。HDFS的基础概念包括Block、NameNode、DataNode和Secondary NameNode。Block是HDFS存储单元，默认大小为64M或128M。

大数据面试题-Spark的内存模型

1、堆外内存可通过配置spark.memory.offHeap.enabled参数启用，并由spark.memory.offHeap.size参数设定大小。堆外内存与堆内内存的划分方式相同，所有运行中的并发任务共享存储内存和执行内存。内存空间分配：Spark的内存管理分为静态内存管理和统一内存管理。

2、面试题来源：可1）Spark内存管理的结构；2）Spark的Executor内存分布（参考“内存空间分配”）堆内和堆外内存规划 作为一个JVM 进程，Executor 的内存管理建立在JVM的内存管理之上，Spark对JVM的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存。

3、Spark内存管理机制： 内存分类：Spark的内存被分为堆内内存与堆外内存。堆内内存基于JVM内存模型，堆外内存则通过调用底层JDK Unsafe API实现。 统一内存管理：自6版本后，Spark采用统一内存管理模式，提供动态内存分配机制。

大数据Hive面试题(一)

面试题四：如何在Hive中实现两张表的关联？对于关联操作，若其中一张表为小表，采用map端join加载小表进行聚合。

否：Hive 0.0版本后，简单查询无需MapReduce，通过Fetch task直接获取数据。Hive函数UDF、UDAF、UDTF的区别？UDF：单行输入单行输出。UDAF：多行输入单行输出。UDTF：单行输入多行输出。理解Hive桶表？桶表：通过哈希值将数据分到不同文件存储，用于抽样查询。

Hive面试题及答案：Hive是什么：Hive是基于Hadoop的数据仓库工具，允许用户使用SQL样式的查询语言来查询和处理数据。Hive与Hadoop的关系：Hive是Hadoop生态系统中的一个组件，依赖于Hadoop的HDFS进行数据存储，并利用Hadoop的MapReduce进行数据处理。

Hive支持存储格式包括TEXTFILE、SEQUENCEFILE、ORC与PARQUET。列式存储和行式存储各有特点，列式存储在查询少数字段时效率高，行式存储在查询整行数据时效率高。

Hive常见面试问题解答 Hive的排序关键字主要包括全局排序和局部排序。全局排序（order by）是对整个数据进行排序，但只有一个reduce任务处理，处理大数据量时效率较低，仅限于升序。