华为运维教育项目面试复盘

Posted 2023-03-29 小小のBigData

文章目录

• • 我希望你是一个大数据专家，熟悉使用 Hive SQL，python，shell 等开发语言，给出一个数据仓库维度建模的方案
  • 如何用awk命令 直截取第一 第二行的数据
  • centos7默认的文件系统格式
  • ext4 和xfs有什么区别?
  • Flume的组件
  • Flume 分为几种Channel?
  • 每天10TB 不能丢数据 用哪种?
  • Kafka建立topic
  • 你对Spark 或Flink熟悉吗?
  • 提问：日常工作

我希望你是一个大数据专家，熟悉使用 Hive SQL，python，shell 等开发语言，给出一个数据仓库维度建模的方案

好的，我将为您提供一个简单的数据仓库维度建模的方案。

1. 确定业务需求和目标：确定数据仓库的业务范围和需要支持的业务需求，为数据仓库的维度建模提供明确的方向。
2. 识别事实表：根据业务需求，选择事实表，它包含与业务相关的数据，通常是数量、金额、时间等可度量的指标。
3. 识别维度表：对于每个事实表，需要定义与其相关的维度。维度是用来描述事实表的属性或特征的表，例如时间表、位置表、产品表、客户表等。
4. 设计维度关系：确定维度之间的关系和层次结构，例如产品与类别、子类别之间的关系。
5. 设计规范化的维度表：将维度表设计为规范化的模式。这将减少冗余数据并提高数据仓库性能。
6. 设计聚合级别：确定每个维度的不同粒度级别，并创建相应的聚合表，以提高查询性能。
7. 设计数据模型：使用上述设计信息创建数据模型，可以使用 ER 模型、星型模型、雪花模型等。
8. 实施数据模型：根据设计利用开发语言，如 Hive SQL、Python、Shell 等，对数据模型进行实施。
9. 测试和验证：对新建的数据模型进行测试和验证，检查数据是否准确和完整，是否符合业务需求。
10. 维护和优化：根据业务需求和数据仓库使用情况，对数据模型进行维护和优化，改进查询性能，并保证数据仓库的数据质量。

以上是一个较为简单的数据仓库维度建模方案，希望可以对您有所帮助。

如何用awk命令 直截取第一 第二行的数据

使用 awk 命令可以方便地直接截取指定行的数据。假如我们有一个名为 file.txt 的文件，并且需要提取它的第一行和第二行数据，可以使用以下的命令：

Copyawk 'NR==1 || NR==2' file.txt

其中：

• NR：表示当前行号（Number of Record）。
• ==：表示相等。
• 1、2：表示第一行和第二行。

awk 命令在每一行开头对当前行记录他的编号，我们用命令 NR1 || NR2 表示只处理第一行和第二行。当一个行的行号为 1 或 2 时，awk 会打印该行的数据。

这样就可以直接输出第一和第二行的数据了。如果需要输出到另一个文件，则可以使用输出重定向符号将输出结果写入到指定文件中：

Copyawk 'NR==1 || NR==2' file.txt > output.txt

这样会将 file.txt 文件的第一行和第二行数据写入到 output.txt 文件中。

文本按竖线分割 只显示第一列 和第二列 如何用awk处理

假设我们有一个文本文件 file.txt，内容格式如下：

Copyapple|red|round
orange|orange|round
banana|yellow|long
grape|purple|round

我们可以使用 awk 命令来按竖线分割，只显示第一列和第二列的数据，具体命令如下：

Copyawk -F "|" 'print $1,$2' file.txt

其中：

• -F “|”：表示按竖线分割文本。
• ‘print $1,$2’：表示只输出第一和第二个字段。

执行完该命令后，将输出以下结果：

Copyapple red
orange orange
banana yellow
grape purple

具体说明：

• $1 表示第一列。
• $2 表示第二列。

如果需要将结果保存到文件中，可通过输出重定向符号进行操作：

Copyawk -F "|" 'print $1,$2' file.txt > output.txt

这样就将第一列和第二列的数据保存到了 output.txt 文件中了。

centos7默认的文件系统格式

在CentOS 7中默认使用XFS文件系统。 XFS是一个高性能的、64位的日志文件系统。它支持扩展性和可靠性，并支持高效管理大容量的数据和元数据。XFS最初由Silicon Graphics设计开发，在2001年被提交给Linux内核社区，并且自从Linux 2.4.25之后被纳入Linux内核中。虽然默认情况下CentOS 7使用XFS，但也可以使用其他文件系统，如Btrfs、ext4、reiserFS等。

ext4 和xfs有什么区别?

ext4和XFS是Linux文件系统中常见的两种高性能文件系统，在一定程度上功能重叠，在特定情况下有其特殊的优势和特点。

区别如下：

1. XFS支持更大的文件系统和文件，ext4文件系统最大文件大小为16TB，而XFS可以支持18EB，这使得XFS特别适用于管理大容量数据和处理大型文件的应用程序。
2. XFS针对大文件进行了优化，解决了ext4的扩展性问题。因此，当需要管理大型文件时，XFS是更好的选择。
3. ext4更适于小型文件。相对于XFS，它具有更高的性能，因为XFS处理大文件时由于较高的元数据负载而出现瓶颈。
4. XFS支持快速恢复。当系统崩溃时，XFS文件系统可以在不长时间内重新启动和挂载文件系统，而ext4可能需要花费更多时间来检查完整性和修复任何问题。
5. 当发生数据损坏时，ext4会更快，因为它可以恢复损坏的文件系统。而XFS需要进行全扫描以恢复文件系统，可能需要更长时间。

综上所述，如果需要管理大容量的数据和处理大型文件，则XFS是更好的选择。如果需要管理更小的文件，则ext4是更好的选择。

Flume的组件

Apache Flume 是一个分布式的、可靠的、有容错机制的大数据采集、移动和处理的系统。Flume 将大量的日志数据从不同的数据源采集到中心仓库，并且可以进行必要的处理。Flume的组件包括：

1. Source：数据源，从数据源获取数据并将其传递到Flume拓扑中。Flume支持多个Source类型，如Avro、Exec、JMS，Netcat等等。
2. Channel：持久化队列，缓存Source和Sink之间的数据。Flume支持多个Channel类型，如Memory、File等等。
3. Sink：数据目的地，将Channel中缓存的数据传输到目标存储中。Flume支持多个Sink类型，如HDFS、Kafka、Elasticsearch、HBase等等。
4. Interceptor：拦截器，用于对数据进行转换、加工或者过滤操作。Flume支持多个Interceptor类型，如Regex Filtering、Host Interceptor、Timestamp Interceptor等等。
5. Channel Selector：用于在有多个Channel时选择使用的Channel。Flume支持多个Channel Selector类型，如Replicating Channel Selector、Multiplexing Channel Selector等等。
6. Sink Processor：用于将Sink连接到拓扑中的其他组件。Sink Processor可以定义批处理行为，确保高吞吐量传输。
7. Source Running State：向Source和Sink提供状态信息和错误处理功能。Flume提供了Failover和Load Balancing级别的错误处理。

这些组件构成了Flume的核心架构，可以根据需要进行组合和配置。通过灵活的配置，可以快速地搭建一个灵活、可靠的数据处理系统。

Flume 分为几种Channel?

Flume中主要有三种Channel类型：

1. Memory Channel：将数据缓存到内存中，是一种轻量级的Channel类型。由于将数据存储在内存中，因此在处理大量数据时，可能会导致内存不足的问题，而且在Flume重启后，缓存在内存中的数据将被删除，因此Memory Channel主要适用于对实时数据传输要求比较高且对数据安全性要求不高的场景。
2. JDBC Channel：将数据缓存到关系型数据库中，是一种持久化存储的Channel类型。由于将数据存储在数据库中，因此相较于Memory Channel，它可以更好地处理大量数据，以及提供更好的数据安全性和持久性保障。但是，使用JDBC Channel需要额外配置数据库，并可能导致相应的性能损失。
3. File Channel：将数据缓存到本地磁盘中，是一种持久化存储的Channel类型。它可以处理大量数据，并可以提供更好的数据安全性和可靠性保障。在Flume重启后，缓存在磁盘上的数据将不会被删除。但是，相较于Memory Channel和JDBC Channel，File Channel性能可能稍差一些。

Flume还支持自定义Channel类型，并且可以根据实际场景选择最适合的Channel类型来满足特定的需求。

每天10TB 不能丢数据 用哪种?

对于每天需要处理10TB数据且不能丢数据的场景，建议使用 Apache Hadoop HDFS 分布文件系统。HDFS 是 Apache Hadoop 生态系列中的一个分布式文件系统，具有高容错性，高扩展性，高可靠性等特点，常用于大数据存储和数据处理。

HDFS 的基础构成分为两部分，分别是 NameNode 和 DataNode：

1. NameNode：该节点存储元数据信息，并记录每个数据块位于哪些 DataNode 中。它负责管理文件系统中的文件和目录，并维护文件的权限、所有者和访问时间等元数据信息。在 HDFS 中，NameNode 通常是单点故障，在这种情况下，Hadoop 提供的 Failover 协议将自动切换到另一个可用的 NameNode 上。
2. DataNode：该节点存储实际的数据块，并向客户端提供数据读取和写入服务。当数据块被写入 HDFS 时，它被分成较小的块并存储在多个 DataNode 上。

HDFS 通过多副本机制来保证数据不丢失。HDFS 默认情况下至少会存储三个副本，也可以根据需要设置更大的副本数以提高可靠性。同时，HDFS 提供横向扩展的能力，可以快速增加数据节点以处理海量数据。

另外，由于每天处理的数据很大，建议使用压缩文件的方式

Flume 分为几种Channel?每天10TB 不能丢数据 用哪种?

Flume 主要分为三种 Channel 类型：Memory Channel、File Channel 和 JDBC Channel。

针对每天 10TB 的数据需求，且要求不丢失数据，并且需要支持高并发、高吞吐量的数据读取，建议选择 File Channel。

File Channel 的主要特点是支持大量的数据缓存，数据安全性和可靠性高，并且支持多线程读写操作，能够满足高并发、高吞吐量的数据读取需求，而且数据缓存在文件中非常可靠。File Channel 会将数据缓存到本地磁盘中，具有持久化存储、高可用性和数据安全性好的特点，这对于数据量大、数据价值高、数据安全性要求严格的场景非常适用。

当然，对于 File Channel 也是有其缺点的，比如对于一些特殊的数据类型，file channel 的效果并不是很好，可能会影响读写效率。同时，该 channel 类型需要额外的磁盘空间来存储数据，因此需要根据实际情况进行合理的磁盘配额设置和维护。

综上所述，针对每天 10TB 的数据需求，建议使用 File Channel 来确保数据的高可靠性和安全性。

Kafka建立topic

在 Kafka 中，要创建一个新的 Topic，可以运行以下命令：

Copybin/kafka-topics.sh --create --bootstrap-server <broker-host>:<broker-port> --replication-factor <replicas> --partitions <partitions> --topic <topic-name>

这个命令有以下参数：

• --create：表示要创建一个新的 Topic。
• --bootstrap-server：Kafka 集群的地址和端口，用于初始化客户端和连接到 Kafka 集群。例如：localhost:9092。
• --replication-factor：每个 Partition 的副本数量。这个值应该是 2 或更多。如果集群中有 2 个 Broker，则--replication-factor=2。
• --partitions：Topic 分区数。通常，每个 Partition 都由 1 个服务器处理，最好将其设置为当前正在执行的服务器数量。
• --topic：Topic 名称。

例如，要创建名为 test 的 Topic，其中每个 Partition 都有2个副本，并且具有4个 Partition，请执行以下命令：

Copybin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 2 --partitions 4 --topic test

执行上面的命令后，Kafka 会创建一个名为 test 的 Topic。

需要注意的是，Kafka 还有许多其他的命令行选项，例如增加分区、删除分区、删除 Topic 等等。可以使用 kafka-topics.sh 命令获取更多信息。

你对Spark 或Flink熟悉吗?

我对 Spark 和 Flink 两个大数据处理框架都有一定的了解。

在大数据场景中，Spark 和 Flink 都属于内存计算框架，可以处理大批量的数据。Spark 在基于内存的计算方面性能非常出色，并提供了丰富的 API，从而成为大规模数据处理的首选框架。而 Flink 的优势在于它的流处理能力，它可以在数据生成时立即对流进行处理，从而获得更低延迟、更快的响应速度。

Spark 和 Flink 在概念上和功能方面都非常相似，两个框架都提供了大量对数据处理的纵向和横向扩展，使它们可以在大规模数据的处理过程中满足高并发、高可扩展性和高性能的要求。

需要注意的是，Spark 和 Flink 都有其适用的场景。Spark 更适合于处理大规模离线数据，例如批处理、机器学习、数据挖掘等，而 Flink 更适合于实时数据流处理，例如流处理、数据处理等。因此，在使用这两个框架时，根据实际场景选择更为合适的框架可以有效提高数据处理效率。

提问：日常工作