2022字节跳动数据仓库工程师日常实习面经-----一面

Posted dyson不只是吹风机

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了2022字节跳动数据仓库工程师日常实习面经-----一面相关的知识,希望对你有一定的参考价值。

文章目录


背景:今年金三银四,看着大家都在疯狂找实习offer,不甘落后的我也信心满满(毫无把握)的去字节面试(现在想想真是胆大,都还没学扎实)

一,自我介绍

二,问答阶段

  • shuffle阶段详细介绍
    回答环形缓冲区,分区排序,溢写磁盘,reduce再抽取归并等等
  • 计算单元和实际block存储单元不在一个机器节点上,这样会带来大量的IO操作,Hadoop如何解决
    数据不用移动,移动计算逻辑,本地化策略
  • 实际中有哪几种数据倾斜
    回答的是group by,order by,其实没有回答好,面试官还给我讲解,太好了
  • null值特别多,且需要保留怎么处理
    单独处理
  • 一个大表和一个小表之间关联,数据倾斜怎么解决
    map join
  • 两个大表之间关联,其中一张表有3个key(已知这3个key)对应另一张表,分别一万条,十万条,百万条关联,其他的数据平均是1千条的关联,如何处理这种倾斜
    这个没有思路,面试官说已经知道了哪些key倾斜,通过打散的形式将百万、十万、一万的拆分处理
  • 基于上面那个问题,就想临时将它跑过去,不想做特殊处理,怎么办
    也没思路,面试官说将内存调大
  • 两句话去概述一下维度建模是什么
    将数据抽象为事实和维度
  • 事实表理论上分哪几种啊
    事务事实表和快照事实表

三,代码阶段

SQL题1
relation表结构

字段字段类型
from_user_idbigint
to_user_idbigint

说明:都是自增长且唯一,微博的关注关系表
示例

from_user_idto_user_id含义
12表示1关注2
21表示2关注1

求互相关注的关系对
不能用join ,union all ,子查询
可以用having,group by

select
    case when from_user_id>to_user_id then to_user_id else from_user_id end as from_user_id1,
    case when from_user_id>to_user_id then from_user_id else to_user_id end as to_user_id1
from
relation
group by case when from_user_id>to_user_id then to_user_id else from_user_id end,
case when from_user_id>to_user_id then from_user_id else to_user_id end
having count(concat(from_user_id1,to_user_id1))=2

这个题没想出来,唉

SQL题2
bind表结构

字段字段类型
user_idbigint
bind_objstring
datebigint 时间戳10位

求每个user_id最早绑定的bind_obj以及绑定时间

select
    user_id,
    split(min_date_bind_obj,"_")[1] bind_obj,
    split(min_date_bind_obj,"_")[0] date
from
(
    select
        user_id,
        min(concat(date,"_",bind_obj)) min_date_bind_obj
    from
        bind
    group by 
        user_id
)t1

SQL题2
登陆日志login表结构

字段字段类型
user_idbigint
login_datestring

示例

user_idlogin_date
12021-01-01
12021-01-02
12021-01-03
12021-01-05
12021-01-06
12021-01-07
12021-01-08
12021-01-09

每个用户连续登陆最大天数,开始时间和结束时间

select
    user_id,
    min_login_date,
    max_login_date,
    max(login_days) max_login_days
from
(
    select
        user_id,
        sub_time,
        max(login_date) max_login_date,
        min(login_date) min_login_date,
        count(login_date) login_days
    from
    (
        select
            user_id,
            login_date,
            date_sub(login_date,rank) sub_time
        from
        (
            select
                user_id,
                login_date,
                (row_number() over(partition by user_id order by login_date))-1 rank
            from
                login
        )t1
    )t2
    group by 
        user_id,sub_time
)t3
group by
    user_id,
    max_login_date,
    min_login_date

四,反问

部门对实习生要求
上海和北京区别

五,总结

通过这次面试直接发现了自己的薄弱点,基础不牢,地动山摇,诚不欺我也,也幸亏面试官一直在引导我,否则根本不可能通过一面,对于大数据组件了解不够,对于原理和实践也不够。

我是dyson不只是吹风机,若是对大数据-数据仓库技术感兴趣的可以加我沟通交流,一起进步。VX:daijun1211

ps:若文章侵权、触犯隐私请联系作者删除,谢谢~~

以上是关于2022字节跳动数据仓库工程师日常实习面经-----一面的主要内容,如果未能解决你的问题,请参考以下文章

2022字节跳动数据仓库实习面经

2022字节跳动数据仓库实习面经

字节跳动实习后端日常实习的三次面试+hr面 面经

字节跳动实习后端日常实习的三次面试+hr面 面经

字节跳动实习后端日常实习的三次面试+hr面 面经

字节跳动实习后端日常实习的三次面试+hr面 面经