HIveSQL面试题52:近一个月发布的视频中热度最高的top3视频抖音面试题,不得不去吐槽的一个题目

Posted 莫叫石榴姐

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HIveSQL面试题52:近一个月发布的视频中热度最高的top3视频抖音面试题,不得不去吐槽的一个题目相关的知识,希望对你有一定的参考价值。

目录

0 问题描述

        1 数据准备

        2 问题分析

       3 小结


0 问题描述

现有用户-视频互动表tb_user_video_log

iduidvideo_idstart_timeend_timeif_followif_likeif_retweetcomment_id
110120012021-09-24 10:00:002021-09-24 10:00:30111NULL
210120012021-10-01 10:00:002021-10-01 10:00:31110NULL
310220012021-10-01 10:00:002021-10-01 10:00:35001NULL
410320012021-10-03 11:00:502021-10-03 10:00:351101732526
510620022021-10-02 11:00:052021-10-02 11:01:04201NULL
610720022021-10-02 10:59:052021-10-02 11:00:06100NULL
710820022021-10-02 10:59:052021-10-02 11:00:05111NULL
810920022021-10-03 10:59:052021-10-03 11:00:01010NULL
910520022021-09-25 11:00:002021-09-25 11:00:30101NULL
1010120032021-09-26 11:00:002021-09-26 11:00:30100NULL
1110120032021-09-30 11:00:002021-09-30 11:00:30110NULL

(uid-用户ID, video_id-视频ID, start_time-开始观看时间, end_time-结束观看时间, if_follow-是否关注, if_like-是否点赞, if_retweet-是否转发, comment_id-评论ID)

短视频信息表tb_video_info

idvideo_idauthortagdurationrelease_time
12001901旅游302021-09-05 07:00:00
22002901旅游602021-09-05 07:00:00
32003902影视902021-09-05 07:00:00
42004902影视902021-09-05 08:00:00

(video_id-视频ID, author-创作者ID, tag-类别标签, duration-视频时长, release_time-发布时间)

问题:找出近一个月发布的视频中热度最高的top3视频。

  • 热度=(a*视频完播率+b*点赞数+c*评论数+d*转发数)*新鲜度;
  • 新鲜度=1/(最近无播放天数+1);
  • 当前配置的参数a,b,c,d分别为100、5、3、2。
  • 最近播放日期以end_time-结束观看时间为准,假设为T,则最近一个月按[T-29, T]闭区间统计。
  • 结果中热度保留为整数,并按热度降序排序。

输出示例

示例数据的输出结果如下

video_idhot_index
2001122
200256
2003

解释:

最近播放日期为2021-10-03,记作当天日期;近一个月(2021-09-04及之后)发布的视频有2001、2002、2003、2004,不过2004暂时还没有播放记录

视频2001完播率1.0(被播放次数4次,完成播放4次),被点赞3次,评论1次,转发2次,最近无播放天数为0,因此热度为:(100*1.0+5*3+3*1+2*2)/(0+1)=122

同理,视频2003完播率0,被点赞数1,评论和转发均为0,最近无播放天数为3,因此热度为:(100*0+5*1+3*0+2*0)/(3+1)=1(1.2保留为整数)。

1 数据准备

DROP TABLE IF EXISTS tb_user_video_log, tb_video_info;
CREATE TABLE tb_user_video_log (
    `uid` string COMMENT '用户ID',
    video_id string COMMENT '视频ID',
    start_time string COMMENT '开始观看时间',
    end_time string COMMENT '结束观看时间',
    if_follow string COMMENT '是否关注',
    if_like string COMMENT '是否点赞',
    if_retweet string COMMENT '是否转发',
    comment_id string COMMENT '评论ID'
) ;

CREATE TABLE tb_video_info (
    video_id string COMMENT '视频ID',
    author string COMMENT '创作者ID',
    tag string COMMENT '类别标签',
    duration string COMMENT '视频时长(秒数)',
    release_time string COMMENT '发布时间'
);

INSERT INTO tb_user_video_log(uid, video_id, start_time, end_time, if_follow, if_like, if_retweet, comment_id) VALUES
   (101, 2001, '2021-09-24 10:00:00', '2021-09-24 10:00:30', 1, 1, 1, null)
  ,(101, 2001, '2021-10-01 10:00:00', '2021-10-01 10:00:31', 1, 1, 0, null)
  ,(102, 2001, '2021-10-01 10:00:00', '2021-10-01 10:00:35', 0, 0, 1, null)
  ,(103, 2001, '2021-10-03 11:00:50', '2021-10-03 11:01:35', 1, 1, 0, 1732526)
  ,(106, 2002, '2021-10-02 10:59:05', '2021-10-02 11:00:04', 2, 0, 1, null)
  ,(107, 2002, '2021-10-02 10:59:05', '2021-10-02 11:00:06', 1, 0, 0, null)
  ,(108, 2002, '2021-10-02 10:59:05', '2021-10-02 11:00:05', 1, 1, 1, null)
  ,(109, 2002, '2021-10-03 10:59:05', '2021-10-03 11:00:01', 0, 1, 0, null)
  ,(105, 2002, '2021-09-25 11:00:00', '2021-09-25 11:00:30', 1, 0, 1, null)
  ,(101, 2003, '2021-09-26 11:00:00', '2021-09-26 11:00:30', 1, 0, 0, null)
  ,(101, 2003, '2021-09-30 11:00:00', '2021-09-30 11:00:30', 1, 1, 0, null);

INSERT INTO tb_video_info(video_id, author, tag, duration, release_time) VALUES
   (2001, 901, '旅游', 30, '2021-09-05 7:00:00')
  ,(2002, 901, '旅游', 60, '2021-09-05 7:00:00')
  ,(2003, 902, '影视', 90, '2021-09-05 7:00:00')
  ,(2004, 902, '影视', 90, '2021-09-05 8:00:00');
----------------------------------
输出结果如下:
2001|122
2002|56
2003|1

2 问题分析

该题目中各项指标定义非常模糊,很多定义并不明确,明显出题人语文水平并不过关,很多定义并没有直接给出,容易产生歧义。

各项指标的确定:

(1)近一个月的定义:为当前日志表(视频互动表tb_user_video_log)中end_time最新的日期往前减去29天。题中给出的是假设为T,则最近一个月按[T-29, T]闭区间统计。这样的定义实际上有问题的(很无语。。。。),因为存在视频发布当天并没有播放记录的情况。

举个例子:10.03往前推30天是09.04。我们要获取的统计时间区间是09.04-10.03。假设某个视频09.01发布,但是5天后才有第一次播放记录,那么这个视频最早的end_time是09.06,按照这个end_time,用DATEDIFF法来生成,得到的时间区间是09.06-10.03,明显不完整,题目也是没有完全讲清楚。。。。按照题目那样区间的定义肯定有问题。。。。所以此题左边区间应该是end_time -29,右边区间应该是发布时间。。。。

(2)新鲜度:最近无播放天数:当前表中最新日期与该视频的最新播放日期之间的差值。

(题目中并没有给出明确定义,靠猜。。。。。。。。)

新鲜度=1/(最近无播放天数+1)

(3)热度:

         a:视频完播率:该题的完播率并没有给出明确定义,基本靠给的例子来猜测。

此处的定义应该是:用户-视频互动表tb_user_video_log中start_time 与end_time的差值大于短视频信息表tb_video_info中的duration时记为一次有效的播放(题目中描述的被播放次数。。。)与实际播放次数的比值(题目中描述的完成播放次数,我去理解实在太烧脑了。。。,实在不得不喷一下。。。)伪代码如下:

SUM(CASE WHEN(unix_timestamp(end_time)-unix_timestamp(start_time))>duration then 1 else 0 end) / COUNT(start.time)

      b:点赞数:SUM(CASE WHEN if_like=1 THEN 1 ELSE END)

      c:评论数              COUNT(comment_id)
      d:转发数              SUM(CASE WHEN if_retweet=1 THEN 1 ELSE 0 END)

最终SQL如下:

select
  video_id,
  cast(
    (
      100 * finish_play_rate + 5 * like_cnt + 3 * comment_cnt + 2 * retweet_cnt
    ) * fresh_rate as decimal(18, 0)
  ) as hot_index
from
  (
    SELECT
      tvi.video_id,
      SUM(
        CASE
          WHEN(
            unix_timestamp(tuvl.end_time) - unix_timestamp(tuvl.start_time)
          ) >= cast(tvi.duration as int) then 1
          else 0
        end
      ) / COUNT(tuvl.start_time) as finish_play_rate,
      SUM(
        CASE
          WHEN tuvl.if_like = '1' THEN 1
          ELSE 0
        END
      ) as like_cnt,
      COUNT(tuvl.comment_id) as comment_cnt,
      SUM(
        CASE
          WHEN tuvl.if_retweet = '1' THEN 1
          ELSE 0
        END
      ) as retweet_cnt,
      1 / (
        datediff(
          to_date(max(tuvl.last_time)),
          to_date(max(tuvl.END_time))
        ) + 1
      ) as fresh_rate
    FROM
      (
        select
          *,
          max(end_time) over() as last_time
        from
          tb_user_video_log
      ) AS tuvl
      LEFT JOIN tb_video_info AS tvi ON tuvl.video_id = tvi.video_id
    WHERE
      TO_DATE(tvi.release_time) >= DATE_SUB(TO_DATE(tuvl.last_time), 29)
    GROUP BY
      tvi.video_id
  ) t
ORDER BY
  hot_index DESC
LIMIT
  3

最终结果如下

video_id        hot_index
2001            122
2002            56
2003            1
Time taken: 3.316 seconds, Fetched: 3 row(s)

3 小结

这道题源自于牛客网,题目本身没什么难度,但在牛客中通过率极低,原因是题目本身但表达很模糊,很多定义没有直接给出,靠面试者猜,造成了误解,如果面试遇到这种题目90%挂,因为你不能准确理解题意,需要反复和面试官确认,即使做出来了,最终也是失败,而这题竟然出自抖音,面试出题也太随意了,无力吐槽,看来面试有时候真的靠缘分,哈哈哈。。。。

欢迎关注石榴姐公众号"我的SQL呀",关注我不迷路

 

 

HiveSQL面试题47:京东面试题

目录

0 需求

1 数据准备

2 求解

3 小结


0 需求

1 数据准备

数据

1aa
2aa
3aa
4d
5c
6aa
7aa
8e
9f
10g

建表

create table a(
    id string,
    name string
)
ROW format delimited FIELDS TERMINATED BY ",";

加载数据

load data local inpath "/home/dandan/a.txt" into table a;

2 求解

A->B

A->B
select flg as id
      ,concat_ws('|',collect_list(name)) as name
from(
    select id
          ,name
          ,first_value(id) over(partition by name order by cast(id as int) desc) as flg
    from a
) t
group by flg

 A->C

select max(id) as id
      ,concat_ws('|',collect_list(name)) as name
from(
    select id
          ,name
          ,sum(if(name!=lag_name,1,0)) over(order by cast(id as int)) as flg 
    from(
        select id
              ,name
              ,lag(name,1,name) over(order by cast(id as int)) as lag_name
        from a
    ) m
) n
group by flg

3 小结

本题还是利用开窗函数打标签进行辅助计算,并利用了分类重分组的思想(sum() over(order by )).

以上是关于HIveSQL面试题52:近一个月发布的视频中热度最高的top3视频抖音面试题,不得不去吐槽的一个题目的主要内容,如果未能解决你的问题,请参考以下文章

用HIVESQL怎么获取上一个月的月份

月攒亿级热度才上榜,科普资讯内容成4月秒拍榜单黑马

HiveSQL核心技能之常用函数

2022年8月最新运维面试题-服务器上下架流程

2022年8月最新运维面试题-服务器上下架流程

java面试题大全带答案,热度飙升!