Linkedin - product

Posted 2021-02-05 ffeng0312

1. Application decrease – 4 times

if the amonunt of job applications decrease significantly, as a data scientist, what would you do to find out why? 

application rate 降低 你怎么调查和解决 
产品答得不好 面试官说的话有点不太好理解 但主要问题还是自己不熟练这一块 劝小伙伴们多练下这一块 多重视下

如果作为ds 的你突然发现current week的 number of job applications 突然下降了 你怎么analyze？我先问了他很多问题，比如是不是specific to 哪个platform啊之类的。yes - 你要怎么继续dig， no - aggregate across all platform 怎么继续挖问题是啥？我说可能seasonality，他说那你怎么确定是time effect？如果不是seasonality， 那还会是什么导致的？然后我又接着脑补，反正我脑补一样啥，基本接下来的问题就是 if yes，你怎么弄 ，if no，what else。 我其实不确定最后有没有回答到他的点上。

如果有一周job application下降了很多，怎麼去找出問題。

 

1. AB testing 两个问题。一个问题如果给你一个email campaign你如何设计AB testing，如何计算sample size跟时长。

我觉得这个就是先算你的sample size ,比如1万个Page View, 然后再算你平均每天的page view 比如是10万个，然后你assume每天想放多少个%of traffic in the A/B testing,这里一般建议放少一点，因为有safety/stability的各种考量，那么假设我放1%的traffic，那么需要run十天，最后还可以说说很多东西都有weekday vs weekend effect 所以这样run 两周最好，可以完整的看到effect

1. 第二个是你同时有一个email campaign跟new msg function，如何做ab testing
2. 第一个是如何设计metrics来评判你的算法在job you may interested上的表现。第二个是如何根据不同的用户种类判断那些           
3. 用户的profile的完成度是否高。如何建议他们完成哪些information。主要还是不断聊。不断根据情况和商业调整自己的想法。
4. How to improve profile completion rate？
5. Figure a new feature – 4 times

what product feature you want to improve, how do you persuade the team to build this feature
这题有准备到，也比较常规。 我说了referral 功能

有没有什么linkedin 的feature 你想improve? why, 怎么measure, 怎么说服大家

你觉得你喜欢linkedin的哪个产品？ 因为一年前也在用linkedin找工作，就说了一下今年开始用的时候感觉到的一些提升。因为确实是感觉到方便了一些，所以说的时候挺开心的

问我熟不熟悉linkedin 的product 最喜欢linkedin的什么product 为什么喜欢。。。。。

 

1. frequent traveler – 5 times

识别经常出差的人，工作申请数量下降分析原因，你想提高哪一个产品怎么说服PM。这些都是很开放的问题，注意你的每一个点不要一带而过，而是要讲细节。例如你说要看一个变量，详细说明这个变量具体怎么定义如何使用。

frequent traveller 问题, 问了怎么define frequent traveller, 找到之后有什么用， 用什么feature 去找
在definition 上卡了一下，只考虑到了 frequency of location change, 没考虑到 distance of location change
问application, 说了可以personalized content, 打广告， 面试官问还有什么， 有点想不出来， 随便说了个recommend connections..

领英500m users，top 5 user type. 问你top 5 user type都有啥，然后估算每个群体啊。，搜一下就知道啦。

frequent traveller的问题，这个帖子里面有，主要交流了怎样识别frequent traveller，怎么用这个信息

 

 

1. 如果你的service在过去10周的星期一的数据都很稳定，突然下降60%了，你如何找原因。这个问题就根据场景里面有什么可用的分类变量来解答就好了。我说了可能有seasonality或者location之类的原因

上诉问题，由于他问的是我的行业问题，最后补刀我一句说不了解我的行业，那么如果在出现这个情况的前一周，我们上线了新的ML模型，如何判断是不是因为这个模型导致的。
我能想到的就是AB testing，然后就讲述了下，可能是因为模型的评判标准没有跟客户实际需要或者我们的business goal一致导致的。

1. 5 user types – 4 times

500Million users 你认为的5种user type。 estimate sales man的总数。
这个问题可以根据你自己决定的标准划分的。estimate sales man的总数，就单纯的你想到用什么样的数据来计算，就可以用什么数据计算的。我以为。啊。。

如果在上述的user type中还有学生类别的话，你觉得他的比重如何

500 million 有5 种 user type, 哪五种，然后问estimate sales population 
这题在地里看到过，也按着cracking pm interview 的套路准备了，提供了equation , breakdown by segment, 但是面试官好像根本不 care 我逻辑也没有认真听，只想听一个estimation. 我说到一半就被她打断。第一次面这种题，还是要随机应变，电话面试不太适合完整的case 套路， 太复杂了

linkedin 的 different type of user 都有哪些。。linkedin 总共500m users， 怎么样estimate each segment的market size

how would you classify job seekers among linkedin users. 

 

 

1. 中途问了一个关于如何判断企业是否popular的题目，就大致说了下自己的思路想法。就好了。
2. 问了我一个brain storming的问题，说很多人登录linkedin不成功是因为之前后缀是前公司或前学校的email失效了，她问我as a data scientist, how do i solve this problem? 
3. experimental design的问题，考察的是很typical的ab testing case study，跟你说有两个version，要monitor哪些metrics，target哪个，怎么sampling，怎么算sample size，什么时间该停实验，怎么衡量结果等等。
4. 一个problem diagnostic的问题，大致是说他们design了一个东西，希望用户们在遇到xx问题的时候可以通过用这个东西来解决问题，但是用户们都不用，都打客服，问我怎么分析和解决。
5. 假设Linkedin要识别出potential companies, 去让sales reps联系他们在linkedin上面做广告，都是围绕这个题展开的
   1. 你会用哪些features识别这些公司？
   2. 假设你有了data set， 怎么证明你是对的？答：A/B testing
   3. 如何设计?
   4. 从business角度，你认为哪些公司更有可能在linkedin上面做广告?

 

1. 一个feature，是用来提高team efficiency 的，怎么知道这个feature 有没有用
2. 问关于灵婴中国怎么发展，怎么提高灵婴
3. 如何重新设计message，怎么测试等等一系列
4. 怎么建模设计job ranking 给individual user
5. 最后还问了opportunity sizing, 怎么样估计各个公司的sales professionals有多少然后给他们推销license 好像是这样 
6. LinkedIn Learning- 2 times

LinkedIn Learning的product，从这里开始可能就跟interviewer的经历更相关，也跟我的经历相关，面试人先问了我有没有online learning的experience，怎么看各个网站，我比较了coursera，edx，udemy，udacity
我认为coursera和edx和大学合作更多，udacity和公司合作更多，udemy是individual instructor，学知识去c和e，学习找工作技能去后两家
讲完以后我又顺便讲了以前做个的一个machine learning project，是预测上课的人是否会完成课程，怎么设计model，用什么feature

n  LinkedIn B2B Learning Product，如何提高engagement，总结了几点：
1）设计forum，或class channel，增加user interaction
2）educate customer，因为b2b用户和b2c用户不通，motivation不强，需要帮助用户找到合适的课程
3）survey learner，了解学习者的兴趣点，提高课程质量

1. 比如对linkedin的product 有什么idea for improvement
2. 怎么看待LinkedIn China， 哪里有opportunity？
3. top 5 linkedin user type, 然后问我怎么区分marketing 和sales professional， 然后问我500 million linkedin users 怎么estimate多少sales professional。我说了我的逻辑，和一般consulting 公司面试思路差不多。然后大概估算了一下，得到一个数字，他听完之后，问我是不是reasonable。我自己一想，estimate应该太高了，就回去重新考虑各种assumption。 然后他问有什么别的思路来estimate。 我猜测他也许可能想听modeling，然后就正经的开始brainstorm各种feature 去定义一个sales person。
4. 你最想改变linkedin product的啥？我看时间剩的不多，就随口一说那个recommendation email， jobs you might be interested in。没想到给自己挖了个坑。他follow up问， 假如你写了个新的 你觉得是厉害的algorithm，你怎么convince PM去真的launch 这个algorithm。 我就说了一系列 down stream 的我认为的key metric， 然后measure 这个change的impact。他问那你怎么validate 你的algorithm 可以达到你说的 improvement。 我当时以为他要开始问我ab test了，没想到我刚开始说了开头， 他也知道where I am going 就制止了我， 说还不能launch，你就有个prototype 你怎么prove。我就说 好 那我就自己做simulation。又是几个来回的 follow up的问题。
5. 然后他问我如果可以identify 那些不喜欢linkedin recommendation 的人，怎么去cluster 他们。我就high level说了几个点。
6. how can you do if number of complains increased from 2000 on avg. to 3000 yesterday? how would you find where the problems are?
7. 假设linkedin有一个算法能够找到经常旅行的人，你认为这个产品有什么用？
   我说可以推广ｌｉｎｋｅｄｉｎ　ｌｅａｒｎｉｎｇ，　发温馨小广告等等。但后来有面试官提示我，可以卖给ｄｅｌｔａ让他们去推广他们的产品。。。。

如何设计这个算法？需要什么样的数据来找这样的人？
我举例：ｉｐ地址变化，按某种频率，　ｐｒｏｆｉｌｅ上的职业ｔｉｔｌｅ，　ｉｎｄｕｓｔｒｙ等等　

swe-machine learning假设现在你已经有了这个系统，并且run了一年了， 模型的优化是基于你提出的metric（user engagement相关的一个）。但现在我们想把这模型的结果卖给delta 帮他们做广告，就意味着模型的目的变了（原来是为了提高用户engagement的，现在模型的准确性变得非常重要。）你认为该怎么改进模型？6.假设模型是个clustering算法，没有label data。 怎么确定哪个算法好？7. 你认为avg number of location changed per week 的distribution是什么样？描述看看？

1. 如何甄别一个用户的资料是否完整，如何提升用户资料的完整度。用什么matrix. 完全的Product sense 题目。
2. What are the top 5 types of LinkedIn users?
3. LinkedIn has 500 million users, how to estimate number of sales professionals?
4. How to predict who will be signing up to a LinkedIn new product in an email compaign?
5. there is a linkedin storyline in the App, some people asigned to this, some people assign to control, 1) what are the metrics we would like to measure, 2)How to detemine % of control size. (based on distribution of data, expected differences, baseline value (if testing CTR), variance (if testing continue variable). 
6. How to find a metrics to check if Linkedin is the primary source of some one posting on social network?
   Initially I answer # of post on average per day. Eventually, I realized and answered the one interviewer prefer: # of hours between two posts. Then follow up: any cons? Answer: need to check if a post is valid or not. such as some one just post couple non-sense words every hour should not be counted. Follow up: how to detect? check the length of the post, check # of share, # of comment, # of likes, # of read for a given post. Conculsion: there are two sides of Ecology of a social network: 1) content creation, 2) content consumption. Follow up: what is the secondary metrics you want to use?
7. we saw different usage pattern of ios and android. More people use homepage tab in IOS, fewer people use homepage tab in android. Question: how to you analyze? answer: 1) check if there is population differences between ios and android users. How to check? demography, blahblahblah~~~. 2) Yes, there is population differences, how to eliminate (again propensity scoring, or segmentation based on demography), 3) No, there is no population differences. What is posible reason? (answer: App is poorly designed in android,etc, follow up: how to check thru data? see their website usages on desktop). 4) we now see in ios 80% use homepage, the other 20% use other different tabs, such connect, jobs,etc. But in android, the distribution of homepage tab and other tabs are more evenly. 4.1 - how to design a graph to show that? (barchart with side by side comparison, or pie chart). 4.2. - what is the reason you can think about? provided one hint: think about out of app behaviors. My answer - there maybe more out of app connecction thru other apps in android (such as connect, sign, jobs). So people can directly log in to that tab instead of go to homepage tab. True answer: andoird users tend to click to  (Linkedin) notifications, which directly bring them to given tab. while IOS use then to not.