从豆瓣电影评分算法说起
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了从豆瓣电影评分算法说起相关的知识,希望对你有一定的参考价值。
参考技术A 在PingWest看到一篇《豆瓣电影打分规则竟如此简单粗暴…》,作者写这篇文章是因为豆瓣创始人阿北最近写了一篇博文《豆瓣电影评分八问》,阿北博文是为了回应一些外界对豆瓣电影评分的质疑,然后作者看到这篇博文后,觉得豆瓣电影的评分算法有点low,就写了这样一篇吐槽文章。那么这个很low的算法究竟是什么样子的呢?此处引用阿北原文。
简单说就是计算每部电影评论的算数平均值,并按此值来排名。
对这个算法持怀疑态度,因为如果按照这个算法的话,假设一部小众文艺片有10个用户给了全五星,和一部经典老片比如《十二怒汉》相比,小众文艺片排名比《十二怒汉》还要高,不过这在豆瓣电影TOP250里面不太可能。阿北可能只是为了文章写作方便或是保密起见,把算法故意说简单了,因为假如豆瓣公布了详细的算法,那电影发行方的水军们十分有可能针对这个算法制定出有效的刷分策略的。可怜我还真信了。
下面是阿北当年在知乎上的 回答 。
顺着PingWest这篇文章给的链接,我又去阮一峰博客看了他在2012年写的《基于用户投票的排名算法》系列文章,以及这些文章里的参考文章,发现排名算法很好玩很有趣,非常有收获,推荐阅读。
看完这些文章,我就想知道知乎的评论排名算法是怎么样的,于是去知乎找到他们产品经理 @黄涛的回答 ,知乎在2014年底更新的算法使用的正是Reddit在2009年引入的评论排名算法,也就是阮一峰老师在系列文章第5篇中介绍的「威尔逊区间」算法。在用这个算法之前,知乎用的是直接利用好评减去差评的结果来给评论排序,这种算法的缺点我就不介绍了,可以查看参考资料[1]。
「威尔逊区间」算法的数学基础是数学家Edwin B. Wilson在1927年提出的威尔逊区间修正公式,后来芝加哥工程师Evan Miller在2009年写了一篇 博客 ,认为该修正公式可以用来做排名。
这个算法的核心思想是这样的:
因为常见的置信区间计算公式「正态区间」不能很好的照顾小样本数量的准确性,而威尔逊提出的修正公式能很好地修正小样本数量的准确性问题,所以大家采用「威尔逊区间」算法较多,像Reddit、Yelp、Digg,还有知乎。
不过这种算法也有缺点,缺点就是对于那些得票少的新评论很难获得出头之日,因为得票少,置信区间就会宽,排名位置就会低,得到的关注也就会更少。
前面阿北的回答里面提到了IMDB,IMDB是亚马逊旗下的一个类似豆瓣的电影排名网站,他们在处理TOP250电影排名问题时采用了「贝叶斯平均」算法来解决,这个算法的核心思想是既然新兴产品的评分数量很少,那我就为你人工补偿一定的投票。关于这种算法在阮一峰老师系列文章第6篇中有介绍。
更多参考资料:
豆瓣250里的十部韩国电影,经典电影查漏补缺
参考技术A 熔炉 도가니 (2011)导演: 黄东赫
编剧: 孔枝泳 / 黄东赫
主演: 孔刘 / 郑有美 / 金志英 / 金贤秀 / 郑仁絮
No.27豆瓣电影Top250
辩护人 변호인 (2013)简介:来自首尔的哑语美术老师仁浩(孔宥 饰)来到雾津,应聘慈爱聋哑人学校。天降大雾,他意外撞车,维修时邂逅了人权组织成员柔珍(郑有美 饰)。仁浩妻子早亡,8岁女儿天生哮喘由祖母照看,所以他不辞辛苦谋职养家。然而,双胞胎的校长与教导主任竟逼仁浩索贿5千万韩元。同时,仁浩逐渐发现学 校笼罩着一种紧张压抑的气氛,令人窒息。尤其有三个孩子引人关注:聪颖的金妍斗(金贤秀 饰)和贪吃的陈宥利(郑仁絮 饰)总是躲闪。全民秀(白承焕 饰)的弟弟自杀身亡,他总是满脸淤青。下课后,仁浩还听到女厕所中有呼喊与哭泣,在门卫的阻拦下他未深究。之后。他意外目睹了校长行贿警察,教导员毒打民秀,宿导溺罚妍斗的行径。一个惊天的隐秘被慢慢揭开,真相令韩国震惊……
本片取材于2005年光州一所聋哑障碍人学校的真实事件,改编自自韩国作家孔枝泳的同名小说。
导演: 杨宇硕
编剧: 杨宇硕 / 尹贤豪
主演: 宋康昊 / 吴达洙 / 金英爱 / 郭度沅 / 任时完
豆瓣评分:9.1
No.59豆瓣电影Top250
素媛 소원 (2013)简介:1978年,只有高中学历的宋佑硕(宋康昊 饰)通过多年的艰苦努力,终于通过司法考试,并在成为法官后很快转行成为一名律师。他敏锐地从最新政策中嗅到商机,以不动产代书业务起家。虽然被同行讥讽为随时随地派发名片的夜店小弟,但佑硕不以为忤,一步一步朝着心中的目标迈进。他依靠赚来的钱让妻儿过上富足的生活,也还了七年前在饭店大婶那里欠下的良心债。进入20世纪80年代,韩国民主化斗争愈演愈烈。佑硕全然不管窗外事,关起门来继续赚钱。然而社会的巨变已经不容他置身事外,饭店大婶的儿子朴镇宇因从属的釜山读书联合会被控为左翼社团而遭到逮捕,更受到残酷的虐待和不公的指控。
虽然爱钱却更重感情的佑硕,就这样走上了为民主辩护的道路……
导演: 李濬益
编剧: 金智慧 / 赵重勋
主演: 薛耿求 / 严志媛 / 李来 / 金海淑 / 金相浩 / 罗美兰
豆瓣评分:9.1
No.74豆瓣电影Top250
阳光姐妹淘 써니 (2011)简介:她(李来 饰)是一个美丽平凡的小女孩,和爸爸妈妈生活在位于街角的家中。家里经营着以她的名字素媛命名的杂货店,母亲(严智媛 饰)作为老板娘日夜忙碌不得闲暇,父亲则在工厂干着繁重的工作。在那个飘雨的早上,素媛打着雨伞独自上学。在离学校近在咫尺的地方,她遭遇一个相貌猥琐、酒气冲天的大叔,由此开启了她的悲剧之旅。柔嫩的小花遭到暴风雨无情摧残,受伤的岂止枝枝叶叶,更是那迎着阳光无忧成长的心。无良媒体铺天盖地大肆渲染,作为受害者的素媛一家仿佛成了周身污秽的耻辱之人,被四周诧异好奇的目光所包围。
妈妈悲痛欲绝,几近崩溃。爸爸全力保护女儿,但受伤的小天使却拒绝爸爸的靠近。问凶之路伴随着天使的治愈旅程,美丽的女孩可会再露灿烂笑容?
导演: 姜炯哲
编剧: 姜炯哲
主演: 沈恩京 / 闵孝琳 / 姜素拉 / 南宝拉 / 陈熙京
豆瓣评分:8.8
No.85豆瓣电影Top250
恐怖直播 더 테러 라이브 (2013)简介:25年前,高中生任娜美(沈恩京 饰)一家从全罗道搬到汉城,娜美入读真德女子高中,因方言浓重怯于开口的娜美幸运的得到了同班大姐头夏春花(姜索拉 饰)的维护,并与围绕在夏春花周围的执着于双眼皮的金玫瑰、满嘴脏话的黄珍熙、梦想成为作家的徐金玉、要成为韩国小姐的俞福姬以及沉默傲慢的美人郑秀智等五人结识。在一次和不良少女团对决之后,春花和娜美等七人组成了“Sunny”团体……
多年以后,家庭主妇娜美在去医院探望母亲时偶然重逢了身患绝症住院的春花,后者希望在生命的最后两个月内,能够再见当年的Sunny成员。娜美找到金玫瑰,两人委托私家侦探寻找当年的同伴,而那些关于青春的回忆,也在一个个熟悉的名姓后面再次被唤醒。
导演: 金秉祐
编剧: 金秉祐
主演: 河正宇 / 李璟荣 / 全慧珍 / 李大为
豆瓣评分:8.7
No.125豆瓣电影To p250
杀人回忆 살인의 추억 (2003)简介:韩国首尔某个平凡的早上,广播电台Daily Topic节目的主持人尹英华(河正宇 饰)正就税率改革与听众进行连线,这时一个自称住在首尔昌信洞的普通工人朴鲁圭打入电话,大肆抱怨超高的电费和相关部门对他的威胁。尹英华颇不耐烦,以偏离主题为由强行切断电话。谁知连线无法单方面由电台方面中断,愤怒的朴鲁圭继续抱怨,并扬言炸掉汉江大桥。尹英华不以为然,进而怂恿对方想做就做,谁知话音刚落,窗外的麻浦大桥便炸作废墟。大惊失色的尹英华很快冷静下来,他决定利用这次难得的机会打一次事业的翻身仗。
在他的主持下,针对恐怖分子的连线直播就此展开,无关良知的节目拉开帷幕……
导演: 奉俊昊
编剧: 奉俊昊 / 沈成宝 / 金光林
主演: 宋康昊 / 金相庆 / 金雷河 / 宋在浩 / 朴努植
豆瓣评分:8.6
No.129豆瓣电影Top250
7号房的礼物 7번방의 선물 (2013)简介:1986年,韩国京畿道华城郡,热得发昏的夏天,在田野边发现一具女尸,早已发臭。小镇警察朴探员(宋康昊饰)和汉城来的苏探员(金相庆饰)接手案件,唯一可证实的是这具女尸生前被强奸过。线索的严重缺乏让毫无经验的朴探员和搭档曹探员(金罗河饰)只凭粗暴逼供和第六感推断,几次将犯罪 嫌疑人屈打成招。而苏探员客观冷静,据理分析,几次排除嫌疑,警察内部为了证明与推翻矛盾不断,然而无辜女子还是接二连三被残忍杀害,他们只好达成共识一起合作。此时,一个极其符合作案特征的小青年(朴海日饰)成为最大嫌疑人,警方神经绷紧地锁定住他,同时DNA检测报告也被送往美国,然而案件并未在此处停止。
导演: 李焕庆
编剧: 李焕庆 / 刘英雅
主演: 柳承龙 / 朴信惠 / 郑镇荣 / 金正泰 / 吴达洙 /
豆瓣评分:8.7
No.156豆瓣电影Top250
爱·回家 집으로... (2002)简介:1997年,只有6岁儿童智商的智障男子李龙久(柳成龙 饰)和可爱的女儿艺胜(葛素媛 饰)相依为命,生活虽然简单清贫,却充满幸福。某天,执着为女儿买美少女战士书包的龙久意外卷入一起幼童诱拐奸杀案,而死者竟是警察局长的女儿。龙久懵懂无知,搞不清状况,昏头昏脑就被投入监狱。在7号牢房中,聚集着走私犯蘇杨浩(吴达洙 饰)、诈骗犯崔春浩(朴元尚 饰)、通奸犯姜万范(金正泰 饰)、恐吓犯老徐(金基灿 饰)和抢劫犯申奉植(郑万植 饰)等五毒俱全的“社会渣滓”。龙久孩子般纯洁的心渐渐感动了这几个“大坏蛋”,他们甚至不惜冒险将艺胜带入牢房与父亲相会。
黑暗冰冷的监牢内,7号牢房阳光满满…
导演: 李廷香
编剧: 李廷香
主演: 金艺芬 / 俞承豪 / 童孝熙 / 闵京勋 / 林恩京
豆瓣评分:9.0
No.219豆瓣电影Top250
我爱你 그대를 사랑합니다 (2011)简介:为了方便找工作,妈领着7岁的相宇(俞承浩饰)去乡下的外婆家,想把他暂时留在那里。外婆(金亦芬饰)年事已高,不能说话也不识字。而一直生活在城市里的孙子相宇,刚开始无法适应连游戏机、电池都没得卖的乡下生活。他开始蛮横地流露出不满,抱怨这个抱怨那。为了买电池,偷走外婆的银头簪拿去卖;外婆得知孙子想吃炸鸡,却只理解到鸡肉,炖了只鸡给孙子吃,却被生气的相宇踢翻了。
老人家默默包容着孙子的一切,渐渐的,相宇也体会到外婆的良苦用心,适应并喜欢上了乡下生活。
导演: 秋昌旼
编剧: 姜草 / 秋昌旼
主演: 宋在浩 / 李顺载 / 尹秀晶 / 金秀美 / 宋智孝
豆瓣评分:9.0
No.246豆瓣电影Top250
假如爱有天意 클래식 (2003)简介:飘雪的坡道上,送牛奶的老头子金万皙(李顺载 饰)邂逅了收废品的老太太宋怡芬(尹秀晶 饰)。他们的前半生各自背负着艰辛的人生:万皙年轻时我行我素,直到妻子病逝才深觉愧疚;怡芬被心爱的男人抛弃在城市角落,孩子夭折后至老未嫁。两位老人在每天凌晨寂静的街道上相遇,孤独而苦难的生活令他们渐渐靠近。在万皙孙女妍儿(宋智孝 饰)的穿针引线下,如初恋般的悸动萌发在了彼此心中。万皙的朋友、停车场管理员张军峰(宋在河 饰)一直耐心的看护着患有老年痴呆症的老伴。直到有一天,军峰得知老伴已患绝症。目睹她一次次痛苦病发,心如刀绞的军峰做出了悲伤的决定……
影片改编自韩国著名网络漫画家姜草的同名作品,已公演的同名舞台剧亦受到好评。
导演: 郭在容
编剧: 郭在容
主演: 孙艺珍 / 曹承佑 / 赵寅成 / 李己雨 / 金秉玉
豆瓣评分:8.2
No.248豆瓣电影Top250
简介:2003年的大学生梓希(孙艺珍饰)一天收拾房间,无意中发现一个神秘的箱子,里面满载着母亲珠喜(孙艺珍饰)留下的情书,在阅读中她重温着母亲的初恋回忆。1968年的珠喜,是一个清纯可爱的少女,与穷学生俊河(曹承佑饰)一见钟情,由于珠喜显赫的家世,令两人的恋爱陷入俗套的门不当户不对的痛苦纠结中。2003年的梓希爱情同样坎坷,她暗恋着戏剧学会的尚民(赵寅成饰),却一直难以表白自己的爱意。
而巧妙的是,梓希发觉母亲的初恋故事跟她自己遭遇十分相似。自己能得到幸福吗?还是如母亲一般曲折难求?
以上是关于从豆瓣电影评分算法说起的主要内容,如果未能解决你的问题,请参考以下文章
用python+selenium抓取豆瓣电影中的正在热映前12部电影并按评分排序