璇︾粏瑙ｈYoutube鎺ㄨ崘绠楁硶

Posted 2021-04-29 鏈哄櫒瀛︿範AI绠楁硶宸ョ▼

鍚慉I杞瀷鐨勭▼搴忓憳閮藉叧娉ㄤ簡杩欎釜鍙?/span>馃憞馃憞馃憞

---

AI绀惧尯姝ｅ紡涓婄嚎锛?/span>

鐩存帴璁块棶馃憞

 loveai.tech

AI鍥捐氨锛屼竴涓叏鏂扮殑IT鎶€鏈垎浜ぞ鍖?/span>

---

闅忕潃娣卞害瀛︿範鐨勭伀鐑紝瓒婃潵瓒婂鐨勯棶棰橀兘寮€濮嬪皾璇曢噰鐢ㄦ繁搴﹀涔犵畻娉曟潵瑙ｅ喅锛屽寘鎷帹鑽愮畻娉曘€?6骞寸殑鏃跺€欙紝璋锋瓕鍏紑浜哬outube鐨勬帹鑽愮畻娉曪紝Deep Neural Networks for YouTube Recommendation

(https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/45530.pdf)锛?/p>

閲囩敤浜嗘繁搴﹀涔犵畻娉曪紝鍦ㄦ晥鏋滀笂瓒呰秺浜嗘渶甯哥敤鐨勭煩闃靛垎瑙ｇ畻娉曘€傝繖绡囨枃绔犱粙缁嶄簡Youtube鐨勬帹鑽愮畻娉曟灦鏋勶紝杩樻湁瑙嗛鍦烘櫙鐨勪竴浜涚粡楠岋紝浠ュ強绠楁硶涓婄殑鎶€宸с€傝櫧鐒惰繖绡囨枃绔犺窛浠婂凡缁忚繃鍘讳袱骞村锛屼絾鏄叾涓殑涓€浜涚粡楠屽拰鎶€宸э紝浠嶇劧鍊煎緱鍊熼壌銆傛湰鏂囨帴涓嬫潵浼氬垎涓夐儴鍒嗚繘琛屼粙缁嶏紝棣栧厛鏄仛涓€涓€讳綋鐨勪粙缁嶏紝绗簩閮ㄥ垎浠嬬粛鍙洖绠楁硶锛岀涓夐儴鍒嗕粙缁嶆帓搴忕畻娉曘€?/p>

涓€锛屾鎷?/p>

鐩稿浜庝竴鑸殑鍦烘櫙锛孻outube鐨勬帹鑽愬瓨鍦ㄤ笁澶у洶闅撅紝涓€鏄暟鎹妯″簽澶э紝鐢ㄦ埛閲忓ぇ锛岃棰戜篃澶氾紝涓€浜涘湪灏忔暟鎹泦涓婃晥鏋滀笉閿欑殑绠楁硶鍦╕outube涓婃晥鏋滀竴鑸紱浜屾槸涓嶆柇鏈夊ぇ閲忔柊瑙嗛涓婁紶锛岄渶瑕佽В鍐宠棰戠殑鍐峰惎鍔ㄩ棶棰橈紱涓夋槸鏁版嵁鏈夊櫔澹帮紝鐢ㄦ埛鐨勮涓洪潪甯哥█鐤忎笖鍙湁闅愬弽棣堬紝瑙嗛鐨勬弿杩颁俊鎭贩涔变笖涓嶈鑼冿紝鍥犳闇€瑕佺畻娉曞浜庡櫔澹版暟鎹湁杈冨己鐨勯瞾妫掓€с€傜涓€鐐规濂芥弧瓒虫繁搴﹀涔犲悆鏁版嵁鐨勭壒鐐癸紝绗簩鐐规枃涓彁鍑轰簡閽堝鎬х殑瑙ｅ喅鍔炴硶銆?/p>

鏁翠釜鎺ㄨ崘鏋舵瀯鍒嗕负涓ら儴鍒嗭紝鍙洖鍜屾帓搴忥紝濡傚浘1鎵€绀恒€傜涓€涓摑鑹茬殑婕忔枟灏辨槸鍙洖绠楁硶锛屼粠鐧句竾绾ф暟閲忕殑瑙嗛鐗╂枡搴撲腑绛涢€夊嚭鍑犵櫨涓棰戙€傞櫎浜嗚繖閲岄噰鐢ㄧ殑娣卞害瀛︿範鍙洖绠楁硶锛岃繕鍙互鍔犲叆鍏朵粬鐨勫彫鍥炶棰戞簮锛屽鍥句腑鐨勭孩鑹叉柟鏍硷紝涓€璧烽€佺粰鎺掑簭绠楁硶銆傚洜涓鸿绠楅噺澶э紝鎵€浠ュ彫鍥炵畻娉曚笉鍙兘涔熸病蹇呰閲囩敤鎵€鏈夌壒寰侊紝鍥犳鍙洖绠楁硶鍙噰鐢ㄤ簡鐢ㄦ埛琛屼负鍜屽満鏅壒寰併€傛帓搴忕畻娉曚娇鐢ㄤ簡鏇村鐨勭壒寰侊紝缁欐瘡涓€欓€夎棰戣绠椾竴涓垎鏁帮紝骞朵笖鎸夌収鍒嗘暟浠庨珮鍒颁綆鎺掑簭锛屼粠鍑犵櫨涓棰戦噷杈瑰啀绛涢€夊拰鎺掑簭鍑哄嚑鍗佷釜瑙嗛鎺ㄨ崘缁欑敤鎴枫€傚湪瀵圭畻娉曡繘琛岃瘎浼版椂鍚屾椂閲囩敤浜嗙绾挎寚鏍囧拰鍦ㄧ嚎AB test锛屽苟涓斾互AB test浣滀负涓昏鐨勮瘎浼版寚鏍囥€?/p>

鍥?

浜岋紝鍙洖绠楁硶

鍦ㄨ鍙洖绠楁硶涔嬪墠锛屽厛宀斿紑璇濋璁蹭竴涓媤ord2vec銆傚湪鍋歂LP浠诲姟鏃讹紝濡備綍灏嗘枃鏈垨鑰呮枃鏈腑鐨勪竴瀛椾竴鍙ワ紝琛ㄧず鎴愮粨鏋勫寲鐨勶紝璁＄畻鏈鸿兘澶熺悊瑙ｇ殑褰㈠紡鏄涓€姝ャ€傜粡甯搁噰鐢ㄦ柟娉曠殑灏辨槸word2vec锛屽氨鏄皢鎵€鏈夌殑word琛ㄧず鎴愪綆缁寸瀵嗙殑鍚戦噺embedding銆傛湁涓€绉嶆棤鐩戠潱璁粌鏂规硶鍙獵BOW(杩炵画璇嶈妯″瀷)锛屽鍥?鎵€绀恒€傚璇嶈涓瘡涓瘝閮藉垵濮嬪寲涓€涓殢鏈哄悜閲忥紝瀵逛簬姣忎竴涓彞瀛愶紝璁剧疆涓€涓浐瀹氶暱搴︾獥鍙ｅ湪鍙ュ瓙涓婃粦鍔紝鎶犳帀绐楀彛涓棿鐨勮瘝w(t)锛岄€氳繃鍙ュ瓙涓墠闈㈠拰鍚庨潰鐨勮瘝鏉ラ娴嬫垨鑰呭垎绫粀(t)锛岀綉缁滆緭鍑虹鏄竴涓墍鏈夎瘝鐨勫垎绫诲櫒锛岄€氳繃璁粌寰楀埌姣忎釜璇嶇殑embedding锛岃繖鏍峰緱鍒扮殑璇嶅悜閲忓氨鎼哄甫浜嗚瘝鐨勮涔変俊鎭€?/p>

鍥?

Youtube鐨勫彫鍥炵畻娉曚篃閲囩敤浜嗙被浼肩殑鎬濊矾銆傚皢棰勬祴闂杞寲涓轰竴涓猻oftmax鍒嗙被闂锛岄€氳繃鐢ㄦ埛鐨勬祻瑙堣褰曞拰鍦烘櫙淇℃伅锛屽垽鏂笅涓€涓鐪嬬殑鏄棰戝簱涓摢涓€涓棰戯紝閫氳繃璁粌浣挎瘡涓棰戦兘寰楀埌浜嗕竴涓悜閲忚〃绀恒€傚叿浣撶殑鍙洖绠楁硶鏋舵瀯濡傚浘3鎵€绀恒€傝緭鍏ョ壒寰佸寘鎷敤鎴风殑鍘嗗彶瑙傜湅璁板綍锛屽巻鍙叉悳绱㈣褰曪紝浜哄彛瀛︾壒寰佺瓑锛屽皢杩欎簺鐗瑰緛杩炴帴璧锋潵浣滀负杈撳叆銆傚巻鍙茶鐪嬭褰曟槸涓€涓棰戝簭鍒楋紝鍏朵腑姣忎釜瑙嗛閮界敤涓€涓悜閲弙琛ㄧず锛屽皢瑙嗛搴忓垪鐨勫悜閲忔眰骞冲潎浣滀负鍘嗗彶瑙傜湅璁板綍鐨勮緭鍏ャ€傜綉缁滅殑鏈€鍚庝竴灞傝緭鍑轰綔涓轰竴涓敤鎴疯〃绀哄悜閲弖锛岀敤鏉ヨ〃绀虹敤鎴风殑鍋忓ソ鍜屽満鏅俊鎭€傚皢u鍜屾墍鏈夌殑鍊欓€夎棰戝悜閲弙鍋氱偣绉紝杈撳叆缁檚oftmax鍋氬垎绫伙紝濡傚浘4涓叕寮忔墍绀恒€傚悜閲弖鍜寁鐨勭淮搴﹂兘鏄?56銆?/p>

鍥?

鍥?

鎴戜滑鏉ヤ粙缁嶄笅妯″瀷鐨勮緭鍏ョ壒寰併€傞鍏堟槸瑙傜湅鍒楄〃锛屽寘鍚渶杩戠殑50鏉¤鐪嬭棰戙€傜劧鍚庢槸鎼滅储璁板綍锛屽悓鏍蜂篃鏄?0鏉℃渶杩戠殑鎼滅储璁板綍锛岄噰鐢ㄥ拰鍘嗗彶瑙傜湅璁板綍鍚屾牱鐨勫鐞嗘柟娉曘€傚皢鐢ㄦ埛鐨勬悳绱㈣褰曞鐞嗕负unigram锛堝氨鏄竴涓獁ord锛夋垨鑰卋igram锛堜袱涓浉閭荤殑word锛夌殑鍏冪礌锛屾瀯鎴愯瘝琚嬨€傚璇嶈涔熼噰鐢╡mbedding鍚戦噺琛ㄧず锛屽搴忓垪鐨別mbedding姹傚钩鍧囪〃绀烘悳绱㈣褰曠殑杈撳叆銆傝繕鍔犲叆浜嗕汉鍙ｅ鐗瑰緛锛屽寘鎷敤鎴风殑鍦扮悊浣嶇疆鍜岃澶囧瀷鍙凤紝閮介噰鐢╡mbedding鐨勬柟寮忚〃绀猴紱鎬у埆鍜岀櫥褰曠姸鎬佺敤0鍜?浜屽€艰〃绀猴紱瀵逛簬杩炵画鐗瑰緛锛屽勾榫勫綊涓€鍖栧埌[0,1]锛涜繖浜涚壒寰佹湁鍒╀簬瀵规柊鐢ㄦ埛鐨勫喎鍚姩銆?/p>

闄や簡涓婇潰杩欎簺鐗瑰緛锛岃繕鏈変竴涓壒寰佲€斺€攅xample age锛屽簲璇ユ槸琛ㄧず瑙嗛涓婁紶鏃堕棿銆倅outube姣忕浼氫笂浼犲ぇ閲忔柊瑙嗛锛岃€屼笖鐢ㄦ埛閫氬父鏇村枩娆㈡柊瑙嗛锛屼絾鏄帹鑽愮畻娉曞線寰€浼氭帹鑽愯€佽棰戯紝鍥犱负绠楁硶鐨勮緭鍏ラ兘鏄簺鍘嗗彶璁板綍銆傚姞鍏ヨ繖涓壒寰侊紝鑳藉璁╂ā鍨嬬煡閬撹棰戠殑涓婁紶鏃堕棿锛屼粠鑰岃兘澶熸ā鎷熻棰戝彂甯冧箣鍚庣殑鏃堕棿鐑害銆?/p>

鍙洖绠楁硶宸茬粡鎻忚堪瀹屼簡锛岀湅璧锋潵寰堢畝鍗曪紝浣嗘槸鍏朵腑鏈夊ぇ閲忕殑缁忛獙鍜屾妧宸э紝涓嬮潰涓€鏉′竴鏉¤繘琛屼粙缁嶃€?/p>

1锛夋鏍锋湰鐨勯€夋嫨銆傝櫧鐒秠outube涓湁鏄剧ず鍙嶉锛屾瘮濡傜偣璧烇紝璋冩煡闂嵎涔嬬被鐨勶紝浣嗘槸鏄剧ず鍙嶉鐨勬暟鎹噺澶皯銆傚洜姝ゅ湪璁粌鏁版嵁涓彧閲囩敤闅愬紡鍙嶉锛屽畬鏁村湴鐪嬪畬涓€涓棰戜綔涓轰竴涓鏍锋湰銆?/p>

2锛夎礋鏍锋湰鐨勯€夋嫨銆傚彫鍥炵畻娉曢渶瑕佷粠鐧句竾绾х殑瑙嗛搴撲腑杩涜绛涢€夛紝濡傛灉姣忔閮藉仛涓€涓櫨涓囩被鍒殑鍒嗙被锛岃绠楅噺闈炲父搴炲ぇ锛屽洜姝ゆ瘡娆″彧閲囨牱鍑犲崈涓礋鏍锋湰锛屽苟閫氳繃璁剧疆鏉冮噸鏉ヨ繘琛屼慨姝ｃ€傝繖鏍锋瘡娆″垎绫荤殑绫诲埆鏁板氨鍙湁鍑犲崈銆?/p>

3锛夎缁冩牱鏈笉浠呮潵鑷簬youtube锛岀珯澶栫殑瑙傜湅璁板綍涔熶細鍔犲叆璁粌銆?/p>

4锛夊浜庢瘡涓敤鎴烽兘鐢熸垚鍚屾牱鏁伴噺鐨勮缁冩牱鏈紝閬垮厤涓€浜涜鐪嬭褰曡繃澶氱殑鐢ㄦ埛瀵规ā鍨嬩骇鐢熸洿澶х殑褰卞搷銆?/p>

5锛夊鏋滅敤鎴峰垰鍒氭牴鎹煇涓叧閿瘝鎼滅储瀹岃棰戯紝鎺ョ潃灏卞幓鎺ㄩ€佺浉鍏崇殑瑙嗛锛岀敤鎴峰彲鑳藉苟涓嶆劅鍏磋叮锛屽洜姝ら渶瑕佹墦涔辨悳绱㈣褰曞簭鍒椼€?/p>

6锛変竴浜涘崗鍚岃繃婊ょ畻娉曞湪璁粌鏃堕娴嬫煇涓€娆¤涓猴紝鏃㈢敤鍒颁簡涔嬪墠鐨勮涓猴紝涔熺敤鍒颁簡涔嬪悗鐨勮涓猴紝濡傚浘5(a)鎵€绀猴紝绌哄績鍦嗙偣琛ㄧず寰呴娴嬭棰戯紝瀹炲績鍦嗙偣琛ㄧず杩欐潯璁板綍涔嬪墠鍜屼箣鍚庣殑瑙傜湅璁板綍鍜屾悳绱㈣褰曪紝灏卞儚鍥?涓瓀ord2vec鐨勮缁冧竴鏍枫€備絾鏄浜庣煭瑙嗛鎴栬€呮柊闂绘潵璇达紝鐢ㄦ埛鐨勫叴瓒ｅ彲鑳戒細鍙戠敓鍙樺寲锛屾瘮濡傚垰寮€濮嬬湅鐨勬椂鍊欙紝鍙兘浼氬箍娉涙秹鐚庯紝闅忓悗浼氭參鎱㈣仛鐒﹀埌鏌愪竴浜涗富棰樹笂鍘汇€傚浘5(a)鐨勮缁冩柟娉曟硠闇蹭簡鐢ㄦ埛鏈潵鐨勪俊鎭€傞€氳繃璇曢獙璇佹槑锛屽彧鍒╃敤寰呴娴嬭涓轰箣鍓嶇殑鍘嗗彶璁板綍鍋氳缁冩晥鏋滄洿濂斤紝濡傚浘5(b)鎵€绀恒€?/p>

鍥?

涓婇潰鎻忚堪鐨勬槸鍙洖绠楁硶鐨勮缁冿紝涓轰簡婊¤冻鏃跺欢瑕佹眰锛屽湪杩涜瀹為檯鐨勫彫鍥炶绠楁椂閲囩敤鐨勬槸鍙﹀涓€绉嶅仛娉曪紝濡傚浘3涓乏涓婅铏氱嚎妗嗘墍绀猴紝瀵逛簬姣忎釜鐢ㄦ埛鍚戦噺u锛屽瑙嗛搴撲腑鐨勬墍鏈夎棰戞牴鎹悜閲弙鍋氭渶杩戦偦绠楁硶锛屽緱鍒皌op-N鐨勮棰戜綔涓哄彫鍥炵粨鏋溿€?/p>

涓夛紝鎺掑簭绠楁硶

鍦ㄥ浘1涓彲浠ョ湅鍒帮紝闄や簡涓婁竴绔犺妭鎻忚堪鐨勫彫鍥炵畻娉曪紝杩樻湁鍏朵粬鍙洖鏉ユ簮锛屼笉鍚岀殑鏉ユ簮鏃犳硶鐩存帴姣旇緝锛屾帓搴忕畻娉曞彲浠ュ鎵€鏈夊彫鍥炶棰戝崟鐙绠楀垎鏁帮紝骞朵笖鎸夌収鍒嗘暟楂樹綆鎺掑簭鎺ㄨ崘缁欑敤鎴枫€傚浜庢瘡涓敤鎴凤紝鎺掑簭闃舵鍙渶瑕佽绠楀嚑鐧句釜瑙嗛锛岀浉瀵逛簬鍙洖绠楁硶锛岃棰戞暟閲忓ぇ骞呭噺灏戯紝鍥犳闄や簡涔嬪墠鍙洖绠楁硶鐢ㄥ埌鐨勭壒寰侊紝鍙互閲囩敤鏇村鐨勭壒寰侊紝鍋氭洿绮剧粏鍖栫殑澶勭悊銆傛帓搴忕畻娉曚粛鐒堕噰鐢―NN鏋舵瀯锛屽鍥?鎵€绀恒€?/p>

鍥?

鏈€宸﹁竟鐨勭壒寰佹槸寰呮洕鍏夌殑瑙嗛锛屽彸杈规槸鍏朵粬鐨勮緭鍏ョ壒寰侊紝鎺掑簭绠楁硶閲囩敤浜嗗嚑鐧句釜鐗瑰緛銆備綔鑰呭彂鐜版渶鏈夌敤鐨勭壒寰佽繕鏄敤鎴风殑鍘嗗彶琛屼负锛屾瘮濡傦紝寰呴娴嬬殑瑙嗛鏉ヨ嚜浜庡摢涓富棰橈紝鐢ㄦ埛鍦ㄨ繖涓富棰樹笂鐪嬩簡澶氬皯瑙嗛锛岀敤鎴蜂笂涓€娆＄湅杩欎釜涓婚鏄粈涔堟椂鍊欍€傚彫鍥炵畻娉曠殑杈撳嚭涔熷彲浠ヤ綔涓虹壒寰侊紝姣斿锛岃棰戞潵鑷摢涓彫鍥炴簮锛屽彫鍥炵畻娉曡绠楃殑鍒嗘暟鏄灏戙€?/p>

鎵€鏈夌壒寰佸垎涓虹被鍒壒寰佸拰杩炵画鐗瑰緛銆傜被鍒壒寰侀兘閲囩敤embedding鍚戦噺琛ㄧず銆傚瑙嗛鐢熸垚涓€涓瘝琚媣ocabulary锛屾寜鐓х偣鍑荤巼瀵硅棰戜粠楂樺埌搴曟帓搴忥紝鍙杢op-N鐨勮棰戣繘鍏ヨ瘝琚嬶紝閬垮厤杩囦簬搴炲ぇ鐨勮棰戣妯°€傚浜庢悳绱㈣褰曢噰鐢ㄥ悓鏍风殑澶勭悊鏂规硶銆傚彟澶栵紝涓嶅湪璇嶈涓殑鍊奸兘鐢?鍚戦噺琛ㄧず銆傚湪璁捐embedding缁村害鏃讹紝缁村害澶у皬涓庤瘝琚嬩腑鍏冪礌鏁伴噺鐨勫鏁版垚姣斾緥銆?/p>

瀵逛簬杩炵画鐗瑰緛锛岄渶瑕佽繘琛岃鑼冨寲normalization銆傛牴鎹繛缁壒寰佺殑鍒嗗竷锛岄噰鐢ㄧ洿鏂瑰浘鍧囪　鍖栫殑鏂瑰紡锛屽皢鐗瑰緛鍊兼槧灏勫埌[0,1]锛屼娇寰楁槧灏勫€煎湪[0,1]鍧囧寑鍒嗗竷銆傜洿鏂瑰浘鍧囪　鍖栧湪鍥惧儚涓婃棭鏈夊簲鐢紝鏄犲皠涔嬪悗璁╁儚绱犵偣鐨勫€煎潎鍖€鍒嗗竷鍦╗0,255]涔嬮棿銆傚浜庤鑼冨寲鍚庣殑鐗瑰緛x锛屽悓鏃跺姞涓妜鐨勪簩娆￠」鍜屽紑鏂归」浣滀负杈撳叆锛屽鍥?鎵€绀猴紝浠ュ寮虹壒寰佸拰绠楁硶妯″瀷鐨勮〃杈捐兘鍔涖€?/p>

鏈€鍚庡啀浠嬬粛涓€涓嬬畻娉曠殑鐩爣鍑芥暟銆傚鏋滀互鐐瑰嚮鐜囦綔涓虹洰鏍囷紝鍙兘浼氬瓨鍦ㄦ爣棰樺厷锛屾垨鑰呯敤鎴疯灏侀潰鍥惧惛寮曪紝浣嗘槸鐐瑰紑涔嬪悗鐢ㄦ埛骞朵笉鎰熷叴瓒ｃ€傝€岃鐪嬫椂闀胯兘澶熺湡瀹炲湴鎹曡幏鐢ㄦ埛鐨勫叴瓒ｏ紝鍥犳youtube鐨勯娴嬫湡鐩爣鏄鐪嬫椂闀裤€傚叿浣撳浣曟搷浣滐紵璁粌闆嗕腑鍖呭惈姝ｆ牱鏈拰璐熸牱鏈紝姝ｆ牱鏈槸鐢ㄦ埛鐐瑰嚮骞朵笖瑙傜湅鐨勮棰戯紝璐熸牱鏈槸鏇濆厜涔嬪悗娌℃湁鐐瑰嚮鐨勮棰戙€傝缁冩椂閲囩敤浜ゅ弶鐔祃oss锛屽苟涓斿姝ｈ礋鏍锋湰鐨刲oss璁剧疆涓嶅悓鐨勬潈閲嶏紝璐熸牱鏈缃崟浣嶆潈閲嶏紝姝ｆ牱鏈敤瑙傜湅鏃堕暱浣滀负鏉冮噸锛屽鍥?涓緭鍑虹training鏀嚎鐨剋eighted logistic銆傚湪棰勬祴鏃讹紝鐢ㄦ寚鏁板嚱鏁颁綔涓烘縺娲诲嚱鏁拌绠楁湡鏈涜鐪嬫椂闀匡紝濡傚浘6涓殑serving鏀嚎銆?/p>

---

闃呰杩囨湰鏂囩殑浜鸿繕鐪嬩簡浠ヤ笅锛?/strong>

涓嶆柇鏇存柊璧勬簮

娣卞害瀛︿範銆佹満鍣ㄥ涔犮€佹暟鎹垎鏋愩€乸ython