Posted 2021-04-12 浜哄伐鏅鸿兘澶存潯

澶у濂斤紝鎴戞槸涓轰汉閫犵殑鏅鸿兘鎿嶇浜嗗績鐨勬櫤鑳界甯堛€?/p>

鍏ㄦ枃澶х害2800瀛椼€傝瀹屽彲鑳介渶瑕佷笅闈㈣繖棣栨瓕鐨勬椂闂?/span>

馃憞

褰撳墠娴忚鍣ㄤ笉鏀寔鎾斁闊充箰鎴栬闊筹紝璇峰湪寰俊鎴栧叾浠栨祻瑙堝櫒涓挱鏀?

浜哄伐鏅鸿兘澶存潯鏃╁厛鍙戝竷鐨勬枃绔犮€娿€嬶紝鏄熀浜庤嫳鏂囨潵涓句緥鐨勩€?/p>

铏界劧鍚屼负浜虹被鑷劧璇█锛屼絾鏄敱浜庤嫳鏂囧拰涓枃鍏惰瑷€鑷韩鐨勭壒鐐癸紝瀵艰嚧涓枃鍜岃嫳鏂囧垎璇嶆槸鏈夊樊鍒殑銆?/p>

寰堝璇昏€呭湪鍚庡彴鐣欒█锛屾彁鍒颁簡缁撳反鍒嗚瘝锛屽苟瑕佹眰鎴戜滑鍑轰竴浜涘叧浜庝腑鏂囪嚜鐒惰瑷€澶勭悊鐨勫唴瀹广€傛墍浠ユ湰绂呭笀灏辨壘鍒颁簡杩欐柟闈㈠緢鏈夌爺绌剁殑瀹挎案鏉般€?/p>

瀹挎案鏉扮幇灏辫亴浜庢煇鐭ュ悕浜掕仈缃戝叕鍙告媴浠绘暟鎹寲鎺樺伐绋嬪笀锛孭C 绔叏鏍堝紑鍙戝伐绋嬪笀锛屾搮闀?Java 澶ф暟鎹紑鍙戙€丳ython銆丼QL 鏁版嵁鍒嗘瀽鎸栨帢绛夛紝鍙備笌杩囧鎴风敾鍍忋€佸鎴疯瘑鍒互鍙婅嚜鐒惰瑷€澶勭悊绛夐」鐩殑寮€鍙戯紝鐩墠鑷村姏浜庝腑鏂囪嚜鐒惰瑷€澶勭悊鐨勭爺绌躲€?/p>

涓轰粈涔堜細鏈夊垎璇?/h2>

鎴戜滑鐭ラ亾鑷劧璇█澶勭悊涓瘝涓烘渶灏忕殑澶勭悊鍗曞厓锛屽綋浣犵殑璇枡涓哄彞瀛愩€佺煭鏂囨湰銆佺瘒绔犳椂锛屾垜浠鍋氱殑绗竴姝ュ氨鏄垎璇嶃€?/p>

鐢变簬鑻辫鐨勫熀鏈粍鎴愬崟浣嶅氨鏄瘝锛屽垎璇嶆槸姣旇緝瀹规槗鐨勩€傚叾鍙ュ瓙鍩烘湰涓婂氨鏄敱鏍囩偣绗﹀彿銆佺┖鏍煎拰璇嶆瀯鎴愶紝閭ｄ箞鍙鏍规嵁绌烘牸鍜屾爣鐐圭鍙峰皢璇嶈鍒嗗壊鍗冲彲銆?/p>

涓枃鍜岃嫳鏂囧氨鏈夊緢澶т笉鍚屼簡銆傝櫧鐒跺熀鏈粍鎴愬崟浣嶄篃鏄瘝锛屼絾鏄腑鏂囨枃鏈槸鐢辫繛缁殑瀛楀簭鍒楁瀯鎴愶紝璇嶄笌璇嶄箣闂存槸娌℃湁澶╃劧鐨勫垎闅旂锛屾墍浠ヤ腑鏂囧垎璇嶇浉瀵规潵璇村洶闅惧緢澶氥€?/p>

棣栧綋鍏跺啿鐨勫氨鏄涔夐棶棰橈紝涓嶅悓鐨勫垎鍓叉柟寮忎細瀵艰嚧涓嶅悓鐨勬剰鎬濄€備腑鏂囧垎璇嶇洰鍓嶆潵璇村熀鏈笂鍒嗕负2绉嶏細

1. 鍩轰簬璇嶅吀鏉ヨ繘琛屽垎璇嶇殑銆備紭鐐规槸绠€鍗曟湁鏁堬紝缂虹偣鏄棤娉曞緢濂界殑瑙ｅ喅璇嶇殑姝т箟闂锛屽挨鍏跺湪搴斿缃戠粶鏂扮殑娴佽璇嶆眹鏃讹紝琛ㄧ幇寰堝樊

2. 鍩轰簬缁熻鐨勫垎璇嶃€傞€氳繃浜哄伐鏍囨敞瀵逛腑鏂囧缓妯★紝鐒跺悗灏嗗噯澶囧ソ鐨勮鏂欒繘琛岃缁冦€傞€氳繃璁＄畻涓嶅悓闃舵涓嬪嚭鐜扮殑姒傜巼锛岄€夊嚭姒傜巼鏈€澶х殑鎯呭喌浣滀负缁撴灉鏉ヨ繘琛屽垎璇嶃€傝繖绉嶅垎璇嶆柟娉曡櫧鐒惰兘鏈夋晥鐨勯伩鍏嶅垎璇嶅鑷寸殑姝т箟锛屼絾鍗撮渶瑕佽€楄垂鐩稿綋澶х殑鎬ц兘

鑾峰彇璇枡

璇枡锛屽嵆璇█鏉愭枡銆傝鏂欐槸璇█瀛︾爺绌剁殑鍐呭銆傝鏂欐槸鏋勬垚璇枡搴撶殑鍩烘湰鍗曞厓銆傛墍浠ワ紝浜轰滑绠€鍗曞湴鐢ㄦ枃鏈綔涓烘浛浠ｏ紝骞舵妸鏂囨湰涓殑涓婁笅鏂囧叧绯讳綔涓虹幇瀹炰笘鐣屼腑璇█鐨勪笂涓嬫枃鍏崇郴鐨勬浛浠ｅ搧銆?/p>

鎴戜滑鎶婁竴涓枃鏈泦鍚堢О涓鸿鏂欏簱锛圕orpus锛夛紝褰撴湁鍑犱釜杩欐牱鐨勬枃鏈泦鍚堢殑鏃跺€欙紝鎴戜滑绉颁箣涓鸿鏂欏簱闆嗗悎(Corpora)銆傦紙瀹氫箟鏉ユ簮锛氱櫨搴︾櫨绉戯級鎸夎鏂欐潵婧愶紝鎴戜滑灏嗚鏂欏垎涓轰互涓嬩袱绉嶏細

1.宸叉湁璇枡

寰堝涓氬姟閮ㄩ棬銆佸叕鍙哥瓑缁勭粐闅忕潃涓氬姟鍙戝睍閮戒細绉疮鏈夊ぇ閲忕殑绾歌川鎴栬€呯數瀛愭枃鏈祫鏂欍€傞偅涔堬紝瀵逛簬杩欎簺璧勬枡锛屽湪鍏佽鐨勬潯浠朵笅鎴戜滑绋嶅姞鏁村悎锛屾妸绾歌川鐨勬枃鏈叏閮ㄧ數瀛愬寲灏卞彲浠ヤ綔涓烘垜浠殑璇枡搴撱€?/p>

2.缃戜笂涓嬭浇銆佹姄鍙栬鏂?/strong>

濡傛灉鐜板湪涓汉鎵嬮噷娌℃湁鏁版嵁鎬庝箞鍔炲憿锛熻繖涓椂鍊欙紝鎴戜滑鍙互閫夋嫨鑾峰彇鍥藉唴澶栨爣鍑嗗紑鏀炬暟鎹泦锛屾瘮濡傚浗鍐呯殑涓枃姹夎鏈夋悳鐙楄鏂?/strong>銆?span>浜烘皯鏃ユ姤璇枡銆?/p>

鍥藉鐨勫洜涓哄ぇ閮芥槸鑻辨枃鎴栬€呭鏂囷紝杩欓噷鏆傛椂鐢ㄤ笉鍒般€備篃鍙互閫夋嫨閫氳繃鐖櫕鑷繁鍘绘姄鍙栦竴浜涙暟鎹紝鐒跺悗鏉ヨ繘琛屽悗缁唴瀹广€?/p>

璇枡棰勫鐞?/h3>

杩欓噷閲嶇偣浠嬬粛涓€涓嬭鏂欑殑棰勫鐞嗭紝鍦ㄤ竴涓畬鏁寸殑涓枃鑷劧璇█澶勭悊宸ョ▼搴旂敤涓紝璇枡棰勫鐞嗗ぇ姒備細鍗犲埌鏁翠釜50%-70%鐨勫伐浣滈噺锛屾墍浠ュ紑鍙戜汉鍛樺ぇ閮ㄥ垎鏃堕棿灏卞湪杩涜璇枡棰勫鐞嗐€?/p>

涓嬮潰閫氳繃鏁版嵁娲楁竻銆佸垎璇嶃€佽瘝鎬ф爣娉ㄣ€佸幓鍋滅敤璇嶅洓涓ぇ鐨勬柟闈㈡潵瀹屾垚璇枡鐨勯澶勭悊宸ヤ綔銆?/p>

1.璇枡娓呮礂

鏁版嵁娓呮礂锛岄【鍚嶆€濅箟灏辨槸鍦ㄨ鏂欎腑鎵惧埌鎴戜滑鎰熷叴瓒ｇ殑涓滆タ锛屾妸涓嶆劅鍏磋叮鐨勩€佽涓哄櫔闊崇殑鍐呭娓呮礂鍒犻櫎锛屽寘鎷浜庡師濮嬫枃鏈彁鍙栨爣棰樸€佹憳瑕併€佹鏂囩瓑淇℃伅銆?/p>

瀵逛簬鐖彇鐨勭綉椤靛唴瀹癸紝鍘婚櫎骞垮憡銆佹爣绛俱€丠TML銆丣S 绛変唬鐮佸拰娉ㄩ噴绛夈€傚父瑙佺殑鏁版嵁娓呮礂鏂瑰紡鏈夛細浜哄伐鍘婚噸銆佸榻愩€佸垹闄ゅ拰鏍囨敞绛夛紝鎴栬€呰鍒欐彁鍙栧唴瀹广€佹鍒欒〃杈惧紡鍖归厤銆佹牴鎹瘝鎬у拰鍛藉悕瀹炰綋鎻愬彇銆佺紪鍐欒剼鏈垨鑰呬唬鐮佹壒澶勭悊绛夈€?/p>

2.鍒嗚瘝

涓枃璇枡鏁版嵁涓轰竴鎵圭煭鏂囨湰鎴栬€呴暱鏂囨湰锛屾瘮濡傦細鍙ュ瓙锛屾枃绔犳憳瑕侊紝娈佃惤鎴栬€呮暣绡囨枃绔犵粍鎴愮殑涓€涓泦鍚堛€備竴鑸彞瀛愩€佹钀戒箣闂寸殑瀛椼€佽瘝璇槸杩炵画鐨勶紝鏈変竴瀹氬惈涔夈€?/p>

鑰岃繘琛屾枃鏈寲鎺樺垎鏋愭椂锛屾垜浠笇鏈涙枃鏈鐞嗙殑鏈€灏忓崟浣嶇矑搴︽槸璇嶆垨鑰呰瘝璇紝鎵€浠ヨ繖涓椂鍊欏氨闇€瑕佸垎璇嶆潵灏嗘枃鏈叏閮ㄨ繘琛屽垎璇嶃€?/p>

甯歌鐨勫垎璇嶇畻娉曟湁锛氬熀浜庡瓧绗︿覆鍖归厤鐨勫垎璇嶆柟娉曘€佸熀浜庣悊瑙ｇ殑鍒嗚瘝鏂规硶銆佸熀浜庣粺璁＄殑鍒嗚瘝鏂规硶鍜屽熀浜庤鍒欑殑鍒嗚瘝鏂规硶锛屾瘡绉嶆柟娉曚笅闈㈠搴旇澶氬叿浣撶殑绠楁硶銆?/p>

褰撳墠涓枃鍒嗚瘝绠楁硶鐨勪富瑕侀毦鐐规湁姝т箟璇嗗埆鍜屾柊璇嶈瘑鍒紝姣斿锛氣€滅窘姣涚悆鎷嶅崠瀹屼簡鈥濓紝杩欎釜鍙互鍒囧垎鎴愨€滅窘姣?鐞冩媿 鍗?瀹?浜嗏€濓紝涔熷彲鍒囧垎鎴愨€滅窘姣涚悆 鎷嶅崠 瀹?浜嗏€濓紝濡傛灉涓嶄緷璧栦笂涓嬫枃鍏朵粬鐨勫彞瀛愶紝鎭愭€曞緢闅剧煡閬撳浣曞幓鐞嗚В銆?/p>

3.璇嶆€ф爣娉?/strong>

璇嶆€ф爣娉紝灏辨槸缁欐瘡涓瘝鎴栬€呰瘝璇墦璇嶇被鏍囩锛屽褰㈠璇嶃€佸姩璇嶃€佸悕璇嶇瓑銆傝繖鏍峰仛鍙互璁╂枃鏈湪鍚庨潰鐨勫鐞嗕腑铻嶅叆鏇村鏈夌敤鐨勮瑷€淇℃伅銆?/p>

璇嶆€ф爣娉ㄦ槸涓€涓粡鍏哥殑搴忓垪鏍囨敞闂锛屼笉杩囧浜庢湁浜涗腑鏂囪嚜鐒惰瑷€澶勭悊鏉ヨ锛岃瘝鎬ф爣娉ㄤ笉鏄潪蹇呴渶鐨勩€?/p>

姣斿锛屽父瑙佺殑鏂囨湰鍒嗙被灏变笉鐢ㄥ叧蹇冭瘝鎬ч棶棰橈紝浣嗘槸绫讳技鎯呮劅鍒嗘瀽銆佺煡璇嗘帹鐞嗗嵈鏄渶瑕佺殑锛屼笅鍥炬槸甯歌鐨勪腑鏂囪瘝鎬ф暣鐞嗐€?/p>

甯歌鐨勮瘝鎬ф爣娉ㄦ柟娉曞彲浠ュ垎涓哄熀浜庤鍒欏拰鍩轰簬缁熻鐨勬柟娉曘€傚叾涓熀浜庣粺璁＄殑鏂规硶锛屽鍩轰簬鏈€澶х喌鐨勮瘝鎬ф爣娉ㄣ€佸熀浜庣粺璁℃渶澶ф鐜囪緭鍑鸿瘝鎬у拰鍩轰簬 HMM 鐨勮瘝鎬ф爣娉ㄣ€?/p>

4.鍘诲仠鐢ㄨ瘝

鍋滅敤璇嶄竴鑸寚瀵规枃鏈壒寰佹病鏈変换浣曡础鐚綔鐢ㄧ殑瀛楄瘝锛屾瘮濡傛爣鐐圭鍙枫€佽姘斻€佷汉绉扮瓑涓€浜涜瘝銆傛墍浠ュ湪涓€鑸€х殑鏂囨湰澶勭悊涓紝鍒嗚瘝涔嬪悗锛屾帴涓嬫潵涓€姝ュ氨鏄幓鍋滅敤璇嶃€?/p>

浣嗘槸瀵逛簬涓枃鏉ヨ锛屽幓鍋滅敤璇嶆搷浣滀笉鏄竴鎴愪笉鍙樼殑锛屽仠鐢ㄨ瘝璇嶅吀鏄牴鎹叿浣撳満鏅潵鍐冲畾鐨勶紝姣斿鍦ㄦ儏鎰熷垎鏋愪腑锛岃姘旇瘝銆佹劅鍙瑰彿鏄簲璇ヤ繚鐣欑殑锛屽洜涓轰粬浠琛ㄧず璇皵绋嬪害銆佹劅鎯呰壊褰╂湁涓€瀹氱殑璐＄尞鍜屾剰涔夈€?/p>

鐗瑰緛宸ョ▼

鍋氬畬璇枡棰勫鐞嗕箣鍚庯紝鎺ヤ笅鏉ラ渶瑕佽€冭檻濡備綍鎶婂垎璇嶄箣鍚庣殑瀛楀拰璇嶈琛ㄧず鎴愯绠楁満鑳藉璁＄畻鐨勭被鍨嬨€?/p>

鏄剧劧锛屽鏋滆璁＄畻鎴戜滑鑷冲皯闇€瑕佹妸涓枃鍒嗚瘝鐨勫瓧绗︿覆杞崲鎴愭暟瀛楋紝纭垏鐨勮搴旇鏄暟瀛︿腑鐨勫悜閲忋€傛湁涓ょ甯哥敤鐨勮〃绀烘ā鍨嬪垎鍒槸璇嶈妯″瀷鍜岃瘝鍚戦噺銆?/p>

璇嶈妯″瀷锛圔ag of Word, BOW)锛屽嵆涓嶈€冭檻璇嶈鍘熸湰鍦ㄥ彞瀛愪腑鐨勯『搴忥紝鐩存帴灏嗘瘡涓€涓瘝璇垨鑰呯鍙风粺涓€鏀剧疆鍦ㄤ竴涓泦鍚堬紙濡?list锛夛紝鐒跺悗鎸夌収璁℃暟鐨勬柟寮忓鍑虹幇鐨勬鏁拌繘琛岀粺璁°€傜粺璁¤瘝棰戣繖鍙槸鏈€鍩烘湰鐨勬柟寮忥紝TF-IDF 鏄瘝琚嬫ā鍨嬬殑涓€涓粡鍏哥敤娉曘€?/p>

璇嶅悜閲忔槸灏嗗瓧銆佽瘝璇浆鎹㈡垚鍚戦噺鐭╅樀鐨勮绠楁ā鍨嬨€傜洰鍓嶄负姝㈡渶甯哥敤鐨勮瘝琛ㄧず鏂规硶鏄?One-hot锛岃繖绉嶆柟娉曟妸姣忎釜璇嶈〃绀轰负涓€涓緢闀跨殑鍚戦噺銆?/p>

杩欎釜鍚戦噺鐨勭淮搴︽槸璇嶈〃澶у皬锛屽叾涓粷澶у鏁板厓绱犱负 0锛屽彧鏈変竴涓淮搴︾殑鍊间负 1锛岃繖涓淮搴﹀氨浠ｈ〃浜嗗綋鍓嶇殑璇嶃€?/p>

杩樻湁 Google 鍥㈤槦鐨?Word2Vec锛屽叾涓昏鍖呭惈涓や釜妯″瀷锛氳烦瀛楁ā鍨嬶紙Skip-Gram锛夊拰杩炵画璇嶈妯″瀷锛圕ontinuous Bag of Words锛岀畝绉?CBOW锛夛紝浠ュ強涓ょ楂樻晥璁粌鐨勬柟娉曪細璐熼噰鏍凤紙Negative Sampling锛夊拰灞傚簭 Softmax锛圚ierarchical Softmax锛夈€?/p>

鍊煎緱涓€鎻愮殑鏄紝Word2Vec 璇嶅悜閲忓彲浠ヨ緝濂藉湴琛ㄨ揪涓嶅悓璇嶄箣闂寸殑鐩镐技鍜岀被姣斿叧绯汇€傞櫎姝や箣澶栵紝杩樻湁涓€浜涜瘝鍚戦噺鐨勮〃绀烘柟寮忥紝濡?Doc2Vec銆乄ordRank 鍜?FastText 绛夈€?br>

鐗瑰緛閫夋嫨

鍚屾暟鎹寲鎺樹竴鏍凤紝鍦ㄦ枃鏈寲鎺樼浉鍏抽棶棰樹腑锛岀壒寰佸伐绋嬩篃鏄繀涓嶅彲灏戠殑銆傚湪涓€涓疄闄呴棶棰樹腑锛屾瀯閫犲ソ鐨勭壒寰佸悜閲忥紝鏄閫夋嫨鍚堥€傜殑銆佽〃杈捐兘鍔涘己鐨勭壒寰併€?/p>

鏂囨湰鐗瑰緛涓€鑸兘鏄瘝璇紝鍏锋湁璇箟淇℃伅锛屼娇鐢ㄧ壒寰侀€夋嫨鑳藉鎵惧嚭涓€涓壒寰佸瓙闆嗭紝鍏朵粛鐒跺彲浠ヤ繚鐣欒涔変俊鎭紱浣嗛€氳繃鐗瑰緛鎻愬彇鎵惧埌鐨勭壒寰佸瓙绌洪棿锛屽皢浼氫涪澶遍儴鍒嗚涔変俊鎭€?/p>

鎵€浠ョ壒寰侀€夋嫨鏄竴涓緢鏈夋寫鎴樼殑杩囩▼锛屾洿澶氱殑渚濊禆浜庣粡楠屽拰涓撲笟鐭ヨ瘑锛屽苟涓旀湁寰堝鐜版垚鐨勭畻娉曟潵杩涜鐗瑰緛鐨勯€夋嫨銆傜洰鍓嶏紝甯歌鐨勭壒寰侀€夋嫨鏂规硶涓昏鏈?DF銆?MI銆?IG銆?CHI銆乄LLR銆乄FO 鍏銆?/p>

妯″瀷璁粌

鍦ㄧ壒寰佸悜閲忛€夋嫨濂戒箣鍚庯紝鎺ヤ笅鏉ヨ鍋氱殑浜嬫儏褰撶劧灏辨槸璁粌妯″瀷锛屽浜庝笉鍚岀殑搴旂敤闇€姹傦紝鎴戜滑浣跨敤涓嶅悓鐨勬ā鍨嬶紝浼犵粺鐨勬湁鐩戠潱鍜屾棤鐩戠潱绛夋満鍣ㄥ涔犳ā鍨嬶紝銆?/p>

濡?KNN銆丼VM銆丯aive Bayes銆佸喅绛栨爲銆丟BDT銆並-means 绛夋ā鍨嬶紱娣卞害瀛︿範妯″瀷姣斿 CNN銆丷NN銆丩STM銆?Seq2Seq銆丗astText銆乀extCNN 绛夈€?/p>

杩欎簺妯″瀷鍦ㄥ悗缁殑鍒嗙被銆佽仛绫汇€佺缁忓簭鍒椼€佹儏鎰熷垎鏋愮瓑绀轰緥涓兘浼氱敤鍒帮紝杩欓噷涓嶅啀璧樿堪銆備笅闈㈡槸鍦ㄦā鍨嬭缁冩椂闇€瑕佹敞鎰忕殑鍑犱釜鐐广€?/p>

1.娉ㄦ剰杩囨嫙鍚堛€佹瑺鎷熷悎闂锛屼笉鏂彁楂樻ā鍨嬬殑娉涘寲鑳藉姏銆?/strong>

杩囨嫙鍚?/strong>锛氭ā鍨嬪涔犺兘鍔涘お寮猴紝浠ヨ嚦浜庢妸鍣０鏁版嵁鐨勭壒寰佷篃瀛︿範鍒颁簡锛屽鑷存ā鍨嬫硾鍖栬兘鍔涗笅闄嶏紝鍦ㄨ缁冮泦涓婅〃鐜板緢濂斤紝浣嗘槸鍦ㄦ祴璇曢泦涓婅〃鐜板緢宸€?/p>

甯歌鐨勮В鍐虫柟娉曟湁锛?/p>

• 澧炲ぇ鏁版嵁鐨勮缁冮噺锛?/span>

• 澧炲姞姝ｅ垯鍖栭」锛屽 L1 姝ｅ垯鍜?L2 姝ｅ垯锛?/span>

• 鐗瑰緛閫夊彇涓嶅悎鐞嗭紝浜哄伐绛涢€夌壒寰佸拰浣跨敤鐗瑰緛閫夋嫨绠楁硶锛?/span>

• 閲囩敤 Dropout 鏂规硶绛夈€?/span>

娆犳嫙鍚?/strong>锛氬氨鏄ā鍨嬩笉鑳藉寰堝ソ鍦版嫙鍚堟暟鎹紝琛ㄧ幇鍦ㄦā鍨嬭繃浜庣畝鍗曘€?/p>

甯歌鐨勮В鍐虫柟娉曟湁锛?/p>

• 娣诲姞鍏朵粬鐗瑰緛椤癸紱

• 澧炲姞妯″瀷澶嶆潅搴︼紝姣斿绁炵粡缃戠粶鍔犳洿澶氱殑灞傘€佺嚎鎬фā鍨嬮€氳繃娣诲姞澶氶」寮忎娇妯″瀷娉涘寲鑳藉姏鏇村己锛?/span>

• 鍑忓皯姝ｅ垯鍖栧弬鏁帮紝姝ｅ垯鍖栫殑鐩殑鏄敤鏉ラ槻姝㈣繃鎷熷悎鐨勶紝浣嗘槸鐜板湪妯″瀷鍑虹幇浜嗘瑺鎷熷悎锛屽垯闇€瑕佸噺灏戞鍒欏寲鍙傛暟銆?/span>

2.瀵逛簬绁炵粡缃戠粶锛屾敞鎰忔搴︽秷澶卞拰姊害鐖嗙偢闂銆?/strong>

璇勪环鎸囨爣

璁粌濂界殑妯″瀷锛屼笂绾夸箣鍓嶈瀵规ā鍨嬭繘琛屽繀瑕佺殑璇勪及锛岀洰鐨勮妯″瀷瀵硅鏂欏叿澶囪緝濂界殑娉涘寲鑳藉姏銆傚叿浣撴湁浠ヤ笅杩欎簺鎸囨爣鍙互鍙傝€冦€?/p>

1.閿欒鐜囥€佺簿搴︺€佸噯纭巼銆佺簿纭害銆佸彫鍥炵巼銆丗1 琛￠噺銆?/strong>

閿欒鐜?/strong>锛氭槸鍒嗙被閿欒鐨勬牱鏈暟鍗犳牱鏈€绘暟鐨勬瘮渚嬨€傚鏍蜂緥闆?D锛屽垎绫婚敊璇巼璁＄畻鍏紡濡備笅锛?/p>

绮惧害锛氭槸鍒嗙被姝ｇ‘鐨勬牱鏈暟鍗犳牱鏈€绘暟鐨勬瘮渚嬨€傝繖閲岀殑鍒嗙被姝ｇ‘鐨勬牱鏈暟鎸囩殑涓嶄粎鏄渚嬪垎绫绘纭殑涓暟杩樻湁鍙嶄緥鍒嗙被姝ｇ‘鐨勪釜鏁般€傚鏍蜂緥闆?D锛岀簿搴﹁绠楀叕寮忓涓嬶細

瀵逛簬浜屽垎绫婚棶棰橈紝鍙皢鏍蜂緥鏍规嵁鍏剁湡瀹炵被鍒笌瀛︿範鍣ㄩ娴嬬被鍒殑缁勫悎鍒掑垎涓虹湡姝ｄ緥锛圱rue Positive锛夈€佸亣姝ｄ緥锛團alse Positive锛夈€佺湡鍙嶄緥锛圱rue Negative)銆佸亣鍙嶄緥锛團alse Negative锛夊洓绉嶆儏褰紝浠?TP銆丗P銆乀N銆丗N 鍒嗗埆琛ㄧず鍏跺搴旂殑鏍蜂緥鏁帮紝鍒欐樉鐒舵湁 TP+FP++TN+FN=鏍蜂緥鎬绘暟銆傚垎绫荤粨鏋滅殑鈥滄贩娣嗙煩闃碘€濓紙Confusion Matrix锛夊涓嬶細

鍑嗙‘鐜?/strong>锛岀缉鍐欒〃绀虹敤 P銆傚噯纭巼鏄拡瀵规垜浠娴嬬粨鏋滆€岃█鐨勶紝瀹冭〃绀虹殑鏄娴嬩负姝ｇ殑鏍蜂緥涓湁澶氬皯鏄湡姝ｇ殑姝ｆ牱渚嬨€傚畾涔夊叕寮忓涓嬶細

绮剧‘搴?/strong>锛岀缉鍐欒〃绀虹敤 A銆傜簿纭害鍒欐槸鍒嗙被姝ｇ‘鐨勬牱鏈暟鍗犳牱鏈€绘暟鐨勬瘮渚嬨€侫ccuracy 鍙嶅簲浜嗗垎绫诲櫒瀵规暣涓牱鏈殑鍒ゅ畾鑳藉姏锛堝嵆鑳藉皢姝ｇ殑鍒ゅ畾涓烘鐨勶紝璐熺殑鍒ゅ畾涓鸿礋鐨勶級銆傚畾涔夊叕寮忓涓嬶細

鍙洖鐜?/strong>锛岀缉鍐欒〃绀虹敤 R銆傚彫鍥炵巼鏄拡瀵规垜浠師鏉ョ殑鏍锋湰鑰岃█鐨勶紝瀹冭〃绀虹殑鏄牱鏈腑鐨勬渚嬫湁澶氬皯琚娴嬫纭€傚畾涔夊叕寮忓涓嬶細

F1 琛￠噺锛岃〃杈惧嚭瀵规煡鍑嗙巼/鏌ュ叏鐜囩殑涓嶅悓鍋忓ソ銆傚畾涔夊叕寮忓涓嬶細

2.ROC 鏇茬嚎銆丄UC 鏇茬嚎銆?/strong>

ROC 鍏ㄧО鏄€滃彈璇曡€呭伐浣滅壒寰佲€濓紙Receiver Operating Characteristic锛夋洸绾裤€傛垜浠牴鎹ā鍨嬬殑棰勬祴缁撴灉锛屾妸闃堝€间粠0鍙樺埌鏈€澶э紝鍗冲垰寮€濮嬫槸鎶婃瘡涓牱鏈綔涓烘渚嬭繘琛岄娴嬶紝闅忕潃闃堝€肩殑澧炲ぇ锛屽涔犲櫒棰勬祴姝ｆ牱渚嬫暟瓒婃潵瓒婂皯锛岀洿鍒版渶鍚庢病鏈変竴涓牱鏈槸姝ｆ牱渚嬨€傚湪杩欎竴杩囩▼涓紝姣忔璁＄畻鍑轰袱涓噸瑕侀噺鐨勫€硷紝鍒嗗埆浠ュ畠浠负妯€佺旱鍧愭爣浣滃浘锛屽氨寰楀埌浜?ROC 鏇茬嚎銆?/p>

ROC 鏇茬嚎鐨勭旱杞存槸鈥滅湡姝ｄ緥鐜団€濓紙True Positive Rate, 绠€绉?TPR)锛屾í杞存槸鈥滃亣姝ｄ緥鐜団€濓紙False Positive Rate,绠€绉癋PR锛夛紝涓よ€呭垎鍒畾涔変负锛?/p>

ROC 鏇茬嚎鐨勬剰涔夋湁浠ヤ笅鍑犵偣锛?/strong>

1. ROC 鏇茬嚎鑳藉緢瀹规槗鐨勬煡鍑轰换鎰忛槇鍊煎妯″瀷鐨勬硾鍖栨€ц兘褰卞搷锛?/span>

2. 鏈夊姪浜庨€夋嫨鏈€浣崇殑闃堝€硷紱

3. 鍙互瀵逛笉鍚岀殑妯″瀷姣旇緝鎬ц兘锛屽湪鍚屼竴鍧愭爣涓紝闈犺繎宸︿笂瑙掔殑 ROC 鏇叉墍浠ｈ〃鐨勫涔犲櫒鍑嗙‘鎬ф渶楂樸€?/span>

濡傛灉涓ゆ潯 ROC 鏇茬嚎娌℃湁鐩镐氦锛屾垜浠彲浠ユ牴鎹摢鏉℃洸绾挎渶闈犺繎宸︿笂瑙掑摢鏉℃洸绾夸唬琛ㄧ殑瀛︿範鍣ㄦ€ц兘灏辨渶濂姐€備絾鏄疄闄呬换鍔′腑锛屾儏鍐靛緢澶嶆潅锛岃嫢涓や釜妯″瀷鐨?ROC 鏇茬嚎鍙戠敓浜ゅ弶锛屽垯闅句互涓€鑸€х殑鏂█涓よ€呭浼樺鍔ｃ€傛鏃跺鏋滀竴瀹氳杩涜姣旇緝锛屽垯姣旇緝鍚堢悊鐨勫垽鏂緷鎹槸姣旇緝 ROC 鏇茬嚎涓嬬殑闈㈢Н锛屽嵆AUC锛圓rea Under ROC Curve锛夈€?/p>

AUC 灏辨槸 ROC 鏇茬嚎涓嬬殑闈㈢Н锛岃　閲忓涔犲櫒浼樺姡鐨勪竴绉嶆€ц兘鎸囨爣銆侫UC 鏄　閲忎簩鍒嗙被妯″瀷浼樺姡鐨勪竴绉嶈瘎浠锋寚鏍囷紝琛ㄧず棰勬祴鐨勬渚嬫帓鍦ㄨ礋渚嬪墠闈㈢殑姒傜巼銆?/p>

鍓嶉潰鎴戜滑鎵€璁茬殑閮芥槸閽堝浜屽垎绫婚棶棰橈紝閭ｄ箞濡傛灉瀹為檯闇€瑕佸湪澶氬垎绫婚棶棰樹腑鐢?ROC 鏇茬嚎鐨勮瘽锛屼竴鑸€х殑杞寲涓哄涓€滀竴瀵瑰鈥濈殑闂銆傚嵆鎶婂叾涓竴涓綋浣滄渚嬶紝鍏朵綑褰撲綔璐熶緥鏉ョ湅寰咃紝鐢诲嚭澶氫釜 ROC 鏇茬嚎銆?/p>

妯″瀷涓婄嚎搴旂敤

妯″瀷绾夸笂搴旂敤锛岀洰鍓嶄富娴佺殑搴旂敤鏂瑰紡灏辨槸鎻愪緵鏈嶅姟鎴栬€呭皢妯″瀷鎸佷箙鍖栥€?/p>

绗竴灏辨槸绾夸笅璁粌妯″瀷锛岀劧鍚庡皢妯″瀷鍋氱嚎涓婇儴缃诧紝鍙戝竷鎴愭帴鍙ｆ湇鍔′互渚涗笟鍔＄郴缁熶娇鐢ㄣ€?/p>

绗簩绉嶅氨鏄湪绾胯缁冿紝鍦ㄧ嚎璁粌瀹屾垚涔嬪悗鎶婃ā鍨?pickle 鎸佷箙鍖栵紝鐒跺悗鍦ㄧ嚎鏈嶅姟鎺ュ彛妯℃澘閫氳繃璇诲彇 pickle 鑰屾敼鍙樻帴鍙ｆ湇鍔°€?/p>

妯″瀷閲嶆瀯锛堥潪蹇呴』锛?/h3>

闅忕潃鏃堕棿鍜屽彉鍖栵紝鍙兘闇€瑕佸妯″瀷鍋氫竴瀹氱殑閲嶆瀯锛屽寘鎷牴鎹笟鍔′笉鍚屼晶閲嶇偣瀵逛笂闈㈡彁鍒扮殑涓€鑷充竷姝ラ涔熻繘琛岃皟鏁达紝閲嶆柊璁粌妯″瀷杩涜涓婄嚎銆?/p>

瀹挎案鏉板凡缁忓湪 GitChat 寮€璁句簡銆婁腑鏂囪嚜鐒惰瑷€澶勭悊鍏ラ棬瀹炴垬銆嬭绋嬨€傜洰鍓嶅叡鏈?1鏈熻绋嬨€?/p>

姹熸箹鏈夊彞璇濓細瀹佽垗涓€閿噾锛屼笉鑸嶄竴鍙ユ槬銆傛剰鎬濆氨鏄紝瀹佹効鎴戣垗鍘讳竴閿噾瀛愪笉瑕侊紝涔熶笉鎰挎妸鎴戝涔犵殑闂ㄩ亾娉勯湶缁欏埆浜恒€傚彲瑙侊紝瀛︿範鐨勬柟娉曠殑浠峰€硷紝鎵嶆槸鏈€涓哄疂璐电殑銆?/p>

鍐欎綔涓嶆槗锛屽垎浜毦寰椼€傛垜浠洿甯屾湜浣滆€呯殑杩欎簺缁忛獙锛岃兘澶熷府鍔╂洿澶氱殑鏈嬪弸锛屽皯璧板集璺€佸璧版嵎寰勩€?/p>

以上是关于的主要内容，如果未能解决你的问题，请参考以下文章

Python 操作Redis

python爬虫入门----- 阿里巴巴供应商爬虫

Python词典设置默认值小技巧

《python学习手册（第4版）》pdf

Django settings.py 的media路径设置

Python中的赋值,浅拷贝和深拷贝的区别