softmax
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了softmax相关的知识，希望对你有一定的参考价值。
鏍囩锛?a href='http://www.mamicode.com/so/1/%e4%b8%80%e4%b8%aa' title='涓€涓?>涓€涓?/a> 瀛︿範 杈撳嚭 閫夋嫨 鍥惧儚 inf 褰辫 鎬庝箞 姝屾洸
寮曡嚜锛歨ttps://blog.csdn.net/bitcarmanlee/article/details/82320853
1.softmax鍒濇帰
鍦ㄦ満鍣ㄥ涔犲挨鍏舵槸娣卞害瀛︿範涓紝softmax鏄釜闈炲父甯哥敤鑰屼笖姣旇緝閲嶈鐨勫嚱鏁帮紝灏ゅ叾鍦ㄥ鍒嗙被鐨勫満鏅腑浣跨敤骞挎硾銆備粬鎶婁竴浜涜緭鍏ユ槧灏勪负0-1涔嬮棿鐨勫疄鏁帮紝骞朵笖褰掍竴鍖栦繚璇佸拰涓?锛屽洜姝ゅ鍒嗙被鐨勬鐜囦箣鍜屼篃鍒氬ソ涓?銆?
棣栧厛鎴戜滑绠€鍗曟潵鐪嬬湅softmax鏄粈涔堟剰鎬濄€傞【鍚嶆€濅箟锛宻oftmax鐢变袱涓崟璇嶇粍鎴愶紝鍏朵腑涓€涓槸max銆傚浜巑ax鎴戜滑閮藉緢鐔熸倝锛屾瘮濡傛湁涓や釜鍙橀噺a,b銆傚鏋渁>b锛屽垯max涓篴锛屽弽涔嬩负b銆傜敤浼爜绠€鍗曟弿杩颁竴涓嬪氨鏄?if a > b return a; else b銆?
鍙﹀涓€涓崟璇嶄负soft銆俶ax瀛樺湪鐨勪竴涓棶棰樻槸浠€涔堝憿锛熷鏋滃皢max鐪嬫垚涓€涓垎绫婚棶棰橈紝灏辨槸闈為粦鍗崇櫧锛屾渶鍚庣殑杈撳嚭鏄竴涓‘瀹氱殑鍙橀噺銆傛洿澶氱殑鏃跺€欙紝鎴戜滑甯屾湜杈撳嚭鐨勬槸鍙栧埌鏌愪釜鍒嗙被鐨勬鐜囷紝鎴栬€呰锛屾垜浠笇鏈涘垎鍊煎ぇ鐨勯偅涓€椤硅缁忓父鍙栧埌锛岃€屽垎鍊艰緝灏忕殑閭ｄ竴椤逛篃鏈変竴瀹氱殑姒傜巼鍋跺皵琚彇鍒帮紝鎵€浠ユ垜浠氨搴旂敤鍒颁簡soft鐨勬蹇碉紝鍗虫渶鍚庣殑杈撳嚭鏄瘡涓垎绫昏鍙栧埌鐨勬鐜囥€?/p>
2.softmax鐨勫畾涔?/strong>
棣栧厛缁欎竴涓浘锛岃繖涓浘姣旇緝娓呮櫚鍦板憡璇夊ぇ瀹秙oftmax鏄€庝箞璁＄畻鐨勩€?
(鍥剧墖鏉ヨ嚜缃戠粶)
鍋囪鏈変竴涓暟缁刅锛孷iVi琛ㄧずV涓殑绗琲涓厓绱狅紝閭ｄ箞杩欎釜鍏冪礌鐨剆oftmax鍊间负:
璇ュ厓绱犵殑softmax鍊硷紝灏辨槸璇ュ厓绱犵殑鎸囨暟涓庢墍鏈夊厓绱犳寚鏁板拰鐨勬瘮鍊笺€?br />杩欎釜瀹氫箟鍙互璇村緢绠€鍗曪紝涔熷緢鐩磋銆傞偅涓轰粈涔堣瀹氫箟鎴愯繖涓舰寮忓憿锛熷師鍥犱富瑕佸涓嬨€?
1.softmax璁捐鐨勫垵琛凤紝鏄笇鏈涚壒寰佸姒傜巼鐨勫奖鍝嶆槸涔樻€х殑銆?
2.澶氱被鍒嗙被闂鐨勭洰鏍囧嚱鏁板父甯搁€変负cross-entropy銆傚嵆L=−∑ktk⋅lnP(y=k)L=−∑ktk⋅lnP(y=k)锛屽叾涓洰鏍囩被鐨則ktk涓?锛屽叾浣欑被鐨則ktk涓?銆?
鍦ㄧ缁忕綉缁滄ā鍨嬩腑(鏈€绠€鍗曠殑logistic regression涔熷彲鐪嬫垚娌℃湁闅愬惈灞傜殑绁炵粡缃戠粶)锛岃緭鍑哄眰绗琲涓缁忓厓鐨勮緭鍏ヤ负ai=∑dwidxdai=∑dwidxd銆?
绁炵粡缃戠粶鏄敤error back-propagation璁粌鐨勶紝杩欎釜杩囩▼涓湁涓€涓叧閿殑閲忔槸∂L/∂αi∂L/∂αi銆傚悗闈㈡垜浠細杩涜璇︾粏鎺ㄥ銆?/p>
3.softmax姹傚
4.softmax VS k涓簩鍏冨垎绫诲櫒
濡傛灉浣犲湪寮€鍙戜竴涓煶涔愬垎绫荤殑搴旂敤锛岄渶瑕佸k绉嶇被鍨嬬殑闊充箰杩涜璇嗗埆锛岄偅涔堟槸閫夋嫨浣跨敤 softmax 鍒嗙被鍣ㄥ憿锛岃繕鏄娇鐢?logistic 鍥炲綊绠楁硶寤虹珛 k 涓嫭绔嬬殑浜屽厓鍒嗙被鍣ㄥ憿锛?
杩欎竴閫夋嫨鍙栧喅浜庝綘鐨勭被鍒箣闂存槸鍚︿簰鏂ワ紝渚嬪锛屽鏋滀綘鏈夊洓涓被鍒殑闊充箰锛屽垎鍒负锛氬彜鍏搁煶涔愩€佷埂鏉戦煶涔愩€佹憞婊氫箰鍜岀埖澹箰锛岄偅涔堜綘鍙互鍋囪姣忎釜璁粌鏍锋湰鍙細琚墦涓婁竴涓爣绛撅紙鍗筹細涓€棣栨瓕鍙兘灞炰簬杩欏洓绉嶉煶涔愮被鍨嬬殑鍏朵腑涓€绉嶏級锛屾鏃朵綘搴旇浣跨敤绫诲埆鏁?k = 4 鐨剆oftmax鍥炲綊銆傦紙濡傛灉鍦ㄤ綘鐨勬暟鎹泦涓紝鏈夌殑姝屾洸涓嶅睘浜庝互涓婂洓绫荤殑鍏朵腑浠讳綍涓€绫伙紝閭ｄ箞浣犲彲浠ユ坊鍔犱竴涓?ldquo;鍏朵粬绫?rdquo;锛屽苟灏嗙被鍒暟 k 璁句负5銆傦級
濡傛灉浣犵殑鍥涗釜绫诲埆濡備笅锛氫汉澹伴煶涔愩€佽垶鏇层€佸奖瑙嗗師澹般€佹祦琛屾瓕鏇诧紝閭ｄ箞杩欎簺绫诲埆涔嬮棿骞朵笉鏄簰鏂ョ殑銆備緥濡傦細涓€棣栨瓕鏇插彲浠ユ潵婧愪簬褰辫鍘熷０锛屽悓鏃朵篃鍖呭惈浜哄０ 銆傝繖绉嶆儏鍐典笅锛屼娇鐢?涓簩鍒嗙被鐨?logistic 鍥炲綊鍒嗙被鍣ㄦ洿涓哄悎閫傘€傝繖鏍凤紝瀵逛簬姣忎釜鏂扮殑闊充箰浣滃搧 锛屾垜浠殑绠楁硶鍙互鍒嗗埆鍒ゆ柇瀹冩槸鍚﹀睘浜庡悇涓被鍒€?
鐜板湪鎴戜滑鏉ョ湅涓€涓绠楄瑙夐鍩熺殑渚嬪瓙锛屼綘鐨勪换鍔℃槸灏嗗浘鍍忓垎鍒颁笁涓笉鍚岀被鍒腑銆?i) 鍋囪杩欎笁涓被鍒垎鍒槸锛氬鍐呭満鏅€佹埛澶栧煄鍖哄満鏅€佹埛澶栬崚閲庡満鏅€備綘浼氫娇鐢╯ofmax鍥炲綊杩樻槸 3涓猯ogistic 鍥炲綊鍒嗙被鍣ㄥ憿锛?(ii) 鐜板湪鍋囪杩欎笁涓被鍒垎鍒槸瀹ゅ唴鍦烘櫙銆侀粦鐧藉浘鐗囥€佸寘鍚汉鐗╃殑鍥剧墖锛屼綘鍙堜細閫夋嫨 softmax 鍥炲綊杩樻槸澶氫釜 logistic 鍥炲綊鍒嗙被鍣ㄥ憿锛?
鍦ㄧ浜屼釜渚嬪瓙涓紝涓変釜绫诲埆鏄簰鏂ョ殑锛屽洜姝ゆ洿閫備簬閫夋嫨softmax鍥炲綊鍒嗙被鍣?銆傝€屽湪绗竴涓緥瀛愪腑锛屽缓绔嬩笁涓嫭绔嬬殑 logistic鍥炲綊鍒嗙被鍣ㄦ洿鍔犲悎閫傘€?br />
以上是关于softmax的主要内容，如果未能解决你的问题，请参考以下文章