IT常识

Posted 2021-04-20 椋炴€昏亰IT

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了相关的知识，希望对你有一定的参考价值。

鐐瑰嚮鈥?/span>椋炴€昏亰IT鈥濓紝閫夋嫨鈥滄槦鏍囸煍濃€?/span>

鍦ㄧ湅|鏄熸爣|鐣欒█, 鐪熺埍

5鏈堢殑澶ф暟鎹湀瀛愶紝娉㈡緶涓嶅叴涔嬩綑锛屽崕涓轰富瀵肩殑寮€婧愰」鐩瓵pache CarbonData鍙戝竷2.0 RC2鐗堟湰銆傝繖鏄疌arbonData杩欎釜椤圭洰鐨勪竴娆″法澶у崌绾с€?/span>

2.0鐗堟湰鐨凜arbonData甯︽潵浜嗗緢澶氬緢鏂扮殑鐗规€э紝鐩稿綋鐨勪赴瀵屻€侰arbonData 2.0鏀寔鍏冩暟鎹拰鏁版嵁鐨勭鐞嗭紝澧炲己浜嗗悇绉嶇储寮曞拰Materialized View鐨勬敮鎸侊紝瀵笰CID鐨勪篃澧炲己浜嗗姛鑳姐€?/span>

鎸夌収鍏紑鐨勪俊鎭潵鐪嬶紝CarbonData 2.0鏀寔寰堝鐨勭储寮曠被鍨嬶紝鍙互瀹炵幇瀵瑰鏉傛煡璇㈢殑绉掔骇鐩稿簲銆傚姞涔嬪叾寮曞叆浜嗗垎甯冨紡鍐呭瓨鎵€浠ョ紦瀛橈紝骞朵笖鏀寔绱㈠紩鐨勫唴瀛橀鍔犺浇銆傚叾瀵瑰鏉侽LAP鏌ヨ鐨勫姞閫熷彲璋撻潪甯哥墰閫笺€?/span>

鍏跺悓鏃朵篃澧炲己浜嗭紝瀵筆arquet鍜孫RC绛夋暟鎹繘琛岀粺涓€鐨勫厓鏁版嵁绠＄悊锛屽苟涓斿畬鎴愪簡瀵瑰紓鏋勮绠楄瀺鍚堢瓑绛夈€傛€昏€岃█涔嬶紝鏃犺浠庝粈涔堣搴﹀幓鐪嬶紝杩欎釜2.0鐗堟湰寰堢墰閫笺€?/span>

CarbonData浣滀负涓€涓狝pache鐨勫紑婧愰」鐩紝鏈€鍒濆鏍囩殑瀵硅薄鏄疨arquet鍜孫RC绛夊垪寮忓瓨鍌ㄦ牸寮忋€傝嚜2016骞撮潰涓栦互鏉ワ紝涓€鐩撮兘鏈夌偣闆峰０澶ч洦鐐瑰皬鐨勬劅瑙夈€傚湪瀹為檯鐨勪笘鐣岄噷锛屽熀鏈笂涓嶆槸ORC鍞辨垙锛屽氨鏄疨arquet鍦ㄨ〃婕斻€?/span>

铏界劧璇碈arbonData鏈夎繖鏍烽偅鏍风殑浼樿秺鎬э紝鍏朵綔涓轰竴涓悗鏉ヨ€呮病鏈夎捣鍒版敾鍩庣暐鍦扮殑鏁堟灉銆?/span>鑰岃繖涓?.0鐗堟湰瀵规爣鐨勬樉鐒朵笉鏄繖浜涜€佸鎵嬶紝鑰屾槸鏂扮殑寮€婧愰」鐩瓺elta杩欐牱鐨勬暟鎹箹瑙ｅ喅鏂规銆?/span>

涓嶅彲鍚﹁锛岃繖涓?.0鐪嬭捣鏉ヨ繕鏄尯鍚稿紩浜虹殑銆備絾鏄仛寰堝浜嬫儏閮借绌跺ぉ鏃跺湴鍒╀汉鍜屻€侰arbonData浣滀负涓€涓悗璧蜂箣绉€锛屼粠涓€寮€濮嬫墦鍑轰簡鍝嶄寒鍙ｅ彿浠ュ悗锛屾帴涓嬫潵寰堥暱涓€娈垫椂闂撮噷锛屽紑婧愮ぞ鍖哄氨娌＄湅鍒颁粈涔堝ぇ鐨勫姩闈欎簡銆?/span>

娌″姩闈欐病鍙戝睍鐨勫紑婧愰」鐩紝鍙堟槸鍚庤捣涔嬬锛屽湪寮€婧愮ぞ鍖鸿嚜鐒舵槸鍋氫笉鍒颁富瀵煎湴浣嶇殑銆傚紑婧愯鎬庝箞鐜╋紝鍏跺疄杩樻槸DataBricks鍘夊銆備竴鏂归潰瀹冧滑鎶婃寔浜哠park鐨勫紑婧愰」鐩紝鍙﹀涓€鏂归潰寮€婧愬嚭鏉ョ殑涓滆タ鍜屽晢涓氱増锛屽缁堜繚鎸佷簡宸ㄥぇ宸窛銆傛瘡褰撳叾浠栧紑婧愮ぞ鍖虹殑浜烘兂瑕佸姞鏂扮壒鎬х殑鏃跺€欙紝Databricks鍙堜細鍙婃椂鐨勬妸鍟嗕笟鐗规€у紑婧愩€?br>

杩欑鎶婃寔鐨勬柟寮忥紝璁〥atabricks鐨勫晢涓氱増濮嬬粓淇濇寔浜嗘瀬寮虹殑绔炰簤鍔涳紝鍏朵粬浜鸿繕涓嶈兘璇村叾寮€婧愮増宸€?/span>

Delta Lake骞朵笉鏄柊涓滆タ锛孌atabricks鍟嗕笟鐗堟棭灏卞湪鍋氫簡銆傚彧涓嶈繃瀹冧滑閫夋嫨浜嗗湪鍚堥€傜殑鏃跺€欏紑婧愬嚭鏉ワ紝骞朵笖杩呴€熺殑鍗犳嵁浜嗗競鍦恒€傛墍浠ュ厛鍏ヤ负涓讳互鍚庯紝鍚庤繘鏉ョ殑锛岃偗瀹氭槸瑕佸悆浜忕殑銆?br>

CarbonData1.0鐨勬椂鍊欙紝灏变笉鏄竴涓湁鍏堝彂浼樺娍鐨勪骇鍝併€備絾鏄崕涓轰富瀵肩殑寮€婧愮ぞ鍖猴紝鏃犺濡備綍涓€鏂归潰寮€婧愬畬姣曚互鍚庯紝鍚庣画鐨勬姇鍏ュ拰寤鸿涓嶈冻锛屽彟澶栦竴鏂归潰锛屼繚鐣欎簡鐩稿綋涓€閮ㄥ垎鐨勯潪寮€婧愮珵浜変紭鍔裤€?br>

杩欏氨鏄鍒颁簡Databricks鍚庨潰鍗婃锛屼絾鏄苟娌℃湁鎶婂墠闈㈠崐娈靛濂姐€侰arbonData鍦ㄦ垚涓哄崰缁熸不鍦颁綅鐨勫紑婧愬瓨鍌ㄦ牸寮忎箣鍓嶏紝蹇欑潃淇濈暀绔炰簤鐗规€э紝涓嶅幓鍔姏鍩硅偛绀惧尯锛岃繖灏辨湁鐐规€ュ姛杩戝埄浜嗐€?br>

鐜板湪寮€婧愬嚭鏉ョ殑2.0鐗堬紝鎴戞兂濡傛灉娌℃湁Databricks寮€婧怐elta Lake锛屾垜浠及璁″簲璇ユ槸瑙佷笉鍒扮殑銆備絾鏄崲涓搴︾湅锛屼篃鏄洜涓烘湁浜咲elta Lake锛岀幇鍦ㄥ紑婧愪笉寮€婧愶紝閮芥病浠€涔堝嵉鐢ㄤ簡銆?br>

姣曠珶寰堝涓滆タ锛岄兘鏄厛鍏ヤ负涓荤殑銆傚ぇ瀹跺厛涓婁簡Delta鐨勮醇鑸逛簡锛屼负浠€涔堥潪瑕佺敤浣犵殑CarbonData鍛紵浣犺鏄竴鐩村姫鍔涚殑鑰曡€楥arbonData杩欎釜椤圭洰锛屾瘮Delta Lake鏇存棭鐨勬妸鏁版嵁婀栭渶瑕佺殑涓滆タ閮藉仛鍑烘潵锛岄偅鍙兘涔熷氨娌elta Lake浠€涔堜簨鎯呬簡銆?/span>

鎺ㄨ崘Python澶ф暟鎹汉宸ユ櫤鑳?/span>

瀛︿範Python澶ф暟鎹汉宸ユ櫤鑳界殑濂藉湴鏂?/span>