spark streaming璇诲彇kakfka鏁版嵁鎵嬪姩缁存姢offset
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark streaming璇诲彇kakfka鏁版嵁鎵嬪姩缁存姢offset相关的知识，希望对你有一定的参考价值。
鏍囩锛?a href='http://www.mamicode.com/so/1/cts' title='cts'>cts util 榛樿 浣跨敤 绋嬪簭 rect off 涓嶅悓 鏁堢巼
鍦╯park streaming璇诲彇kafka鐨勬暟鎹腑锛宻park streaming鎻愪緵浜嗕袱涓帴鍙ｈ鍙杒afka涓殑鏁版嵁锛屽垎鍒槸KafkaUtils.createDstream锛孠afkaUtils.createDirectStream锛屽墠鑰呬細鑷姩鎶妎ffset鏇存柊鍒皕k涓紝榛樿浼氫涪鏁版嵁锛屾晥鐜囦綆锛屽悗鑰呬笉浼氱粡杩噝k锛屾晥鐜囨洿楂橈紝闇€瑕佽嚜宸辨墜鍔ㄧ淮鎶ffse锛岄€氳繃缁存姢鎶ffset鍐欏埌zk涓紝淇濋殰鏁版嵁闆朵涪澶憋紝鍙鐞嗕竴娆★紝涓嬮潰鏉ョ湅鐪婯afkaUtils.createDirectStream鐨勪娇鐢紝鎴戞妸zk鐨勭鍙ｆ敼鎴愪簡9999锛岄槻姝㈠拰kakfa鑷甫鐨剒k鐨勭鍙ｄ骇鐢熷啿绐侊紝涓嬮潰鎴戝啓浜嗕竴浜涙祴璇曚唬鐮侊紝缁忚嚜宸辨祴璇曟暟鎹病浠讳綍闂锛屽嵆浣縮park streaming鎸備簡 锛屽彟涓€鏂瑰線topic涓啓鏁版嵁锛屼笅娆″惎鍔╯treaming绋嬪簭涔熻兘璇诲彇锛屽仛鍒版暟鎹浂涓㈠け锛屼笉鍚岀殑group.id涓嬪彧璇诲彇涓€娆★紝鐪嬬湅涓嬮潰浠ｇ爜鍚?浠ｇ爜鏄嚜宸辨煡鐪媖afka涓嚜甯︾殑鎺ュ彛鍜屼竴浜涘叾浠栫殑璧勬枡缁勫悎鑰屾垚锛岀畝鍗曠殑鍐欎簡涓€浜涳紝鍙傛暟娌″啓鎴愰厤缃?
以上是关于spark streaming璇诲彇kakfka鏁版嵁鎵嬪姩缁存姢offset的主要内容，如果未能解决你的问题，请参考以下文章
Python璇诲彇mysql鏁版嵁锛岃浆涓篋ataFrame鏍煎紡骞舵牴鎹師TABLE涓殑COLUMNS鎸囧畾columns锛宨ndex