Spark -14:spark Hadoop 高可用模式下读写hdfs

Posted dy9776

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark -14:spark Hadoop 高可用模式下读写hdfs相关的知识,希望对你有一定的参考价值。

第一种,通过配置文件

  val sc = new SparkContext()

    sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1");
    sc.hadoopConfiguration.set("dfs.nameservices", "cluster1");
    sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster1", "nn1,nn2");
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn1", "namenode001:8020");
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn2", "namenode002:8020");
    sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

第二种,通过Java代码

   val conf = new SparkConf().setAppName("Spark Word Count") 
    val sc = new SparkContext()
    sc.hadoopConfiguration.addResource("cluster1/core-site.xml")
    sc.hadoopConfiguration.addResource("cluster1/hdfs-site.xml")













以上是关于Spark -14:spark Hadoop 高可用模式下读写hdfs的主要内容,如果未能解决你的问题,请参考以下文章

关于举办“全国高校大数据(HadoopsparkPython)师资 ”培训班的通知

SPI:Java的高可扩展利器

lduan Exchange 2013 NLB高可性 中(十五)

lduan Exchange 2013 高可性 外网访问与证书(十七)

springcloud eureka 高可复用。

Compose 动画 : 高可定制性的动画 Animatable