Hadoop简介

Posted Liguangyang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop简介相关的知识,希望对你有一定的参考价值。

Hadoop

简介:

两大核心:HDFS+MapReduce

Hadoop1.0,Hadoop2.0

Linux:基础

shell,sudo

Hadoop集群的部署与使用

先访问nameNode 存储DataNode

JobTracker TaskTracker

分布式文件系统

伪分布式:就是吧名称节点和数据节点放在同一个机器上

HDFS:

兼容链家的硬件设备,支持大数据集,实现流数据读写,支持简单的文件模型,跨平台兼容性

局限性:不适合底延迟数据访问,无法高校储存大量的小文件,不支持多用户写入任意修改文件

HDFS相关概念

块:整个HDFS的核心

为了支持面向大规模数据存储

减低分布式结点寻址开销

元数据:文件是什么,文件被分成多少块,每个块和文件是怎么映射的,每个块存储子啊那个服务器上面

名称节点:

HDFS运行:底层名称节点,EditLog各项操作-》新的元数据-》新的名称节点,空的EditLog

把新的名称节点不断放在EditLog里EditLog会太大

所以诞生了第二名称节点,名称节点的冷备份,恢复需要时间

数据节点

负责存储相关数据,在运行过程中不停给名称节点发送心跳信息

HDFS储存原理

冗余数据保存:加快数据传输,容易检查数据错误,保证数据可靠性

发现错误:由管家进行调整(名称节点)

技术图片

依赖注入(DI)

Dependency Injection

概念

  • 依赖注入(Dependency Injection,DI)。

  • 依赖 : 指Bean对象的创建依赖于容器 . Bean对象的依赖资源 .

  • 注入 : 指Bean对象所依赖的资源 , 由容器来设置和装配 .

构造器注入

我们在之前的案例已经讲过了

Set 注入 (重点)

要求被注入的属性 , 必须有set方法 , set方法的方法名由set + 属性首字母大写 , 如果属性是boolean类型 , 没有set方法 , 是 is .

测试pojo类 :

Address.java


Student.java

  package com.kuang.pojo;  
 import java.util.List;
 import java.util.Map;
 import java.util.Properties;
 import java.util.Set;
 public class Student {  
     private String name;
     private Address address;  
     private String[] books;  
     private List<String> hobbys;
     private Map<String,String> card;
     private Set<String> games;
     private String wife;
     private Properties info;
     public void setName(String name) {
         this.name = name;  
    }      public void setAddress(Address address) {         this.address = address;                                                   }  
     public void setBooks(String[] books) {
         this.books = books;
    }
     public void setHobbys(List<String> hobbys) {         this.hobbys = hobbys;
                                                }
     public void setCard(Map<String, String> card) {                       this.card = card;
                                                  }      public void setGames(Set<String> games) {
         this.games = games;
    }
     public void setWife(String wife) {
         this.wife = wife;
    }      
     public void setInfo(Properties info) {
         this.info = info;   }
     public void show(){
         System.out.println("name="+ name
                            + ",address="+
                            address.getAddress()
                            + ",books="       );
         for (String book:books){             System.out.print("<<"+book+">> ");       }         System.out.println(" 爱好:"+hobbys);          System.out.println("card:"+card);          System.out.println("games:"+games);          System.out.println("wife:"+wife);          System.out.println("info:"+info);     } }

1、常量注入

  <bean id="student" class="com.kuang.pojo.Student">     <property name="name" value="小明"/> </bean>

测试:

  @Test public void test01(){     ApplicationContext context = newClassPathXmlApplicationContext("applicationContext.xml");      Student student = (Student) context.getBean("student");      System.out.println(student.getName());  }

2、Bean注入

注意点:这里的值是一个引用,ref

  <bean id="addr" class="com.kuang.pojo.Address">     <property name="address" value="重庆"/> </bean>  <bean id="student" class="com.kuang.pojo.Student">     <property name="name" value="小明"/>     <property name="address" ref="addr"/> </bean>

3、数组注入

  <bean id="student" class="com.kuang.pojo.Student">     <property name="name" value="小明"/>     <property name="address" ref="addr"/>     <property name="books">         <array>             <value>西游记</value>             <value>红楼梦</value>             <value>水浒传</value>         </array>     </property> </bean>

4、List注入

  <property name="hobbys">     <list>         <value>听歌</value>         <value>看电影</value>         <value>爬山</value>     </list> </property>

5、Map注入

  <property name="card">     <map>         <entry key="中国邮政" value="456456456465456"/>         <entry key="建设" value="1456682255511"/>     </map> </property>

6、set注入

  <property name="games">     <set>         <value>LOL</value>         <value>BOB</value>         <value>COC</value>     </set> </property>

7、Null注入

  <property name="wife"><null/></property>

8、Properties注入

  <property name="info">     <props>         <prop key="学号">20190604</prop>         <prop key="性别">男</prop>         <prop key="姓名">小明</prop>     </props> </property>

测试结果:

技术图片

p命名和c命名注入

  • User.java :【注意:这里没有有参构造器!】
  public class User { 
  private String name;
  private int age;
  public void setName(String name) {
  this.name = name;   }
  public void setAge(int age) {
  this.age = age;   }
  @Override
  public String toString() {
  return "User{" +
  "name=‘" + name + ‘‘‘ +
  ", age=" + age +                 ‘}‘;   } }

1、P命名空间注入 : 需要在头文件中加入约束文件

  导入约束 : 
 xmlns:p="http://www.springframework.org/schema/p"
 ?
 <!--P(属性: properties)命名空间 , 属性依然要设置set方法-->
 <bean id="user" class="com.kuang.pojo.User" p:name="狂神" p:age="18"/>

2、c 命名空间注入 : 需要在头文件中加入约束文件

  导入约束 :
  xmlns:c="http://www.springframework.org/schema/c"
 
  <!--C(构造: Constructor)命名空间 , 属性依然要设置set方法-->
 <bean id="user" class="com.kuang.pojo.User" c:name="狂神" c:age="18"/>

发现问题:爆红了,刚才我们没有写有参构造!

解决:把有参构造器加上,这里也能知道,c 就是所谓的构造器注入!

测试代码:

  @Test public void test02(){   
  ApplicationContext context = newClassPathXmlApplicationContext("applicationContext.xml");     User user = (User) context.getBean("user");                System.out.println(user); }

 

Bean的作用域

在Spring中,那些组成应用程序的主体及由Spring IoC容器所管理的对象,被称之为bean。简单地讲,bean就是由IoC容器初始化、装配及管理的对象 .

技术图片

几种作用域中,request、session作用域仅在基于web的应用中使用(不必关心你所采用的是什么web应用框架),只能用在基于web的Spring ApplicationContext环境。

Singleton

当一个bean的作用域为Singleton,那么Spring IoC容器中只会存在一个共享的bean实例,并且所有对bean的请求,只要id与该bean定义相匹配,则只会返回bean的同一实例。Singleton是单例类型,就是在创建起容器时就同时自动创建了一个bean的对象,不管你是否使用,他都存在了,每次获取到的对象都是同一个对象。注意,Singleton作用域是Spring中的缺省作用域。要在XML中将bean定义成singleton,可以这样配置:

  <bean id="ServiceImpl" class="cn.csdn.service.ServiceImpl" scope="singleton">

测试:

  @Test public void test03(){     ApplicationContext context = newClassPathXmlApplicationContext("applicationContext.xml");     User user = (User) context.getBean("user");     User user2 = (User) context.getBean("user");     System.out.println(user==user2); }

Prototype

当一个bean的作用域为Prototype,表示一个bean定义对应多个对象实例。Prototype作用域的bean会导致在每次对该bean请求(将其注入到另一个bean中,或者以程序的方式调用容器的getBean()方法)时都会创建一个新的bean实例。Prototype是原型类型,它在我们创建容器的时候并没有实例化,而是当我们获取bean的时候才会去创建一个对象,而且我们每次获取到的对象都不是同一个对象。根据经验,对有状态的bean应该使用prototype作用域,而对无状态的bean则应该使用singleton作用域。在XML中将bean定义成prototype,可以这样配置:

  <bean id="account" class="com.foo.DefaultAccount" scope="prototype"/>    或者 <bean id="account" class="com.foo.DefaultAccount" singleton="false"/>

Request

当一个bean的作用域为Request,表示在一次HTTP请求中,一个bean定义对应一个实例;即每个HTTP请求都会有各自的bean实例,它们依据某个bean定义创建而成。该作用域仅在基于web的Spring ApplicationContext情形下有效。考虑下面bean定义:

  <bean id="loginAction" class="cn".csdn.LoginAction" scope="request"/>

针对每次HTTP请求,Spring容器会根据loginAction bean的定义创建一个全新的LoginAction bean实例,且该loginAction bean实例仅在当前HTTP request内有效,因此可以根据需要放心的更改所建实例的内部状态,而其他请求中根据loginAction bean定义创建的实例,将不会看到这些特定于某个请求的状态变化。当处理请求结束,request作用域的bean实例将被销毁。

Session

当一个bean的作用域为Session,表示在一个HTTP Session中,一个bean定义对应一个实例。该作用域仅在基于web的Spring ApplicationContext情形下有效。考虑下面bean定义:

  <bean id="userPreferences" class="com.foo.UserPreferences" scope="session"/>

针对某个HTTP Session,Spring容器会根据userPreferences bean定义创建一个全新的userPreferences bean实例,且该userPreferences bean仅在当前HTTP Session内有效。与request作用域一样,可以根据需要放心的更改所创建实例的内部状态,而别的HTTP Session中根据userPreferences创建的实例,将不会看到这些特定于某个HTTP Session的状态变化。当HTTP Session最终被废弃的时候,在该HTTP Session作用域内的bean也会被废弃掉。

以上是关于Hadoop简介的主要内容,如果未能解决你的问题,请参考以下文章

Android 逆向Linux 文件权限 ( Linux 权限简介 | 系统权限 | 用户权限 | 匿名用户权限 | 读 | 写 | 执行 | 更改组 | 更改用户 | 粘滞 )(代码片段

Hadoop Mapper参数含义

SpringCloud系列十一:SpringCloudStream(SpringCloudStream 简介创建消息生产者创建消息消费者自定义消息通道分组与持久化设置 RoutingKey)(代码片段

C#-WebForm-★内置对象简介★Request-获取请求对象Response相应请求对象Session全局变量(私有)Cookie全局变量(私有)Application全局公共变量Vi(代码片段

手把手教你入门Hadoop(附代码&资源)

hadoop2.5.2学习13-MR之新浪微博-DF的实现