2020年寒假假期总结0202

Posted heiyang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了2020年寒假假期总结0202相关的知识,希望对你有一定的参考价值。

  Java连接hive简单操作

  首先在使用java连接前我们需要在虚拟机上开启hiveserver2(hiveserver2需要安装),hiveserve2的作用是实现hive可以进行并发操作,否则没有办法实现java对hive的操作。

  使用命令:hiveserver2即可打开hiveserver2服务,需要注意的是,开启服务后这个命令窗口就会被占用,即出现一下情况:

技术图片

 

 

   此时已经代表服务已经开启,我们就不需要动这个终端窗口了,可以再开一个,因为下面这个窗口会显示你的hive操作是否成功,成功此时ok,错误会显示错误原因。即下图

技术图片

 

 

   注意点:如果在启动hive出现:cannot access /usr/local/spark/lib/spark-assembly-*.jar: No such file or directory,是因为这个jar包在新版本的spark中的位置已经改变!我们要做的只是将hive中的启动文件中的sparkAssemblyPath这一行更改为你安装的spark的jar包路径即可。我们找到hive文件夹下的bin目录,打开hive文件,找到这句话

# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`

CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi

  然后改成下面内容即可:

# add Spark assembly jar to the classpath
if [[ -n "$SPARK_HOME" ]]
then
  sparkAssemblyPath=`ls ${SPARK_HOME}/jars/*.jar`
  CLASSPATH="${CLASSPATH}:${sparkAssemblyPath}"
fi

  下面就可以进行编程操作了。

  1.添加依赖:

    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-jdbc</artifactId>
      <version>1.1.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>3.1.2</version>
    </dependency>

  注意点:不少次添加依赖之后,project就会报错Failed to read artifact descriptor**jar之类的错误,基本上就是加入依赖只有jar没有下载成功或者不完全,也试过不少中方法,总结一下:

  1.需要有一个良好的网络环境,有的时候即使是显示下完了也是有这样的显示,那就是没有下载好,这个良好的网络环境其实很难说,因为我用移动的网络很可能一下午都没有下好,电信可能一会就结束了,很费解。

  2.使用国内的maven仓库,建议使用阿里云或者是华为云,阿里云在我看来下载速度可能更好一点。

  <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>        
  </mirror>

  3.点击页面右边的mavenProject重新下载资源:

技术图片

 

   4.在文件中右击pom.xml选择maven,点击以下选项尝试重新下载。

技术图片技术图片

 

   hive操作基本的api:

技术图片
public class HiveApi {
    // 驱动,固定的
    private static String driverName = "org.apache.hive.jdbc.HiveDriver";
    // 默认就是10000端口,ip地址使用hive服务器的
    private static String url = "jdbc:hive2://192.168.133.130:10000/default";
    // hive连接的用户名和密码,默认就算是下面这两个
    private static String user = "账号";
    private static String password = "密码";

    // 公共使用的变量
    private static Connection conn = null;
    private static Statement stmt = null;
    private static ResultSet rs = null;


    // 加载驱动、创建连接
    public static void init() throws Exception {
        Class.forName(driverName);
        conn = DriverManager.getConnection(url,user,password);
        stmt = conn.createStatement();
    }

    // 释放资源
    public static void destory() throws Exception {
        if ( rs != null) {
            rs.close();
        }
        if (stmt != null) {
            stmt.close();
        }
        if (conn != null) {
            conn.close();
        }
    }

    // 测试代码(每次都需要现在加载,执行万后释放)
    public static void main(String[] args) throws Exception {
        init();
        // 创建表功能通过
//                createTable();
        // 显示表名称
//                showTables();
        // 显示表描述
//                descTable();
        // 本地数据导入
//                loadData();
        // 查询数据
                selectData();
        // 运行mapreduce作业
        //countData();
        // 执行删除
//                dropTable();
        destory();
    }

    // 创建表
    public static void createTable() throws Exception {
        String sql = "create table capital_info (id int, question string) row format delimited fields terminated by ‘,‘";
        stmt.execute(sql);
    }

    // 查询所有表
    public static void showTables() throws Exception {
        String sql = "show tables";
        rs = stmt.executeQuery(sql);
        while (rs.next()) {
            System.out.println(rs.getString(1));
        }
    }

    // 查看表结构
    public static void descTable() throws Exception {
        String sql = "desc capital_info";
        rs = stmt.executeQuery(sql);
        while (rs.next()) {
            System.out.println(rs.getString(1) + "	" + rs.getString(2));
        }
    }

    // 加载数据
    public static void loadData() throws Exception {
        String filePath = "/usr/local/data/capital_info.txt";
        String sql = "load data local inpath ‘" + filePath + "‘ overwrite into table capital_info";
        stmt.execute(sql);
    }

    // 查询数据
    public static void selectData() throws Exception {
        String sql = "select * from capital_info limit 20";
        rs = stmt.executeQuery(sql);
        while (rs.next()) {
            System.out.println(rs.getString("id") + "		" + rs.getString("question"));
        }
    }

    // 统计查询(会运行mapreduce作业)
    public static void countData() throws Exception {
        String sql = "select count(1) from capital_info";
        rs = stmt.executeQuery(sql);
        while (rs.next()) {
            System.out.println(rs.getInt(1) );
        }
    }

    // 删除数据库表
    public static void dropTable() throws Exception {
        String sql = "drop table if exists capital_info";
        stmt.execute(sql);
    }

}
View Code

  注意点:hive的账号和密码可以在hive目录下conf目录的hive-site.xml中可以查看到:

技术图片

 

以上是关于2020年寒假假期总结0202的主要内容,如果未能解决你的问题,请参考以下文章

2020年寒假假期总结0113

2020年寒假假期总结0203

2020年寒假假期总结0201

2016年寒假学习收获总结

寒假中期学习总结

2020年寒假学习进度