hdfs的使用:

Posted hymmiaomiao

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hdfs的使用:相关的知识,希望对你有一定的参考价值。

1)、----使用hdfs命令,切换hdfs用户
hdfs dfs -du -h /zxvmax/telecom/union/dm/dm_mdn_imsi_terni //查看分区大小
hdfs dfs -cp /zxvmax/telecom/union/dm/dm_mdn_imsi_ternimal/p_provincecode=510000/p_date=2017-03-10/* /zxvmax/telecom/union/dm/dm_mdn_imsi_ternimal/p_provincecode=510000/p_date=2017-03-20/ *//将数据从2017-03-10到2017-03-20
hdfs dfs -rm -r
hdfs dfs -mkdir -p //目录
hdfs dfs -mkdir
hdfs dfs -mv
2)、--put--从本地导入数据到spark表(hdfs文件系统)
在本地处理好文件,比如:处理成csv文件,把tab键,转换成 ,保存文件成.csv
上传文件到:/home/sswk_data_sever/dataHome/data/123
su hdfs -----切换用户
hdfs dfs -mkdir /zxvmax/telecom/cfg/cfg_subway_station ----新建hdfs目录
hdfs dfs -put point.csv /zxvmax/telecom/cfg/cfg_subway_station ------新建当前hdfs文件夹
hdfs dfs -du -h /zxvmax/telecom/cfg/cfg_subway_station/point.csv -----查看hdfs数据是否导入
select * from cfg_subway_station limit 10; //最后再查看数据在spark上是否有
3)、--get--把hdfs上面的数据拿到集群本地目录
方法一:hdfs dfs -getmerge /zxvmax/telecom/lte/dm/dm_plan_point_stat_d/p_provincecode=510000/p_date=2017-10-19/ dm_plan_point_stat_d.csv
方法二:hdfs dfs -get /zxvmax/telecom/lte/dm/dm_plan_grid_agps_d/p_provincecode=510000/p_date=2020-01-01/
cat * >a.csv
4)、----拷贝数据:从环境234到154的hdfs的数据拷贝
hdfs dfs -cp /zxvmax/telecom/cfg/cfg_sector_c/p_provincecode=510000/p_date=2017-11-29/* hdfs://133.37.31.154:9000/zxvmax/telecom/cfg/cfg_sector_c/p_provincecode=510000/p_date=2017-11-29/ */

5)、----查看hdfs的服务的状态(主备节点的状态是随机动态切换的)
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

以上是关于hdfs的使用:的主要内容,如果未能解决你的问题,请参考以下文章

2.7 HDFS的使用

2.如何使用python连接hdfs

HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo

2021年大数据Hadoop:HDFS的高级使用命令

HDFS Java API的使用举例

分布式文件系统 HDFS