hadoop map中获取文件/切片名称

Posted 2020-10-04 Nucky_yang

//import org.apache.hadoop.mapreduce.InputSplit;
//import org.apache.hadoop.mapreduce.lib.input.FileSplit;
   
 @SuppressWarnings("rawtypes")
    public static String getCityFromFileName(org.apache.hadoop.mapreduce.Mapper.Context context) throws IOException{
        String city="unkown";
        InputSplit inputSplit = context.getInputSplit();
        String fileName=((FileSplit) inputSplit).getPath().getName();
        city=fileName.split("-")[1];
        if(city.equals("dns")||city.equals("3gwap")||city.equals("3gnet")){
            city=fileName.split("-")[2].split("_")[0];
        }
        city=city.split("_")[0];
        return city;
    }

需要注意的是：要通过context.getInputSplit() 获取切片信息，job设置时，一定不要合并小文件。