webmagic之爬取数据存储为TXT

Posted 2021-01-13 发酸的丶米饭

1.获取标题建立文件TXT

• 创建以标题命名的TXT

public static void create(String title) throws IOException {
    Configuration config = new Configuration();
    config.set("fs.default.name", "hdfs://192.168.146.110:9000");
    DistributedFileSystem fs = (DistributedFileSystem) DistributedFileSystem.get(config);
    String pathString = "/report/Zbgg/"+title+".txt";
    FSDataOutputStream output = fs.create(new Path(pathString));
    output.close();
}

• 写入网址和内容

public static void write(String txt , String str)  {
        Configuration config = new Configuration();
        config.set("fs.default.name", "hdfs://192.168.146.110:9000");
        config.set("dfs.support.append", "true");
        config.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
        config.set("dfs.client.block.write.replace-datanode-on-failure.enable", "true");

        try {
            DistributedFileSystem fs = (DistributedFileSystem) DistributedFileSystem.get(config);
            //文件必须存在
            String pathString = "/report/Zbgg/"+txt+".txt";
            FSDataOutputStream outpustream = fs.append(new Path(pathString));

            //System.getProperty("line.separator")换行

            outpustream.writeBytes(str);
            outpustream.writeBytes(System.getProperty("line.separator"));
            outpustream.close();
            fs.close();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

 

---

写入TXT的内容为乱码

HttpURLConnection urlConn = (HttpURLConnection) url.openConnection();

urlConn.connect();

DataOutputStream out = new DataOutputStream(urlConn.getOutputStream());

String content = "传递中文的问题";

out.writeBytes(content);

out.flush();

out.close();

urlConn.disconnect();

依照上面的方式传递中文，服务器得到的一定是一堆乱码，原因：out.writeBytes(content);该语句在转中文时候，已经变成乱码

public final void writeBytes(String s) throws IOException {

int len = s.length();

for (int i = 0 ; i < len ; i++) {

out.write((byte)s.charAt(i));

}

incCount(len);

} 

因为java里的char类型是16位的，一个char可以存储一个中文字符，在将其转换为 byte后高8位会丢失，这样就无法将中文字符完整的输出到输出流中。所以在可能有中文字符输出的地方最好先将其转换为字节数组，然后再通过write写入流，目前尝试过这种方法：把上面链接代码中的out.writeBytes(content);替换为out.write(content.getBytes());先把数据转成BYTE在写入流，执行成功，服务器接收正确的中文内容