简单的爬虫实现

Posted 2020-10-01 李飞21

//1、创建一个测试类，取名为TestHttpClient
public class TestHttpClient{
  //2、创建获取数据的方法get
    
  public  void get() {
      //3、创建http对象
     CloseableHttpClient  httpClient = HttpClients.createDefault（）；
      //4、模拟get请求（这里地址取的是新浪上的一篇博文）
      String url =   "http://blog.sina.com.cn/s/blog_149f87a9e0102x3i8.html";
      HttpGet get = new HttpGet（url）；  
      //5、创建一个返回对象
      CloseableHttpResponse  response =   HttpClient.execute（get）；
      //6、通过工具类转换成一个字符串，字符串就是网页的内容
      String  html = EntityUtils.toString（response.getEntity（）

，“utf-8”

）； //7、将获取的内容打印出来 system.out.print（html）； } }

　　Entity代表网页的实体内容