day1 - 请求基本用法

Posted 2023-04-03 亲爱的阿瞎

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了day1 - 请求基本用法相关的知识，希望对你有一定的参考价值。

爬虫

day1 - 请求基本用法

一、请求基本用法

安装第三方库requests

导入第三方库：import requests

1.请求网络数据: requests.get(请求地址)

response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')

2.设置解码方式（乱码的是需要设置 - 一定要在获取请求结果之前设置）

response.encoding = 'utf-8'
# 编码方式和解码方式必须相同

3. 获取请求结果

1）获取请求结果对应的文本数据 - 爬网页

print(response.text)

2）获取二进制格式的请求结果 - 下载图片、视频、音频

print(response.content)

3）获取请求结果json转换的结果 - json接口

print(response.json())

二、添加请求标头

1.发送请求

添加header: a. 浏览器伪装(user-agent)、b.免密登录(cookie)、 c. 设置代理(proxies)

import requests
headers = 
    'cookie': 'bid=58Gyjz_NAcA; ll="118318"; douban-fav-remind=1; viewed="36164018_36221918"; ap_v=0,6.0',
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/108.0.0.0 Safari/537.36'

# 可以自己在网页中查---检查---网络--->>
response = requests.get('https://movie.douban.com/top250', headers=headers)

2. 获取结果

result = response.text
print(result)

三、下载图片

1.获取网络图片数据

import requests

response = requests.get('https://img0.baidu.com/it/u=793843167,4251357724&fm=253&fmt=auto&app=138&f=JPEG?w=691&h=500')
result = response.content
print(type(result))     # <class 'bytes'>

2.保存图片数据到本地文件

with open('files/a.jpg', 'wb') as f:
    f.write(result)

作业

爬取英雄联盟中所有英雄的皮肤图片并对每个皮肤图片用各自的皮肤名称命名

import requests

# 获取图片id
response = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js')
hero_list = []
# 用列表获取全部英雄id
for x in response.json().get('hero'):
    hero_list.append(x['heroId'])

for i in hero_list:
    # 获取id为i的英雄
    id = eval(i)
    # print(id)
    # 第i个英雄的详情页信息
    response = requests.get(f'https://game.gtimg.cn/images/lol/act/img/js/hero/id.js')
    try:
        # 获取第i个英雄的全部皮肤和皮肤名称
        for x in response.json()['skins']:
            result = requests.get(x['mainImg'])
            hero_skin = result.content
            skin_name = x['name']
            with open(f'files/skin_name.jpg', 'wb') as f:
                f.write(hero_skin)
    except:
        continue

结果：

老师代码：

day70 csrf简单用法

一、什么是跨站请求伪造 CSRF

def transfer(request):
    if request.method ==\'POST\':
        from_ =request.POST.get(\'from\')
        to_ =request.POST.get(\'to\')
        money =request.POST.get(\'money\')

        print(\'{} 给{} 转了{} 钱\'.format(from_,to_,money))
        return HttpResponse(\'转账成功！\')
    return  render(request, \'transfer.html\')

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<h1>正经的网站</h1>
<form action="/transfer/" method="post">
    {% csrf_token %}
    <p>
        转出：
        <input type="text" name="from">
    </p>
    <p>
        转入：
        <input type="text" name="to">
    </p>
    <p>
        金额：
        <input type="text" name="money">
    </p>
    <p>
        <input type="submit" value="提交">
    </p>
</form>


</body>
</html>

Django中内置了一个专门的处理csrf问题的中间件

　　django.middleware.csrf.csrfviewmiddleware

这个中间件做的事情：

1. 在rander返回页面的时候，在页面中塞了一个隐藏的input标签

我们在form 表单里写上 {%csrf -token%}

2. 在提交post数据的时候，它帮你做校验，如果校验不通过，就拒绝这次请求

二、ContentType

https://blog.csdn.net/ayhan_huang/article/details/78626957

Django contenttypes 应用

contenttypes 是Django内置的一个应用，可以追踪项目中所有app和model的对应关系，并记录在ContentType表中。

每当我们创建了新的model并执行数据库迁移后，ContentType表中就会自动新增一条记录。比如我在应用app01的models.py中创建表class Electrics(models.Model): pass。从数据库查看ContentType表，

那么这个表有什么作用呢？这里提供一个场景，网上商城购物时，会有各种各样的优惠券，比如通用优惠券，满减券，或者是仅限特定品类的优惠券。在数据库中，可以通过外键将优惠券和不同品类的商品表关联起来：

from django.db import models


class Electrics(models.Model):
    """
    id  name
    1   日立冰箱
    2   三星电视
    3   小天鹅洗衣机
    """
    name = models.CharField(max_length=32)


class Foods(models.Model):
    """
    id   name
    1    面包
    2    烤鸭
    """
    name = models.CharField(max_length=32)


class Clothes(models.Model):
    name = models.CharField(max_length=32)


class Coupon(models.Model):
    """
    id     name            Electrics        Foods           Clothes        more...
    1     通用优惠券       null              null            null           
    2     冰箱满减券         2               null            null
    3     面包狂欢节        null              1              null

    """
    name = models.CharField(max_length=32)
    electric_obj = models.ForeignKey(to=\'Electrics\', null=True)
    food_obj = models.ForeignKey(to=\'Foods\', null=True)
    cloth_obj = models.ForeignKey(to=\'Clothes\', null=True)

通过使用contenttypes 应用中提供的特殊字段GenericForeignKey，我们可以很好的解决这个问题。只需要以下三步：

在model中定义ForeignKey字段，并关联到ContentType表。通常这个字段命名为“content_type”
在model中定义PositiveIntegerField字段，用来存储关联表中的主键。通常这个字段命名为“object_id”
在model中定义GenericForeignKey字段，传入上述两个字段的名字。

为了更方便查询商品的优惠券，我们还可以在商品类中通过GenericRelation字段定义反向关系。

示例代码：

from django.db import models
from django.contrib.contenttypes.models import ContentType
from django.contrib.contenttypes.fields import GenericForeignKey  


class Electrics(models.Model):
    name = models.CharField(max_length=32)
    coupons = GenericRelation(to=\'Coupon\')  # 用于反向查询，不会生成表字段

    def __str__(self):
        return self.name


class Foods(models.Model):
    name = models.CharField(max_length=32)
    coupons = GenericRelation(to=\'Coupon\')

    def __str__(self):
        return self.name


class Clothes(models.Model):
    name = models.CharField(max_length=32)
    coupons = GenericRelation(to=\'Coupon\')

    def __str__(self):
        return self.name

class Coupon(models.Model):
    name = models.CharField(max_length=32)
　　
　　
　　#以下三部骤
    content_type = models.ForeignKey(to=ContentType) # step 1
    object_id = models.PositiveIntegerField() # step 2
    content_object = GenericForeignKey(\'content_type\', \'object_id\') # step 3

    def __str__(self):
        return self.name