[debug]记一次竞态更新bug的解决

Posted 2021-02-11 thomaszdxsn

公司的django项目，有一个旧接口，使用POST方法更新用户的一种记录型数据。

这个接口的历史有点长，最早的时候没有那么多需求，只会更新两个布尔字段。后来，加入一个需要高频次记录的字段。这些字段都属于同一个model。

然后，偶然被发现有时更新会失败的情况。

Debug

开始debug，步骤是这样的：

1. 观察nginx请求日志，观察每次POST的参数（我们记录了request_body)，肉眼编译代码，尝试找出漏洞。看不出，失败！
2. 编写单元测试，将日志中的数据，模拟成testcase，对接口反复测试。没有重现，失败！
3. 准备查看mysql日志...
4. 突然有了灵感。重新观察日志，发现一个特点，客户端有时会并发请求两个不同payload，但是更新同一对象的请求。原来是race condition！

解决方法

model.save(update_fields=[‘...‘])

解析

虽然这个接口是POST，但是其实它属于PATCH更新，或者说局部更新。

而之前的代码中，使用的是全量更新。

这就导致了： 在两个同时进行的更新操作中，前面完成的一次更新，会被后一次更新覆盖。 因为后一次中对象的数据都是更新前的，所以第一次更新的效果都会恢复。

Tips

Model.save(force_insert=False, force_update=False, using=DEFAULT_DB, update_fields=None)

• force_insert & force_update

  django的model一般会根据instance是否有主键，决定是INSERT还是UPDATE。

  但是，你可以使用这两个参数来强制选择你要执行的方式.

  force_insert不算很有用，你也可以确认对象是否有pk，有的话就删除它，然后来执行强制INSERT。

  不过，force_update应该算很有用。在django中，大多数时候UPDATE都需要先找到对象，然后再执行更新。这样稍微有点性能的浪费，如果有类似mongo的upsert功能就好了。

  用django实现的upsert:

  def upsert(instance, pk, **kwargs):
      # 注意需要指定pk，除非你的model中的pk是自动生成的(auto_increment不算)
      type(instance)(pk=pk, **kwargs).save(force_update=True)

  不过上面的方式还有点问题，如果你在kwargs中没有指定model的所有字段，那么这些字段会被重设回默认值。

• update_fields

  这个参数，等于force_update的加强版。它代表只更新指定的几个字段，没有指定的字段就让它们保持原样好了，也就是等于REST概念中的PATCH更新。

  def upsert(instance, pk, **kwargs):
      type(instance)(pk=pk, **kwargs).save(update_fields=list(kwargs.keys()))

PATCH更新的好处很多，不止是预防了bug，还能减少payload数据量，增加性能。

为什么不用Queryset.update()

不是不用，只是这个批量更新接口不会调用.save()，也就导致了你在.save()中放的hook也不会被调用。

而且批量更新也不会触发django signals，详情请搜索我翻译的相关文章.