Python 异步，协程，学起来好头疼，Python爬虫程序能调用GPU去爬东西吗？

Posted 2021-12-30 梦想橡皮擦

78 技术人社群日报时间

文章目录

• • Python 爬虫程序能调用 GPU 去爬东西吗？
  • Python 异步，协程……，学起来好头疼
  • 有没有牛子大的说下 `matplotlib` 里 `plot` 和 `subplots` 的区别
  • 有没有讲 pandas 的 groupby & 学 pandas 真的能找到工作吗
  • 我现在学到字体反爬，下面要学 js 逆向了，还来的及吗？
  • python 基础知识，函数里面的 return
  • 请问可以多线程和异步协程一起使用吗？
  • 群外包需求

Python 爬虫程序能调用 GPU 去爬东西吗？

用不到，可能很多朋友都认为 GPU 可以挖矿，算力高，可以用 GPU 提高爬虫的速度。
但是爬虫的性能瓶颈在 IO，并不在计算，所以不需要 GPU 的，
想爬的更快，用协程+分布式就足够了。

Python 异步，协程……，学起来好头疼

然后有个师兄，发到社群一个某乎答案

接下来群里就烧水问题，讨论了一个晚上，对怎么烧水进行了深入的探究。

在初学 Python 爬虫阶段，会碰到很多概念，并且他们相似但含义完全不同。例如 多线程，多进程，异步，协程，并发，分布式……，如果想要彻底搞懂他们，还是非常有难度的，只有一条路可以帮你彻底理解，用它们做应用，实际的使用它们。

《Python 爬虫 100 例》和 《Python 爬虫 120 例》都有相关案例的涉及，可以反复学习。

有没有牛子大的说下 matplotlib 里 plot 和 subplots 的区别

plt.plot() 是画折线图；
plt.subplot() 生成一个子图。

一个是开始画了，一个是先拿出来一张纸，打上线，分隔区域。

有没有讲 pandas 的 groupby & 学 pandas 真的能找到工作吗

第一个问题，pandas 中的 groupby 相关用法，可以看 《周一不睡觉，也要把 pandas groupy 肝完，你该这么学，No.8》

第二个问题问的好，学 pandas 确实不好找工作，而且也没听说过就会 pandas 就能出去工作的人，毕竟它只是 Python 语言下的一个第三方库。

我现在学到字体反爬，下面要学 js 逆向了，还来的及吗？

任何时候都来得及，没有那么复杂的知识，当下开始就好啦。

python 基础知识，函数里面的 return

Python 初学阶段的一点点小基础知识，社群也是有人回答的呀。

请问可以多线程和异步协程一起使用吗？

我直接好家伙，你这是打算不给目标站点留下活路呀，题干中的方案肯定可以用，但是一般可没人这么干，毕竟不可控因素有点多。

群外包需求

访问 APP 网站（不是一个），怎样做到不被对方日志记录，需求简单有效方案，付 3~5 千费用。

不被记录？其实这个需求不明确。
如果对方站点是需要登录之后，才可以获取数据，100% 会被记录住；
如果对方站点有访问日志，爬虫就是在模拟客户端请求，也是会被记录的；
当然还有另一种解释，就是采集站点但是隐藏自己身份，例如请求客户端数据，隐藏真实 IP，这些手段还是可以操作一下的。