爬虫日记(65):Scrapy的设置参数-Telnet

Posted caimouse

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫日记(65):Scrapy的设置参数-Telnet相关的知识,希望对你有一定的参考价值。

Scrapy包含了一个内置的Telnet控制台,可以为你提供正在运行中的爬虫进程的Python shell。

class scrapy.extensions.telnet.TelnetConsole

内置定义了这个类作为扩展。默认的情况下,TELNETCONSOLE_ENABLED是打开的,如果你想禁止这个服务打开,可以把它设置为False。

使用TELNETCONSOLE_PORT来设置服务的端口,由于不同的电脑上端口不一样,如果采用默认的端口有冲突时,就可以修改这个参数,默认:

TELNETCONSOLE  = [6023, 6073]

如果设置为None或0,那么就会自动地分配一个端口。

 

由于这个Telnet服务不是安全的服务连接,所以当把scrapy部署在外面的服务器上时,需要注意禁止外部的连接。如果想远程访问这个服务,需要通过VPN服务或者远程登录的方式来进行。

 

在某些情况下,需要查看正在运行的Scrapy的内部状态。下面让我们看看如何使用Telnet控制台完成该操作。

2021-05

以上是关于爬虫日记(65):Scrapy的设置参数-Telnet的主要内容,如果未能解决你的问题,请参考以下文章

爬虫日记(64):Scrapy的设置参数-统计分析

爬虫日记(66):Scrapy的设置参数-抓取风格

爬虫日记(84):Scrapy的Crawler类

爬虫日记(86):Scrapy的Scheduler类

爬虫日记(76):Scrapy的命令行源码分析

爬虫日记(74):Scrapy项目配置参数源码分析(二)