scrapy相关整理

Posted 2021-03-04 xyc99

• 创建项目

cd进入项目的文件夹 scrapy startproject Demo---deom是居然的项目名称

• 远程服务器后台定时执行

  先进入目录
  cd /data/scrapyPJ/Eggprice/Eggprice
  nohup python3 main.py &

   

  import time
  import schedule
  import os
  ‘‘‘
  定时执行爬虫任务
  ‘‘‘
  
  def job():
      # cmdline.execute(‘scrapy crawl Eggprice‘.split())
  
      os.system("scrapy crawl Eggprice")
  print(‘开始执行‘)
  schedule.every().day.at("11:21").do(job)
  
  # schedule.every(2).minutes.do(job)
  
  while True:
      print(time.ctime())
      schedule.run_pending()
      time.sleep(2)