如何同时运行多个webdriver python程序?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何同时运行多个webdriver python程序?相关的知识,希望对你有一定的参考价值。

我有4个Python脚本(3个Web驱动程序和一个主脚本)。我想在运行mainscript.py的同时打开这3个Web驱动程序。我使用了多处理,但你可以使用你想要的任何东西。

现在它打开bot_1.py然后是bot_2.py然后是bot_3.py。

波特_1.朋友

from selenium import webdriver

driver = webdriver.Chrome(executable_path="C:\\Users\Andrei\Downloads\chromedriver_win32\chromedriver.exe")
links=['https://ro.wikipedia.org/wiki/Emil_Constantinescu','https://ro.wikipedia.org/wiki/Traian_B%C4%83sescu','https://ro.wikipedia.org/wiki/Napoleon_I']
for i in range(len(links)):
    driver.get(links[i])

波特_2.朋友

from selenium import webdriver

driver = webdriver.Chrome(executable_path="C:\\Users\Andrei\Downloads\chromedriver_win32\chromedriver.exe")

links=['https://ro.wikipedia.org/wiki/Abraham_Lincoln','https://ro.wikipedia.org/wiki/Winston_Churchill','https://ro.wikipedia.org/wiki/Mihail_Gorbaciov']
for i in range(len(links)):
    driver.get(links[i])

波特_3.朋友

from selenium import webdriver

driver = webdriver.Chrome(executable_path="C:\\Users\Andrei\Downloads\chromedriver_win32\chromedriver.exe")

links = ['https://ro.wikipedia.org/wiki/Gabriela_Firea', 'https://ro.wikipedia.org/wiki/Ion_Iliescu',
         'https://ro.wikipedia.org/wiki/Mihai_Eminescu']
for i in range(len(links)):
    driver.get(links[i])

main script.朋友

import bot_1, bot_2, bot_3
import multiprocessing

for bot in ('bot_1', 'bot_2','bot_3'):
    p = multiprocessing.Process(target=lambda: __import__(bot))
    p.start()
答案

使用xdist扩展名的PyTest是一个选项:https://docs.pytest.org/en/3.0.0/xdist.html

pip install pytest
pip install pytest-xdist

然后运行pytest -n NUM,其中NUM是要运行的进程数(或者在您的情况下 - webdriver实例)。我现在不能完全记住,但我认为上面的命令运行当前文件夹中的所有.py文件。

您还可以使用Behave +行为并行。

https://github.com/hugeinc/behave-parallel

另一答案

这是并行运行的。但它可能并不明显,因为对我来说这是两个重叠的窗口。所以,我添加了time.sleep

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from  multiprocessing import Process
#import time

def run(urls):
#    print ("run", urls)
    options = Options()
    options.add_argument('--no-sandbox')
    options.add_argument('--no-default-browser-check')
    options.add_argument('--disable-gpu')
    options.add_argument('--disable-extensions')
    options.add_argument('--disable-default-apps')
    options.binary_location = '/opt/chrome-linux.63.0.3239.b.508580/chrome'
    driver = webdriver.Chrome(
                executable_path='/opt/chromedriver/chromedriver',
                options=options,
                )

    for url in urls:
#        time.sleep(5)
        driver.get(url)
#        print driver.title
    driver.quit()

allurls = [
        ['http://ya.ru', 'http://google.ru'],
        ['https://ro.wikipedia.org/wiki/Emil_Constantinescu',
            'https://ro.wikipedia.org/wiki/Traian_B%C4%83sescu'],
        ]

processes = []
for urls in allurls:
    p = Process(target=run, args=(urls,))
    processes.append(p)
    p.start()

for p in processes:
    p.join()

以上是关于如何同时运行多个webdriver python程序?的主要内容,如果未能解决你的问题,请参考以下文章

多处理在新控制台 python 中运行进程以获取每个进程的输入

与Python Scrapy中的Selenium WebDriver并发

如何使用 QProcess 同时运行多个 python 脚本

python脚本如何同时运行多个

运行多个 python 脚本,一个要求输入,不允许输入脚本运行。另外,我如何同时运行脚本(Python)

如何在python3中同时运行多个任务? [关闭]