怎么用pyquery取到第二个p节点。

Posted 2023-05-06

str1 = """
<p class="txt" node-type="feed_list_content" nick-name="Vista看天下" style="display: none;">lalala</p>
<p class="txt" node-type="feed_list_content_full" nick-name="Vista看天下" style="">bbbbb</p>
"""

文件命名，比如我的文件夹里面有两个文件，一个是test.py，一个是html.py，如果我执行test.py，因为pyquery的使用要引入lxml模块，而lxml模块里面有html这个模块，再执行test.py的时候，首先引入的时候同目录下的html.py，而不是lxml里面的html，所以就报错了追问

我的意思是怎么选到问题描述里的第二个p结点。

参考技术A #导包
from pyquery import PyQuery

content = PyQuery("str1")
two_class = content(".class:nth-child(2)") #选取的是第二个class对象

Chrome 节点：无法执行请求：java.net.ConnectException：导航到第二个 URL 后连接被拒绝

【中文标题】Chrome 节点：无法执行请求：java.net.ConnectException：导航到第二个 URL 后连接被拒绝

【英文标题】：Chrome node: Unable to execute request: java.net.ConnectException: Connection refused after navigating to second URL

【发布时间】：2021-11-07 18:21:28

【问题描述】：

目前在 Ubuntu EC2 上使用 Firefox 和 Chrome 节点运行 Selenium Grid。使用 TestNG 运行测试，通过 Firefox 节点运行的测试可以完美运行，但是使用 Chrome 节点时，我在导航到第二个 URL 后总是被拒绝连接。我感到困惑的是，当通过我的 Mac 在本地运行网格时，一切正常。

以下是 Chrome 测试的方式：

获取登录页面 URL 登录 尝试获取新页面 URL 连接被拒绝

以前有没有遇到过这个问题？对于类似的报告问题，我尝试了很多解决方案，但无济于事。我对 Selenium Grid 很陌生，所以我发现很难弄清楚发生了什么。

我的撰写文件：

version: "3"
services:
chrome:
image: selenium/node-chrome:4.0.0-rc-2-prerelease-20210908
shm_size: 2gb
volumes:

/dev/shm:/dev/shm
environment:
SE_EVENT_BUS_HOST=selenium-hub
SE_EVENT_BUS_PUBLISH_PORT=4442
SE_EVENT_BUS_SUBSCRIBE_PORT=4443
SE_NODE_SESSION_TIMEOUT=10
SE_SESSION_REQUEST_TIMEOUT=60
JAVA_OPTS=-Dwebdriver.chrome.whitelistedIps=
START_XVFB=false
ports:
"6900:5900"
firefox:
image: selenium/node-firefox:4.0.0-rc-2-prerelease-20210908
shm_size: 2gb
volumes:

/dev/shm:/dev/shm
environment:
SE_EVENT_BUS_HOST=selenium-hub
SE_EVENT_BUS_PUBLISH_PORT=4442
SE_EVENT_BUS_SUBSCRIBE_PORT=4443
SE_NODE_SESSION_TIMEOUT=10
SE_SESSION_REQUEST_TIMEOUT=60
START_XVFB=false
ports:
"6901:5900"
edge:
image: selenium/node-edge:4.0.0-rc-2-prerelease-20210908
shm_size: 2gb
volumes:

/dev/shm:/dev/shm
environment:
SE_EVENT_BUS_HOST=selenium-hub
SE_EVENT_BUS_PUBLISH_PORT=4442
SE_EVENT_BUS_SUBSCRIBE_PORT=4443
SE_NODE_SESSION_TIMEOUT=10
SE_SESSION_REQUEST_TIMEOUT=60
START_XVFB=false
ports:
"6902:5900"
selenium-hub:
image: selenium/hub:4.0.0-rc-2-prerelease-20210908
container_name: selenium-hub
ports:

"4442:4442"
"4443:4443"
"4444:4444"
depends_on:
chrome
edge
firefox

我的 ChromeDriver 设置：

WebDriverManager.chromedriver().setup();

// chrome browser prefrences
HashMap<String, Object> prefs = new HashMap<>();
prefs.put("profile.default_content_settings.popups", 0);
prefs.put("download.prompt_for_download", false);
prefs.put("safebrowsing.enabled", false);
prefs.put("download.extensions_to_open", "application/xml");
prefs.put("download.extensions_to_open", "application/csv");
prefs.put("download.extensions_to_open", "application/pdf");
prefs.put("download.extensions_to_open", "application/zip");

// set chrome options
ChromeOptions chromeOptions = new ChromeOptions();
chromeOptions.setExperimentalOption("prefs", prefs);
chromeOptions.addArguments("--start-fullscreen");
chromeOptions.addArguments("--safebrowsing-disable-download-protection");
chromeOptions.addArguments("--no-sandbox");
chromeOptions.addArguments("--disable-gpu");
chromeOptions.addArguments ("--disable-setuid-sandbox");
chromeOptions.addArguments ("--no-first-run");
chromeOptions.addArguments ("--safebrowsing-disable-auto-update ");
chromeOptions.addArguments ("--disable-background-networking");
chromeOptions.addArguments("--headless", "--enable-logging", "--window-size=1920x1080");

// start remote session
driver = new RemoteWebDriver(new URL("http://localhost:4444/"),chromeOptions);

selenium/node-chrome 日志：

启动 ChromeDriver 93.0.4577.15 (660fc11082ba57405eca2e8c49c3e1af756fbfae-refs/branch-heads/4577@#203) 在端口 22087 上允许所有远程连接。使用许可名单 反而！请参见 https://chromedriver.chromium.org/security-considerations 为 有关保持 ChromeDriver 安全的建议。 ChromeDriver 已启动 成功地。 16:48:54.257 信息 [ProtocolHandshake.createSession] - 检测到的方言：W3C 启动 ChromeDriver 93.0.4577.15 (660fc11082ba57405eca2e8c49c3e1af756fbfae-refs/branch-heads/4577@#203) 在端口 6601 上允许所有远程连接。使用许可名单 反而！请参见 https://chromedriver.chromium.org/security-considerations 为 有关保持 ChromeDriver 安全的建议。 ChromeDriver 已启动 成功地。 16:49:13.576 信息 [ProtocolHandshake.createSession] - 检测到的方言：W3C 16:49:32.070 WARN [SpanWrappedHttpHandler.execute] - 无法执行请求： java.net.ConnectException：连接被拒绝： localhost/127.0.0.1:6601 java.io.UncheckedIOException： java.net.ConnectException：连接被拒绝： 本地主机/127.0.0.1:6601 在 org.openqa.selenium.remote.http.netty.NettyHttpHandler.makeCall(NettyHttpHandler.java:80) 在 org.openqa.selenium.remote.http.AddSeleniumUserAgent.lambda$apply$0(AddSeleniumUserAgent.java:42) 在 org.openqa.selenium.remote.http.Filter.lambda$andFinally$1(Filter.java:56) 在 org.openqa.selenium.remote.http.netty.NettyHttpHandler.execute(NettyHttpHandler.java:51) 在 org.openqa.selenium.remote.http.AddSeleniumUserAgent.lambda$apply$0(AddSeleniumUserAgent.java:42) 在 org.openqa.selenium.remote.http.Filter.lambda$andFinally$1(Filter.java:56) 在 org.openqa.selenium.remote.http.netty.NettyClient.execute(NettyClient.java:119) 在 org.openqa.selenium.remote.tracing.TracedHttpClient.execute(TracedHttpClient.java:55) 在 org.openqa.selenium.grid.web.ReverseProxyHandler.execute(ReverseProxyHandler.java:100) 在 org.openqa.selenium.grid.node.ProtocolConvertingSession.execute(ProtocolConvertingSession.java:75) 在 org.openqa.selenium.grid.node.local.SessionSlot.execute(SessionSlot.java:123) 在 org.openqa.selenium.grid.node.local.LocalNode.executeWebDriverCommand(LocalNode.java:388) 在 org.openqa.selenium.grid.node.ForwardWebDriverCommand.execute(ForwardWebDriverCommand.java:35) 在 org.openqa.selenium.remote.http.Route$PredicatedRoute.handle(Route.java:373) 在 org.openqa.selenium.remote.http.Route.execute(Route.java:68) 在 org.openqa.selenium.remote.tracing.SpanWrappedHttpHandler.execute(SpanWrappedHttpHandler.java:86) 在 org.openqa.selenium.remote.http.Filter$1.execute(Filter.java:64) 在 org.openqa.selenium.remote.http.Route$CombinedRoute.handle(Route.java:336) 在 org.openqa.selenium.remote.http.Route.execute(Route.java:68) 在 org.openqa.selenium.grid.node.Node.execute(Node.java:240) 在 org.openqa.selenium.remote.http.Route$CombinedRoute.handle(Route.java:336) 在 org.openqa.selenium.remote.http.Route.execute(Route.java:68) 在 org.openqa.selenium.remote.AddWebDriverSpecHeaders.lambda$apply$0(AddWebDriverSpecHeaders.java:35) 在 org.openqa.selenium.remote.ErrorFilter.lambda$apply$0(ErrorFilter.java:44) 在 org.openqa.selenium.remote.http.Filter$1.execute(Filter.java:64) 在 org.openqa.selenium.remote.ErrorFilter.lambda$apply$0(ErrorFilter.java:44) 在 org.openqa.selenium.remote.http.Filter$1.execute(Filter.java:64) 在 org.openqa.selenium.netty.server.SeleniumHandler.lambda$channelRead0$0(SeleniumHandler.java:44) 在 java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:515) 在 java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264) 在 java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128) 在 java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628) 在 java.base/java.lang.Thread.run(Thread.java:829) 引起： java.net.ConnectException：连接被拒绝： 本地主机/127.0.0.1:6601 在 org.asynchttpclient.netty.channel.NettyConnectListener.onFailure(NettyConnectListener.java:179) 在 org.asynchttpclient.netty.channel.NettyChannelConnector$1.onFailure(NettyChannelConnector.java:108) 在 org.asynchttpclient.netty.SimpleChannelFutureListener.operationComplete(SimpleChannelFutureListener.java:28) 在 org.asynchttpclient.netty.SimpleChannelFutureListener.operationComplete(SimpleChannelFutureListener.java:20) 在 io.netty.util.concurrent.DefaultPromise.notifyListener0(DefaultPromise.java:578) 在 io.netty.util.concurrent.DefaultPromise.notifyListeners0(DefaultPromise.java:571) 在 io.netty.util.concurrent.DefaultPromise.notifyListenersNow(DefaultPromise.java:550) 在 io.netty.util.concurrent.DefaultPromise.notifyListeners(DefaultPromise.java:491) 在 io.netty.util.concurrent.DefaultPromise.setValue0(DefaultPromise.java:616) 在 io.netty.util.concurrent.DefaultPromise.setFailure0(DefaultPromise.java:609) 在 io.netty.util.concurrent.DefaultPromise.tryFailure(DefaultPromise.java:117) 在 io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.fulfillConnectPromise(AbstractNioChannel.java:321) 在 io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:337) 在 io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:707) 在 io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:655) 在 io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:581) 在 io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:493) 在 io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:986) 在 io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74) 在 io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30)

【参考方案1】：

修复了这些 chrome 参数：

    chromeOptions.addArguments("--safebrowsing-disable-auto-update ");
    chromeOptions.addArguments("--disable-background-networking");
    chromeOptions.addArguments("--no-proxy-server");
    chromeOptions.addArguments("--no-sandbox");
    chromeOptions.addArguments("--disable-extensions");
    chromeOptions.addArguments("--dns-prefetch-disable");
    chromeOptions.addArguments("--disable-gpu");
    chromeOptions.addArguments("--force-device-scale-factor=1");
    chromeOptions.setPageLoadStrategy(PageLoadStrategy.EAGER);