使用 selenium-webdriver/firefox (NodeJS) 设置 userAgent

Posted

技术标签:

【中文标题】使用 selenium-webdriver/firefox (NodeJS) 设置 userAgent【英文标题】:Set userAgent with selenium-webdriver/firefox (NodeJS) 【发布时间】:2017-03-12 20:21:25 【问题描述】:

我有一个使用“selenium-webdriver”运行浏览器的代码。它在 Ubuntu 上运行。

我必须重写 userAgent,这样浏览器的请求看起来像是来自 Windows(即 User-Agent 请求标头的值)。

这是我的 NodeJS 代码:

var firefox = require('selenium-webdriver/firefox');

var profile = new firefox.Profile();
profile.setPreference('general.useragent.override', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/53.0.2785.143 Safari/537.36');

var options = new firefox.Options().setProfile(profile);
console.log(profile);
var driver = new firefox.Driver(options);

driver.get('http://whatsmyuseragent.com/');

出现的userAgent是

Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:49.0) Gecko/20100101 火狐/49.0

这是 console.log(profile); 输出(如您所见 - 'general.useragent.override': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit /537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36' 出现在那里,但不影响浏览器设置):

Profile 
  preferences_: 
    'browser.dom.window.dump.enabled': true,
     'browser.laterrun.enabled': false,
     'browser.newtab.url': 'about:blank',
     'browser.newtabpage.enabled': false,
     'browser.startup.page': 0,
     'browser.startup.homepage': 'about:blank',
     'browser.startup.homepage_override.mstone': 'ignore',
     'browser.usedOnWindows10.introURL': 'about:blank',
     'dom.max_chrome_script_run_time': 30,
     'dom.max_script_run_time': 30,
     'dom.report_all_js_exceptions': true,
     'javascript.options.showInConsole': true,
     'startup.homepage_welcome_url': 'about:blank',
     'startup.homepage_welcome_url.additional': 'about:blank',
     webdriver_accept_untrusted_certs: true,
     webdriver_assume_untrusted_issuer: true,
     'app.update.auto': false,
     'app.update.enabled': false,
     'browser.displayedE10SNotice': 4,
     'browser.download.manager.showWhenStarting': false,
     'browser.EULA.override': true,
     'browser.EULA.3.accepted': true,
     'browser.link.open_external': 2,
     'browser.link.open_newwindow': 2,
     'browser.offline': false,
     'browser.reader.detectedFirstArticle': true,
     'browser.safebrowsing.enabled': false,
     'browser.safebrowsing.malware.enabled': false,
     'browser.search.update': false,
     'browser.selfsupport.url': '',
     'browser.sessionstore.resume_from_crash': false,
     'browser.shell.checkDefaultBrowser': false,
     'browser.tabs.warnOnClose': false,
     'browser.tabs.warnOnOpen': false,
     'datareporting.healthreport.service.enabled': false,
     'datareporting.healthreport.uploadEnabled': false,
     'datareporting.healthreport.service.firstRun': false,
     'datareporting.healthreport.logging.consoleEnabled': false,
     'datareporting.policy.dataSubmissionEnabled': false,
     'datareporting.policy.dataSubmissionPolicyAccepted': false,
     'devtools.errorconsole.enabled': true,
     'dom.disable_open_during_load': false,
     'extensions.autoDisableScopes': 10,
     'extensions.blocklist.enabled': false,
     'extensions.checkCompatibility.nightly': false,
     'extensions.logging.enabled': true,
     'extensions.update.enabled': false,
     'extensions.update.notifyUser': false,
     'javascript.enabled': true,
     'network.manage-offline-status': false,
     'network.http.phishy-userpass-length': 255,
     'offline-apps.allow_by_default': true,
     'prompts.tab_modal.enabled': false,
     'security.csp.enable': false,
     'security.fileuri.origin_policy': 3,
     'security.fileuri.strict_origin_policy': false,
     'signon.rememberSignons': false,
     'toolkit.networkmanager.disable': true,
     'toolkit.telemetry.prompted': 2,
     'toolkit.telemetry.enabled': false,
     'toolkit.telemetry.rejected': true,
     'xpinstall.signatures.required': false,
     'xpinstall.whitelist.required': false,
     'general.useragent.override': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36' ,
  nativeEventsEnabled_: true,
  template_: undefined,
  port_: 0,
  extensions_: [] 

我尝试手动设置 general.useragent.override(在 http://www.howtogeek.com/113439/how-to-change-your-browsers-user-agent-without-installing-any-extensions/ 之后) - 它有效!虽然它不会影响使用 selenium-webdriver 驱动程序打开的实例的设置(无论如何我更喜欢能够实用地设置它)。

知道为什么它不适合我吗?

【问题讨论】:

【参考方案1】:

据我所知,无法使用 firefox 以编程方式设置用户代理。相反,我建议您使用chromium 和ChromeDriver。正如以下 python 示例所示,您可以轻松地将用户代理设置为所需的值。

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--user-agent=\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\"')
driver = webdriver.Chrome(chrome_options=chrome_options)

driver.get('https://www.whatsmyua.info/')

如果您想在脚本运行期间更改 userAgent,您需要启动一个新的驱动程序实例。

【讨论】:

以上是关于使用 selenium-webdriver/firefox (NodeJS) 设置 userAgent的主要内容,如果未能解决你的问题,请参考以下文章

在使用加载数据流步骤的猪中,使用(使用 PigStorage)和不使用它有啥区别?

今目标使用教程 今目标任务使用篇

Qt静态编译时使用OpenSSL有三种方式(不使用,动态使用,静态使用,默认是动态使用)

MySQL db 在按日期排序时使用“使用位置;使用临时;使用文件排序”

使用“使用严格”作为“使用强”的备份

Kettle java脚本组件的使用说明(简单使用升级使用)