使用 selenium-webdriver/firefox (NodeJS) 设置 userAgent
Posted
技术标签:
【中文标题】使用 selenium-webdriver/firefox (NodeJS) 设置 userAgent【英文标题】:Set userAgent with selenium-webdriver/firefox (NodeJS) 【发布时间】:2017-03-12 20:21:25 【问题描述】:我有一个使用“selenium-webdriver”运行浏览器的代码。它在 Ubuntu 上运行。
我必须重写 userAgent,这样浏览器的请求看起来像是来自 Windows(即 User-Agent 请求标头的值)。
这是我的 NodeJS 代码:
var firefox = require('selenium-webdriver/firefox');
var profile = new firefox.Profile();
profile.setPreference('general.useragent.override', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/53.0.2785.143 Safari/537.36');
var options = new firefox.Options().setProfile(profile);
console.log(profile);
var driver = new firefox.Driver(options);
driver.get('http://whatsmyuseragent.com/');
出现的userAgent是
Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:49.0) Gecko/20100101 火狐/49.0
这是 console.log(profile); 输出(如您所见 - 'general.useragent.override': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit /537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36' 出现在那里,但不影响浏览器设置):
Profile
preferences_:
'browser.dom.window.dump.enabled': true,
'browser.laterrun.enabled': false,
'browser.newtab.url': 'about:blank',
'browser.newtabpage.enabled': false,
'browser.startup.page': 0,
'browser.startup.homepage': 'about:blank',
'browser.startup.homepage_override.mstone': 'ignore',
'browser.usedOnWindows10.introURL': 'about:blank',
'dom.max_chrome_script_run_time': 30,
'dom.max_script_run_time': 30,
'dom.report_all_js_exceptions': true,
'javascript.options.showInConsole': true,
'startup.homepage_welcome_url': 'about:blank',
'startup.homepage_welcome_url.additional': 'about:blank',
webdriver_accept_untrusted_certs: true,
webdriver_assume_untrusted_issuer: true,
'app.update.auto': false,
'app.update.enabled': false,
'browser.displayedE10SNotice': 4,
'browser.download.manager.showWhenStarting': false,
'browser.EULA.override': true,
'browser.EULA.3.accepted': true,
'browser.link.open_external': 2,
'browser.link.open_newwindow': 2,
'browser.offline': false,
'browser.reader.detectedFirstArticle': true,
'browser.safebrowsing.enabled': false,
'browser.safebrowsing.malware.enabled': false,
'browser.search.update': false,
'browser.selfsupport.url': '',
'browser.sessionstore.resume_from_crash': false,
'browser.shell.checkDefaultBrowser': false,
'browser.tabs.warnOnClose': false,
'browser.tabs.warnOnOpen': false,
'datareporting.healthreport.service.enabled': false,
'datareporting.healthreport.uploadEnabled': false,
'datareporting.healthreport.service.firstRun': false,
'datareporting.healthreport.logging.consoleEnabled': false,
'datareporting.policy.dataSubmissionEnabled': false,
'datareporting.policy.dataSubmissionPolicyAccepted': false,
'devtools.errorconsole.enabled': true,
'dom.disable_open_during_load': false,
'extensions.autoDisableScopes': 10,
'extensions.blocklist.enabled': false,
'extensions.checkCompatibility.nightly': false,
'extensions.logging.enabled': true,
'extensions.update.enabled': false,
'extensions.update.notifyUser': false,
'javascript.enabled': true,
'network.manage-offline-status': false,
'network.http.phishy-userpass-length': 255,
'offline-apps.allow_by_default': true,
'prompts.tab_modal.enabled': false,
'security.csp.enable': false,
'security.fileuri.origin_policy': 3,
'security.fileuri.strict_origin_policy': false,
'signon.rememberSignons': false,
'toolkit.networkmanager.disable': true,
'toolkit.telemetry.prompted': 2,
'toolkit.telemetry.enabled': false,
'toolkit.telemetry.rejected': true,
'xpinstall.signatures.required': false,
'xpinstall.whitelist.required': false,
'general.useragent.override': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36' ,
nativeEventsEnabled_: true,
template_: undefined,
port_: 0,
extensions_: []
我尝试手动设置 general.useragent.override(在 http://www.howtogeek.com/113439/how-to-change-your-browsers-user-agent-without-installing-any-extensions/ 之后) - 它有效!虽然它不会影响使用 selenium-webdriver 驱动程序打开的实例的设置(无论如何我更喜欢能够实用地设置它)。
知道为什么它不适合我吗?
【问题讨论】:
【参考方案1】:据我所知,无法使用 firefox 以编程方式设置用户代理。相反,我建议您使用chromium 和ChromeDriver。正如以下 python 示例所示,您可以轻松地将用户代理设置为所需的值。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--user-agent=\"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36\"')
driver = webdriver.Chrome(chrome_options=chrome_options)
driver.get('https://www.whatsmyua.info/')
如果您想在脚本运行期间更改 userAgent,您需要启动一个新的驱动程序实例。
【讨论】:
以上是关于使用 selenium-webdriver/firefox (NodeJS) 设置 userAgent的主要内容,如果未能解决你的问题,请参考以下文章
在使用加载数据流步骤的猪中,使用(使用 PigStorage)和不使用它有啥区别?
Qt静态编译时使用OpenSSL有三种方式(不使用,动态使用,静态使用,默认是动态使用)