C#获取列表机器人动态[关闭]
Posted
技术标签:
【中文标题】C#获取列表机器人动态[关闭]【英文标题】：C# get list bots dynamic [closed] 【发布时间】：2017-05-23 06:56:50 【问题描述】：如何动态获取机器人列表或我需要服务获取机器人列表以在没有机器人爬虫的情况下查看视图。
像这样：Detecting honest web crawlers，但是我想获得动态机器人列表（最新机器人）。
感谢支持， TuanTH
【问题讨论】：
【参考方案1】：您可以从http://www.user-agents.org/ 等 XML 源更新您的爬虫列表
【讨论】：
以上是关于C#获取列表机器人动态[关闭]的主要内容，如果未能解决你的问题，请参考以下文章