Google 域的 YQL“重定向到 robots.txt 受限 URL”错误
Posted
技术标签:
【中文标题】Google 域的 YQL“重定向到 robots.txt 受限 URL”错误【英文标题】：YQL "Redirected to a robots.txt restricted URL" Error for Google Domain 【发布时间】：2012-03-01 07:30:24 【问题描述】：我正在使用 YQL 控制台，我想从这个 link in Google Shopping 返回结果
在 YQL 中使用以下内容：
select content from html where url="www.google.com/products/seller?hl=en&q=burkett+restaurant+equipment+reviews&tbo=u&tbm=shop&zmi=basequipment.com&cmi=12986189937115136" and xpath="//body"
这是说：
重定向到 robots.txt 受限网址
并且不会显示任何结果，有什么办法可以解决这个问题？
【问题讨论】：
谷歌ask bots not to touch that data 和雅虎！尊重他们的要求。所以不应该有解决这个问题的技术方法。我希望他们的条款和条件也禁止您以这种方式访问数据，因此您的法律依据也很不稳定。 【参考方案1】：您可以使用打开的表：
http://developer.yahoo.com/yql/console/?q=show%20tables&env=store://datatables.org/alltableswithkeys#h=select%20content%20from%20data.headers%20where%20url%3D%22www.google.com/products/seller%3Fhl%3Den%26q%3Dburkett+restaurant+equipment+reviews%26tbo%3Du%26tbm%3Dshop%26zmi%3Dbasequipment.com%26cmi%3D12986189937115136%22
【讨论】：
以上是关于Google 域的 YQL“重定向到 robots.txt 受限 URL”错误的主要内容，如果未能解决你的问题，请参考以下文章