使用fetch返回与使用curl或在浏览器中打开页面不同的结果

Question

我正在使用以下代码来获取页面的URL，基本上我正在尝试做的是允许我的用户通过链接添加产品，他们粘贴链接，应用程序被要求获取链接，获取图像并创建使用数据的新产品。

            fetch(url, headers)
            .then(response => response.text())
            .then(text => {
                resolve(this._parseResponse(text, url));
            })
            .catch(error => reject({ error }));

然后我通过cheerio解析它。

但是我注意到一些网站如Nike和Newegg在使用浏览器或普通curl命令时没有返回相同的结果。

Nike返回“拒绝访问”，Newegg返回“404”。

任何针对该建议的修正或任何其他建议我如何实现我的目标？

谢谢。

Answer 1

另一答案