lxml - 从间接url转换为direct url

Posted 2021-05-05

我使用python和lxml来收集一些网络数据。

如果我有一些元素：

import requests
from lxml import html

r = requests.get(url)
tree = html.fromstring(r.text)
file_ = tree.xpath('some_xpath')[0]
url=file_.attrib['href'] #element

产生的结果如下：

../Document1/Document2.aspx?No=123456

我的基本网址是这样的：

http://www.foo.com/

我可以添加基本网址并清理间接领先时段，但必须有更好的方法。

感谢您的任何意见。

答案

对于Python 2，它是：

from urlparse import urljoin
abs = urljoin(base, rel)