LinkExtractor 构造器各参数说明

Posted 2021-02-10 xinglejun

LinkExtractor 构造器各参数说明

• 特例：
  • LinkExtractor构造器的所有参数都有默认值
• 各参数说明：
  • allow
    • 接收一个正则表达式或一个正则表达式列表，提取绝对url与正则表达式匹配的链接，如果该参数为空（默认），就提取全部链接
  • deny
    • 接收一个正则表达式或一个正则表达式列表，与allow相反，排除绝对url与正则表达式匹配的链接。
  • allow_domains
    • 接收一个域名或一个域名列表，提取到指定域的链接。
  • deny_domains
    • 接收一个域名或一个域名列表，与allow_domains相反，排除到指定域的链接。
  • restrict_xpaths
    • 接收一个XPath表达式或一个XPath表达式列表，提取XPath表达式选中区域下的链接。
  • restrict_css
    • 接收一个CSS选择器或一个CSS选择器列表，提取CSS选择器选中区域下的链接。
  • tags
    • 接收一个标签（字符串）或一个标签列表，提取指定标签内的链接，默认为[‘a‘,‘area‘]。
  • attrs
    • 接收一个属性（字符串）或一个属性列表，提取指定属性内的链接，默认为[‘href‘]。
  • process_vlaue
    • 接收一个形如func(value)的回调函数。如果传递了该参数，LinkExtractor将调用该回调函数对提取的每一个链接（如a的href）进行处理，回调函数正常情况下应返回一个字符串（处理结果），想要抛弃所处理的链接时，返回None。