如何使用python [duplicate]在scrapy中获取select选项值

Posted 2021-03-28

这个问题在这里已有答案：

• How to get last OPTION from SELECT list using XPath - Scrapy 1回答

我需要从select标签中获取所有选项值

<select name="Department" tabindex="3">
    <option  type="text" size="3" maxlength="2" value=""></option>
    <option  value="CSC">CSC</option>
    <option  value="IT">IT</option>
    <option  value="MCA">MCA</option>
    <option  value="BE">BE</option>
</select>

我试过response.css('select::attr(name:Department)').extract()但没有得到。

我需要输出：

['CSC', 'IT', 'MCA', 'BE']

我是网络scrapy的新手，请帮忙...

答案

这是使用xpath。

response.xpath('//select/option/text()')

应该使用xpath，因为它们比css选择器更强大。这是在scrapy本身（下面的东西）上指定的。

XPath表达式非常强大，是Scrapy Selectors的基础。实际上，CSS选择器在引擎盖下转换为XPath。如果仔细阅读shell中选择器对象的文本表示，则可以看到。

你可以从selectors了解更多关于他们的信息。