本文介绍了用于使用窗体身份验证绕过警报消息的scrapy的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着跟版网的小编来一起学习吧！
问题描述
Scrapy是否可以爬网警报消息？
链接(例如http://domainhere/admin)加载到实际浏览器后，会显示一条带有表单的警告消息，用于填写用户名和密码。
或者是否有办法检查警报消息中的表单，以了解要填写哪些参数？
PS：我确实有此网站的凭据，我只想通过Web爬网自动执行流程。
谢谢。
推荐答案
我通过执行以下操作实现了这一点：
- 已观察到在身份验证后需要哪些数据才能继续该页。
- 我在Network选项卡中使用Chrome的开发人员工具检查了请求头。观察到需要授权。
- 为了验证步骤2，我使用了Postman。使用邮递员中的Authorization，Basic Auth类型，填写用户名和密码将为Authorization标头生成相同的值。在发送POST请求之后，它加载了所需的页面并绕过身份验证。
- 如果请求标头下的Authorization具有相同的值，请将该值存储在Screper类中。
- 将scrapy.Request函数与Headers参数一起使用。
编码：
import scrapy
class TestScraper(scrapy.Spider):
handle_httpstatus_list = [401]
name = "Test"
allowed_domains = ["xxx.xx.xx"]
start_urls = ["http://testdomain/test"]
auth = "Basic [Key Here]"
def parse(self, response):
return scrapy.Request(
"http://testdomain/test",
headers={'Authorization': self.auth},
callback=self.after_login
)
def after_login(self, response):
self.log(response.body)
现在，您可以在身份验证过程之后对页面进行爬网。
这篇关于用于使用窗体身份验证绕过警报消息的scrapy的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持跟版网！
本站部分内容来源互联网,如果有图片或者内容侵犯了您的权益，请联系我们，我们会在确认后第一时间进行删除！