爬虫面试常见问题

环球青藤 2020/09/25 09:23

一、项目问题:

1.你写爬虫的时候都遇到过什么反爬虫措施,你是怎样解决的。

2.用的什么框架。为什么选择这个框架。

二、框架问题:

1.scrapy的基本结构(五个部分都是什么,请求发出去的整个流程)。

2.scrapy的去重原理(指纹去重到底是什么原理)。

3.scrapy中间件有几种类,你用过哪些中间件。

4.scrapy中间件在哪里起的作业(面向切片编程)。

三、代理问题:

1.为什么会用到代理。

2.代理怎么使用(具体代码, 请求在什么时候添加的代理)。

3.代理失效了怎么处理。

四、验证码处理:

1.登陆验证码处理?

2.爬取速度过快出现的验证码处理?

3.如何用机器识别验证码?

关于爬虫面试常见问题,青藤小编就和您分享到这里了。如果您对python编程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于python编程的技巧及素材等内容,可以点击本站的其他文章进行学习。

免费直播

    精选课程 更多

    注册电脑版

    版权所有 2003-2020 广州环球青藤科技发展有限公司