大数据和人工智能时代下，爬虫工程师这几年是路越走越宽的，但是初级爬虫工程师基本会被八爪鱼这类软件替代，高级爬虫工程师的能力重点不在于会写几个get，post请求，使用正则解析下文本这么简单，而是在对数据和业务本身的理解深刻。
方法/步骤爬虫工程师的前景怎么样？发展方向是什么呢？
熟悉前端、数据库，懂点基本的linux
会各种库爬、解析取页面，会数据存储，会ajax数据爬取，会selenium，会验证码识别，会使用代理，会模拟登录，会APP爬取，会pyspider、scrapy，会分布式爬虫。
爬虫薪资，看城市和公司。
答主在成都，成都爬虫的上限就是美团的20k起
也有二货公司要求懂爬虫+ETL 起薪8k
一般金融公司给8-12k + 2年以上的经验
玩大数据的公司给10-20k + 2年以上经验
爬虫工程师的前景怎么样？
爬虫这工作看你怎么理解了，如果你觉得会get、post会数据解析就是爬虫，那它较为简单，容易被替代。
其实爬虫涉及的东西挺多的，包括JS逆向，安卓逆向、架构设计这些比较复杂的知识，尤其是安卓逆向，算是杂学了，门槛挺高的，竞争力肯定也是可以的。
爬虫所做的工作的结果，得到的是基础的数据。