1.Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。

2.PySpider

pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

3.Crawley

Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

4、Portia

是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站!简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核;可视化爬取内容，不需要任何开发专业知识;动态匹配相同模板的内容。

一、言语类型Python是一种基于解说器的言语，解说器会逐行读取代码;首先将Python编译为字节码，然后由大型C程序解说;C是一种编译言语，完好的源代码将直接编译为机器代码，由CPU直接履行。

二、内存办理Python运用主动废物收集器进行内存办理;在C言语中，程序员有必要自己进行内存办理。

三、运用Python是一种通用编程言语，一个多范式。它首要支持面向目标编程，程序编程，函数编程。C是结构化编程言语。答应运用函数，挑选(if / else等)，迭代(循环)。它首要用于硬件相关的运用程序。

四、速度Python编程言语因为前史原因，有一个GIL锁，导致其对多线程支持不够好，运转速度较慢;而C言语很快，C言语是比较底层的言语，运转效率上要优于Python。

五、复杂度不一样在Python中不需要声明变量类型。而在C中有必要声明变量类型。Python程序更易于学习，编写和阅读。而C程序语法比Python更难。Python中的测验和调试更容易;而在C中测验和调试更难。Python相对其他言语而言是非常简单的言语，高度集成，代码量少。C是静态言语在变量在运用前进行声明，而Python是动态言语在运用的时候可以直接运用不需要声明，C里面没有目标而Python里面是有目标。C言语在运转的时候是需要编译然后运转，而Python是直接run的。

1.集成性强

我们可以通过与其他编程语言(例如C，C++和Java)的集成，将各种语言功能运用到我们的开发中。

2.简单易学

Python的语法相比其他编程语言而言，是非常简单的。使用Python，不仅有助于程序员专注逻辑构建，从而节省大量的时间，而且能够大大降低应用程序的维护成本。

3.可以更方便地增强和测试代码

Python是一种动态类型化的语言，可以自动分配数据类型。

4.广泛的库支持

Python的库量非常大，例如NumPy，SciPy，Pandas等，而且所有库都是免费提供的。

5.提供了数据科学和机器学习的库

这些库可以确保非常高的计算速度和效率。