Python爬虫是爬虫用Python编程语言实现的网络爬虫，主要用于网络数据的有什用途抓取和处理，相比于其他语言，爬虫Python是有什用途一门非常适合开发网络爬虫的编程语言，大量内置包，爬虫可以轻松实现网络爬虫功能。有什用途

　　Python爬虫可以做的爬虫事情很多，如搜索引擎、有什用途采集数据、爬虫广告过滤等，有什用途Python爬虫还可以用于数据分析，爬虫在数据的有什用途抓取方面可以作用巨大!

　　Python爬虫架构组成

　　1. URL管理器：管理待爬取的url集合和已爬取的url集合，站群服务器传送待爬取的爬虫url给网页下载器;

　　2. 网页下载器：爬取url对应的网页，存储成字符串，有什用途传送给网页解析器;

　　3. 网页解析器：解析出有价值的爬虫数据，存储下来，同时补充url到URL管理器。

　　Python爬虫工作原理

　　Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。

　　Python爬虫常用框架有：

　　grab：网络爬虫框架(基于pycurl/multicur);

　　scrapy：网络爬虫框架(基于twisted)，企商汇不支持Python3;

　　pyspider：一个强大的爬虫系统;

　　cola：一个分布式爬虫框架;

　　portia：基于Scrapy的可视化爬虫;

　　restkit：Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象;

　　demiurge：基于PyQuery的爬虫微框架。

　　Python爬虫应用领域广泛，在网络爬虫领域处于霸主位置，Scrapy、Request、BeautifuSoap、urlib等框架的应用，可以实现爬行自如的功能，只要您数据抓取想法，Python爬虫均可实现!