AAA教育论坛
标题:
为什么选择Python做爬虫?
[打印本页]
作者:
江山老师
时间:
2018-2-28 13:23
标题:
为什么选择Python做爬虫?
可以做爬虫的语言有很多,如 PHP、Java、C/C++、Python等等...
PHP 虽然是很好的语言,但是他天生不是干这个的,而且对多线程、异步支持不够好,并发处理能力很弱。 爬虫是工具性程序,对速度和效率要求比较高。
Java 的网络爬虫生态圈也很完善,是Python爬虫最大的对手。但是Java语言本身很笨重,代码量很大。重构成本比较高,任何修改都会导致代码的大量变动。而爬虫经常需要修改部分采集代码。
C/C++ 运行效率和性能几乎最强,但是学习成本很高,代码成型比较慢。能用C/C++做爬虫,只能说是能力的表现,但是不是正确的选择。
Python 语法优美、代码简洁、开发效率高、支持的模块多,相关的HTTP请求模块和HTML解析模块非常丰富。
强大的爬虫Scrapy,以及成熟高效的 scrapy-redis分布式策略。
调用其他借口也非常方便(胶水语言)
欢迎光临 AAA教育论坛 (https://bbs.aaa-cg.com.cn/)
X3.2