为什么选择Python做爬虫？

江山老师

可以做爬虫的语言有很多，如 PHP、Java、C/C++、Python等等...

• PHP 虽然是很好的语言，但是他天生不是干这个的，而且对多线程、异步支持不够好，并发处理能力很弱。 爬虫是工具性程序，对速度和效率要求比较高。
• Java 的网络爬虫生态圈也很完善，是Python爬虫最大的对手。但是Java语言本身很笨重，代码量很大。重构成本比较高，任何修改都会导致代码的大量变动。而爬虫经常需要修改部分采集代码。
• C/C++ 运行效率和性能几乎最强，但是学习成本很高，代码成型比较慢。能用C/C++做爬虫，只能说是能力的表现，但是不是正确的选择。
  

Python 语法优美、代码简洁、开发效率高、支持的模块多，相关的HTTP请求模块和HTML解析模块非常丰富。

• 强大的爬虫Scrapy，以及成熟高效的 scrapy-redis分布式策略。
• 调用其他借口也非常方便（胶水语言）