首先,我们要安装requesocks这个模块,pip install requesocks
这个是借力打力,只是抓去朋友网的内容!!!
不过相当好用哦!
以前发布过PHP版的,这次来个Python版的,不过需要用到requests这个模块,这里下载
以前一直使用python的urllib2来抓取页面采集内容,偶然发现python有一个非常好用的封装好的库requests可以省去很多事。具体安装和使用教程可以直接参考官方文档:
简单的写了一个通过requests多线程获取页面数据的代码。不贴所有代码了,代码如下: