干货|Python爬虫如何设置代理IP
本文共 510 字，大约阅读时间需要 1 分钟。
在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，这里讲述一个爬虫技巧，设置。
配置环境- 安装requests库
- 安装bs4库
- 安装lxml库具体代码
函数get_ip_list(url, headers)传入url和headers，最后返回一个IP列表，列表的元素类似122.114.31.177:808格式，这个列表包括国内髙匿代理IP网站首页所有IP地址和端口。函数get_random_ip(ip_list)传入第一个函数得到的列表，返回一个随机的proxies，这个proxies可以传入到requests的get方法中，这样就可以做到每次运行都使用不同的IP访问被爬取的网站，有效地避免了真实IP被封的风险。proxies的格式是一个字典：{‘http’: ‘。代理IP的使用运行上面的代码会得到一个随机的proxies，把它直接传入requests的get方法中即可
转载于:https://blog.51cto.com/14062184/2316323
你可能感兴趣的文章
juniper srx 240 cluster 内网服务器端口发布到外网配置实例
查看>>
OSC圈子BUG嫌疑页，他人空间出现自己圈子的动态提示
查看>>
Git停止跟踪文件的方法
查看>>
CSS样式
查看>>
CSS定位
查看>>
第二章基本命令学习
查看>>
Node项目部署工具之forever
查看>>
集合,迭代器,Date,System
查看>>
详解SpringBoot中的JSON
查看>>
常见APP运营推广渠道，躺着也能做好APP推广！
查看>>
mysql函数大全
查看>>
Ruby 2.4 的一些新特性 已翻译 100%
查看>>
php返回多3个字节
查看>>
Spring实现AOP的4种方式
查看>>
驰骋工作流引擎设置消息收听
查看>>
每秒数万笔的核心交易系统运维金融日志智能运维实践
查看>>
海量流程图模板分享，送给需要的你
查看>>
字符数组为:"i am a student",将数组改为"student a am i
查看>>
Twemproxy增加或剔除Redis节点后对数据有何影响
查看>>
Linux运维（十）-2016-12-9整理
查看>>