Python爬虫 – 下载文件出错重新下载，直到文件下载完成
在写Python爬虫时，经常会有下载文件的需求，比如我们可以通过以下代码下载图片或者视频 import requests def request_chunk_download_image(image_url, image_path): res = requests.get(image_url) wi…
- Python
- 2023-06-10
Python – 爬取直播吧首页重要赛事赛程信息
1 Python爬取直播吧首页重要赛事赛程信息 最近想做一个每日邮件提醒功能，包括提醒自己每天的天气以及每天的体育赛事，防止因为自己事情多忘记了一些重要的赛事，直播吧每天都更新了重要的赛程信息，如下 我希望爬取直播吧首页重要的赛事信息，使用最简单的requests+BeautifulSoup的方案，…
- Python
- 2022-11-23
Python – 写爬虫时需要用到那些第三方库
网络爬虫的执行步骤大致可以分为以下几步： 进行网络请求，获取网页内容； 解析网页信息，获取有用信息； 存储有用信息，与数据库交互； 在使用Python写一些简单工具爬虫时，上述三个步骤都有比较多的第三方库可供我们选择。 1 网页请求 urllib：urllib是python内置的处理HTTP请求的库…
- Python
- 2022-09-07
Python3爬虫 – requests的请求响应状态码（requests.status_code）
requests.status_code（同http响应码） 1开头状态码：请求收到，继续处理 2开头状态码：操作成功收到，分析、接受 3开头状态码：完成此请求必须进一步处理 4开头状态码：请求包含一个错误语法或不能完成 5开头状态码：服务器执行一个完全有效请求失败 100——客户必须继续发出请求 …
- Python
- 2020-01-02
Python3爬虫 – requests库的requests.exceptions所有异常详细说明
requests 全部异常详细说明 requests.exceptions.HTTPError：HTTP错误 requests.exceptions.ConnectionError：连接错误 requests.exceptions.ProxyError：代理错误 requests.exception…
- Python
- 2020-01-02
Python3爬虫 – 下载反盗链图片的方式
1 第一种方式：为Headers添加Referer字段 下载反盗链图片时，Headers除了必备的User-Agent字段之外，还需添加Referer字段，该字段为当前图片所在的Web页面链接。 1.2 在headers未加入Referer字段时 运行以下代码： import requests # …
- Python
- 2019-12-30