Python3 – 正则表达式去除字符串中的特殊符号
今天看完Python的正则表达式之后，刚刚好自己的爬虫出了问题，就是在创建文件夹的时候还有命名图片的时候因为字符串中出现了特殊符号，比如说""，%，/等符号，导致爬虫在创建文件夹和图片以及视频的时候出现了错误，因为windows中不允许文件和文件夹中包含一些特殊符号，刚刚在看完p…
- Python
- 2020-01-03
Python3爬虫 – requests的请求响应状态码（requests.status_code）
requests.status_code（同http响应码） 1开头状态码：请求收到，继续处理 2开头状态码：操作成功收到，分析、接受 3开头状态码：完成此请求必须进一步处理 4开头状态码：请求包含一个错误语法或不能完成 5开头状态码：服务器执行一个完全有效请求失败 100——客户必须继续发出请求 …
- Python
- 2020-01-02
Python3爬虫 – requests库的requests.exceptions所有异常详细说明
requests 全部异常详细说明 requests.exceptions.HTTPError：HTTP错误 requests.exceptions.ConnectionError：连接错误 requests.exceptions.ProxyError：代理错误 requests.exception…
- Python
- 2020-01-02
Python3爬虫 – 下载反盗链图片的方式
1 第一种方式：为Headers添加Referer字段 下载反盗链图片时，Headers除了必备的User-Agent字段之外，还需添加Referer字段，该字段为当前图片所在的Web页面链接。 1.2 在headers未加入Referer字段时 运行以下代码： import requests # …
- Python
- 2019-12-30
Python3 – 导入模块和函数
1 import导入module （1）导入单个模块 import 模块名 （2）导入多个模块 import 模块名1,模块名2 2 from...import导入相应模块 （1）从某个模块导入某个函数 from 模块名 import 函数名 （2）从某个模块导入多个函数 from 模块名 impo…
- Python
- 2019-12-17
Pip – 常用命令（安装，卸载，升级第三方库）
1 安装第三方库 (1)直接安装 pip install 包名 (2)使用requirements.txt安装 pip install -r requirement.txt (3)wheel文件安装 pip install wheel文件路径 (4)在线可选url安装 pip install 包名 …
- Python
- 2019-12-17
opencv-python – 读取视频，不改变视频分辨率修改视频帧率
1 代码 modify_video_frame_rate.py import os import cv2 # 修改视频帧率为指定帧率，分辨率保持不变 def modify_video_frame_rate(videoPath,destFps): dir_name = os.path.dirname(…
- Python
- 2019-12-11
Python – BeautifulSoup的find()和findAll()
1 参数以及比较 BeautifulSoup的find()和findAll()这两个函数在某些方面十分的相似，我们可以使用它们过滤HTML页面，并查找需要的标签组和单个的标签。 这两个函数非常的相似： findAll(tag,attributes,recursive,text,limit,k…
- Python
- 2019-11-10
Python:UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xbb’ in position 12305，以及中文乱码的解决方案
刚刚学习了Python没几天，看了《Python网络数据采集》这本书，准备今天在网上试验着爬一个数据，网站是UTF-8编码的，可以在网站的文件头可以看出来 所以我就按照书上的代码照着写了几行代码: #__author__ = 'Administrat #coding=utf-8 from urlli…
- Python
- 2019-10-26
简单粗暴：使用pycharm安装对应的Python版本第三方包
Python的强大除了其简单的语法以及易用性，还有其不得不说的海量的第三库的支持。 但是，我们电脑上由于需要可能安装了多个版本的Python，如Python2.X和Python3.X,这时候我们除了在电脑上要解决多个Python版本共存的问题，还需要针对不同的版本安装支持不同版本的第三方库，而且在安…
- Python
- 2019-10-25
解决Python爬虫在爬资源过程中使用urlretrieve函数下载文件不完全且避免下载时长过长陷入死循环，并在下载文件的过程中显示下载进度
import urllib from urllib.request import urlretrieve #解决urlretrieve下载文件不完全的问题且避免下载时长过长陷入死循环 def auto_down(url,filename): try: urlretrieve(url,filename…
- Python
- 2019-10-24