Requsets库入门篇

zhangpd / 2023-08-30 / 原文

一.Requests库的安装

打开命令窗口执行命令： pip install requests

二.Requests主要方法

1.这里requests库的请求方法有很多下面我只介绍我常用的两种方法

requests.get（）	获取HTML网页的主要方法，对应HTTP的GET
requests.post（）	向HTML网页提交POST请求的方法，对应HTTP的POST

2.带可选参数的的请求方法

requests.request（method, url, params=params, **kwargs）

method：请求方法对应get和post等方法

url：获取的页面的url连接

**kwargs：可选的参数：

params：传入的是路由对应参数，以字典的形式键与值对应传入，以作为url中的参数

headers：请求头以字典的形式，参数是HTTP请求头部

cookies：字典或cookieJar，Request中的cookie

json：JSON格式的数据，作为equests的内容

data：字典、字节系列或文件对象，作为requests的内容

3.Requests库的get方法

#这是一个get请求的方法，传入url，及params参数
response = requests.get(url,params=params)
#获取响应的内容
result = response.content.decode()
#将json格式转换为python对象
json_obj = json.loads(result)

这段代码的解释：

这段代码是使用Python的requests库来发送一个GET请求到指定的URL，然后解码并获取响应的内容。

url是网站的Request URL，params是查询参数（通常用于在URL中传递数据）。

response.content返回的是一个字节字符串，因此需要使用decode()方法将其转换为正常的字符串。这里decode（）括号内默认的是UTF-8编码，如果不适配我们也可以选择换别的编码如GBK，ASCLL等

json.loads() 是 Python 的 json 模块中的一个函数，用于将 JSON 格式的字符串转换为 Python 对象。

在你给出的代码中，result 是一个包含了 JSON 数据的字符串。通过调用 json.loads(result)，这个字符串被解析成了 Python 的数据结构，比如字典、列表等。例如，如果 result 是这样的 JSON 字符串：'{"name": "John", "age": 30}'，那么 json.loads(result) 的结果将是一个字典：{'name': 'John', 'age': 30}。

注意：如果 result 不是一个有效的 JSON 字符串，json.loads() 会抛出一个 json.decoder.JSONDecodeError 错误。所以在调用 json.loads() 时，最好使用 try/except 来捕获可能出现的错误。

三：当网站的数据是一个HTML格式的时候我们就要用到另外一种库lxml与xpath

lxml 是一种解析xml/html的类库，可以通过一些表达式，自由取出节点的属性以及内部值

xpath 一种路径表达式，一定的规则在xml/html中取数据

1.安装路径：pip install lxml

2.用lxml解析网站

#这是一个get请求的方法，传入url，及params参数
response = requests.get(url,params=params)
#获取响应的内容
result = response.content.decode()
#将解码后的字符串解析为一个HTML树的表示
root = etree.HTML(result)

与上方相同的代码只是解析的方法不同etree.HTML(result): 这行代码使用lxml库的etree.HTML()函数将解码后的字符串解析为一个HTML树的表示。这个函数返回一个Element对象，表示HTML文档的根元素。

通过这三行代码，你可以获取并解析HTML页面，以便提取页面中的信息或进行其他操作。

3.xpath的路径表达式