以下是一个示例代码,演示如何使用Python的requests库按批次请求数据:
import requests
import time
# 定义每个批次的大小和总共的数据量
batch_size = 100
total_data = 1000
# 计算总共需要的批次数
num_batches = total_data // batch_size + 1
# 循环发送每个批次的请求
for batch in range(num_batches):
# 计算当前批次的起始和结束索引
start_index = batch * batch_size
end_index = min((batch + 1) * batch_size, total_data)
# 构造请求的URL
url = f"http://example.com/data?start={start_index}&end={end_index}"
# 发送请求并获取响应
response = requests.get(url)
data = response.json()
# 处理获取到的数据
for item in data:
# 在这里进行你的处理逻辑
print(item)
# 休眠一段时间,以避免请求频率过高
time.sleep(1)
在这个示例中,我们首先定义了每个批次的大小和总共的数据量。然后使用一个循环来发送每个批次的请求,计算每个批次的起始和结束索引,并构造请求的URL。然后使用requests库发送请求,并获取响应数据。最后,我们对获取到的数据进行处理,可以根据自己的需求进行相应的处理逻辑。在每个批次之间,我们使用time库的sleep函数来休眠一段时间,以避免请求频率过高。
上一篇:按批次号显示数量及数量细分