文章目录

工具和环境准备安装必要的库

编写爬虫脚本第一步：构造请求第二步：保存文件第三步：批量下载pdf第四步：处理分页+最终代码

结语

最近有很多朋友，甚至还有不少陌生人都花钱找我要上市公司的年报数据。为了节省大家的时间和金钱，我决定写一篇教程，教你们如何用Python轻松爬取巨潮资讯上的上市公司年报。即使你是编程新手也能快速上手，赶紧学起来吧！

工具和环境准备

在开始之前，我们需要准备一些工具和环境：

Python 3.x安装<code>requests和panda库

安装必要的库

首先，打开命令行，运行以下命令安装所需库：

pip install requests beautifulsoup4

编写爬虫脚本

第一步：构造请求

打开巨浪资讯搜索 分类年报

这个接口访问可以查看所有年报，开始python模拟请求

第二步：保存文件

调整代码 使用 <code>panda保存数据可以看到处理后的数据已经保存在excel中

第三步：批量下载pdf

直接上代码

<code>

# 下载PDF文件的函数

def download_pdf(url, filename):

response = requests.get(url)

if response.status_code == 200:

with open(filename, 'wb') as f:

f.write(response.content)

print(f"Downloaded: { -- -->filename}")

else:

print(f"Failed to download: { filename}, Status code: { response.status_code}")

第四步：处理分页+最终代码

使用请求接口返回的hasMore字段判断是否需要继续加页码，终极版本代码

import requests

import pandas as pd

import os

# 请求头

headers = {

"accept": "*/*",

"accept-language": "zh-CN,zh;q=0.9,en;q=0.8",

"content-type": "application/x-www-form-urlencoded; charset=UTF-8",

"proxy-connection": "keep-alive",

"x-requested-with": "XMLHttpRequest"

}

# 创建存储PDF文件的文件夹

os.makedirs('announcements', exist_ok=True)

# 获取公告数据的函数

def fetch_announcements(start_date, end_date, page_num=1, page_size=30):

url = "http://www.cninfo.com.cn/new/hisAnnouncement/query"

body = {

"pageNum": page_num,

"pageSize": page_size,

"column": "szse",

"tabName": "fulltext",

"plate": "",

"stock": "",

"searchkey": "",

"secid": "",

"category": "category_ndbg_szsh",

"trade": "",

"seDate": f"{ start_date}~{ end_date}",

"sortName": "",

"sortType": "",

"isHLtitle": "true"

}

# 发送 POST 请求

response = requests.post(url, headers=headers, data=body)

if response.status_code == 200:

data = response.json()

if 'announcements' in data:

announcements_list = []

for announcement in data['announcements']:

sec_code = announcement.get("secCode", "")

sec_name = announcement.get("secName", "")

title = announcement.get("announcementTitle", "")

download_url = f"http://static.cninfo.com.cn/{ announcement.get('adjunctUrl', '')}"

announcements_list.append([sec_code, sec_name, title, download_url])

print(f"Fetched { len(announcements_list)} announcements. hasMore is { data['hasMore']}")

return announcements_list, data['hasMore']

else:

print("No announcements found.")

return [], False

else:

print(f"Request failed with status code: { response.status_code}")

return [], False

# 下载PDF文件的函数

def download_pdf(url, filename):

response = requests.get(url)

if response.status_code == 200:

with open(filename, 'wb') as f:

f.write(response.content)

print(f"Downloaded: { filename}")

else:

print(f"Failed to download: { filename}, Status code: { response.status_code}")

# 主函数

def main():

start_date = "2024-02-13"

end_date = "2024-03-01"

page_size = 30

page_num = 1

all_announcements = []

while True:

announcements, has_more = fetch_announcements(start_date, end_date, page_num=page_num, page_size=page_size)

if announcements:

all_announcements.extend(announcements)

if not has_more:

break

page_num += 1

else:

break

if all_announcements:

# 使用 pandas 创建 DataFrame

df = pd.DataFrame(all_announcements, columns=["公司代码", "公司名称", "年报标题", "下载地址"])

# 将 DataFrame 保存到 Excel 文件中

df.to_excel("announcements.xlsx", index=False)

print("数据已保存到 announcements.xlsx 文件中")

# 下载 PDF 文件

for announcement in all_announcements:

sec_code, sec_name, title, download_url = announcement

title = title.replace("/", "_")

filename = f"announcements/{ sec_code}_{ sec_name}_{ title}.pdf"

download_pdf(download_url, filename)

# 执行主函数

if __name__ == "__main__":

main()

结语

感谢大家阅读这篇关于如何利用 Python 爬取巨潮资讯网上市公司年报数据的教程。通过这篇文章，相信大家已经掌握了基本的爬取流程以及如何处理分页数据和下载 PDF 文件的方法。希望这篇教程能够帮助大家更好地获取所需的数据。

在实际应用中，大家可以根据自己的需求修改代码中的参数，例如调整爬取的时间范围、分页大小等。也可以对代码进行扩展，增加更多的功能，比如数据分析和可视化等。

如果你觉得这篇文章对你有帮助，请不要忘记点赞、收藏和关注。我会不定期分享更多有趣且实用的技术文章。你们的支持是我持续创作的动力！

最后，再次感谢大家的阅读和支持。如果在操作过程中有任何问题，欢迎在评论区留言，我会尽快回复大家。

祝大家在数据爬取和分析的道路上不断进步！

特别提示：请确保在使用爬虫技术时遵守相关法律法规和网站的使用协议，合理合法地进行数据获取。

感谢大家的支持！😊