自己的很多文章都发在公众号上，想要查看所有历史文章，可不是那么方便。

有没有办法能一键抓取所有文章，自动呈现在我眼前？

这时，爬虫了解下？

今日分享，就带着大家实操一番，爬取公众号所有历史文章。

目录

什么是爬虫如何爬取公众号文章Step 1：注册一个公众号Step 2：获取三个值Step 3：编写代码

写在最后

什么是爬虫

爬虫这个名词，由来已久了，对于非技术同学来说，可能稍微有点陌生。

爬虫，是一种自动浏览网页的技术，它按照一定的规则，自动访问互联网上的网页，获取网页内容。爬虫可以用于多种目的，比如搜索引擎的数据收集、市场研究、数据挖掘等。

爬虫的类型可以分为：

通用爬虫：爬取整个互联网上的信息，如 Google 和 百度 的爬虫。特定爬虫：专注于特定主题或领域的信息，只爬取与特定主题相关的网页。

！友情提醒：使用爬虫需遵守相关法律法规，和网站的 robots.txt 文件规定，避免对网站服务器造成过大负担。

所以，爬取网络资源，最重要的就是可以找到目标网站的 url 地址。

如何爬取公众号文章

Step 1：注册一个公众号

首先，你需要有一个自己的公众号，已经有公众号的小伙伴可以略过，接着往下看。

如果没有的话，大家可以自行操作，注册公众号的步骤非常简单。

Step 2：获取三个值

登录自己的公众号，在控制台首页找到新的创作，点击 <code>图文信息：

然后，找到正上面的<code>超链接并打开：

这时你就可以看到自己的所有文章列表了：（如果你想查看其他公众号，在右侧👉）

停留在当前网页，按 F12 打开浏览器的开发者工具，找到<code>网络，点击Fetch/XHR，过滤掉其他信息。

注：我这里用的 edge 浏览器，其他浏览器也是类似的。

拉到文章列表的最下方，找到并点击翻页按钮。此时，你会发现右侧的开发者工具界面内容多出来一条，就点它👇：

在 <code>标头 这里，找到 cookie 并复制右侧对应的值：

再到 <code>负载 这里，找到 fakeid 和 token 并复制保存下来。

把 cookies、token 以及 fakeid，保存下来，这三者缺一不可。

Step 3：编写代码

有了上述这三个值，我们就可以编写 Python 代码了。

首先，定义 url，header ，然后把三个值填到下面参数的对应位置。

<code># 目标url

url = "https://mp.weixin.qq.com/cgi-bin/appmsg"

cookie = "填写上方获取到的 cookie"

headers = {

"Cookie": cookie,

"User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.75 Mobile Safari/537.36",

}

data = {

"token": "填写上方获取到的 token",

"lang": "zh_CN",

"f": "json",

"ajax": "1",

"action": "list_ex",

"begin": "0",

"count": "5",

"query": "",

"fakeid": "填写上方获取到的 fakeid", # 自己的号，设置为空

"type": "9",

}

想要看看公众号共有多少篇内容？ 来~

def get_total_count():

content_json = requests.get(url, headers=headers, params=data).json()

count = int(content_json["app_msg_cnt"])

return count

想要获取所有文章内容？ 来~

def get_content_list(count, per_page=5):

page = int(math.ceil(count / per_page))

content_list = []

for i in tqdm(range(page), desc="获取文章列表"):code>

data["begin"] = i * per_page

content_json = requests.get(url, headers=headers, params=data).json()

content_list.extend(content_json["app_msg_list"])

time.sleep(random.randint(5, 10))

# 保存成json

with open("content_list.json", "w", encoding="utf-8") as f:code>

json.dump(content_list, f, ensure_ascii=False, indent=4)

我们在"app_msg_list"中可以看到，拿到了所有文章的列表：

当然，你也可以把文章处理成表格，方便查看：

<code>import pandas as pd

def precess_content_list():

content_list = json.load(open("content_list.json", "r", encoding="utf-8"))code>

results_list = []

for item in content_list:

title = item["title"]

link = item["link"]

create_time = time.strftime("%Y-%m-%d %H:%M", time.localtime(item["create_time"]))

results_list.append([title, link, create_time])

name = ['title', 'link', 'create_time']

data = pd.DataFrame(columns=name, data=results_list)

data.to_csv("data.csv", mode='w', encoding='utf-8')code>

用 Excel 打开看看吧：

写在最后