python如何爬取微信公众号文章评论

小编给大家分享一下python如何爬取微信公众号文章评论，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

创新互联公司专注于密云企业网站建设,成都响应式网站建设公司,商城系统网站开发。密云网站建设公司,为密云等地区提供建站服务。全流程定制制作，专业设计，全程项目跟踪，创新互联公司专业和态度为您提供的服务

1、获取Cookie

因为是爬自己微信号文章里面的评论，首先你需要登录公众号后台，登录后才能看到文章的评论，登录就会涉及到 cookie，发起请求时只有带上 cookie 才能得到正确的数据。所以第一步就是把 cookie 信息取到。

打开 Chrome 浏览器你会看到发送请求时会自动把 Cookie 信息发送给微信，我们就把这段 Cookie 数据拷贝出来，用 Python 构建一个 Cookie 对象，给 requests 使用。

from http.cookies import SimpleCookie
raw_cookie = "gsScrollPos-5517=; ..中间还省略很多... bizuin=2393828"

cookie = SimpleCookie(raw_cookie)
requests_cookies = dict([(c, cookie[c].value) for c in cookie])

r = requests.get(url, cookies=requests_cookies)

2、构造URL

打开任意文章的评论列表，你会发现它的 URL 结构非常清晰，根据名字基本能判断每个参数的意义，这里比较重要的参数是 begin，它是作为分页的起始位置，其实它固定不变就好

url = "https://mp.weixin.qq.com/misc/appmsgcomment?" \
                "action=list_comment&" \
                "mp_version=7&" \
                "type=0&" \
                "comment_id=2881104117&" \ # 被评论的文章ID
                "begin=0&" \  # 分页参数
                "count=10&" \ # 每次返回10条评论
                "token=1300595798&" \
                "lang=zh_CN"

3、抓取数据

把 Cookie 和 URL 都搞清楚了，就可以把模拟浏览器抓取数据并进行清洗，开始想着用 BeautifulSoup 来解析网页，结果失败了。

查找了原因，把爬下来的页面另存为 html 文件，在 html 源代码文件中找留言里面的关键字，发现评论并没有在 div 标签中，而是存在于一段 JS 代码块中，看起来像 JSON 数据，看来数据是在本地用 JavaScript 渲染后显示的。

于是改用正则表达式，截取需要的数据，最终存储数据库，差不多10代码搞定。

def main():
   # 普通留言, 精选留言总数
   normal_count, selected_count = 141, 100
   # 普通留言url
   normal_url = "https://mp.weixin.qq.com/misc/appmsgcomment?"
   dd = dict([(normal_count, selected_url)])

   for k, v in dd.items():
       crawler(k, v)

def crawler(count, url):
   for i in range(0, count, 10):
       r = requests.get(url.format(begin=i), cookies=requests_cookies)
       match = re.search(r'"comment":(\[\{.*\}\])', r.text, re.S)
       if match:
           data = json.loads(match.group(1), encoding="utf-8")
           conn.insert_many(data)
       time.sleep(1)

这是文章Python进阶好书推荐，还有送书中的评论词云：

以上是“python如何爬取微信公众号文章评论”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！