python爬取微博动态页面id、内容、评论点赞数存入MongoDB 详解_小薄冲冲冲的博客

爬取微博用户id和评论

前情提要本次爬取有未解决的问题1.用urlencode合成的url解析出错2.微博爬取个人微博页面不知道如何翻页但是操作和代码可以实现在m.weibo.cn输入关键字后出现的页面的爬取一、具体操作及注意事项1.获取解析json文件微博有weibo.com和m.weibo.cn两种页面从weibo.com打开要爬的页面XHR中全是视频分流数据找不到需要的文件所以要注意换为m.weibo.cn这个网址如果分析某个人的个人微博暂时还未找到url翻页的规律本次通过搜索关键字爬取整