scrapy

参考资料 简单视频入门 scrapy项目的一般步骤 scrapy爬虫常见问题 为了排查爬虫运行时出现的异常问题，需要调试手段。常用的将log输出保存到文件中，便于查找问题 爬虫scrapy框架–log日志输出配置及使用scrapy 日志 当数据中有gbk无法写入的字符时，文件在保 ...
2023-03-06 爬虫

公众号文章爬取

需求：对指定公众号的所有文章进行爬取。 参考资料 【Python爬虫】微信公众号文章爬取思路分析与实践_哔哩哔哩_bilibili 方案一 进入自己的公众号平台——>内容和互动——>草稿箱 点击插入超链接——>公众号一行，选择其他公众号——>输入需要爬取的 ...
2023-03-06 爬虫

app抓包

抓包步骤 下载fiddler，一个网络抓包工具 下载nox模拟器，并开启多开模式使用Android 5版本来安装要抓包的应用，Android 6之后，用户添加的ca证书无法生效 设置模拟器中的网络代理，将代理服务器地址和端口设置为fiddler的代理端口和本机ip fiddler中开启https ...
2022-09-17 爬虫