# MediaCrawler 项目技术分析

## 总体架构

项目使用了 Playwright 作为核心技术来模拟浏览器行为,主要步骤包括:

1. 使用 Playwright 启动浏览器并保持登录状态
2. 通过执行 JS 获取加密参数
3. 使用 httpx 发送请求获取数据
4. 数据存储到 MySQL/CSV/JSON

## 各平台实现细节

### 1. 抖音

核心技术:
- 使用 Playwright 模拟浏览器环境
- 通过执行 JS 获取 X-Bogus 等加密参数
- 支持搜索、指定视频、创作者主页爬取
- 支持评论和二级评论获取

### 2. 小红书

核心技术:
- 使用 Playwright 获取登录态
- 通过 JS 注入获取 X-s 等签名参数
- 支持笔记搜索、指定笔记、用户主页爬取
- 支持评论数据抓取

### 3. 快手

核心技术:
- 使用 Playwright 维持登录状态
- 通过 JS 执行获取 _signature 等参数
- 支持视频搜索和指定视频爬取
- 支持评论数据抓取

### 4. B站

核心技术:
- Cookie 登录方式
- wbi 签名参数构造
- 支持视频搜索和指定视频爬取
- 支持评论数据抓取

### 5. 微博

核心技术:
- 使用 Playwright 维持登录态
- 通过 JS 获取加密参数
- 支持微博搜索和指定微博爬取
- 支持评论数据抓取

### 6. 贴吧

核心技术:
- Cookie 登录方式
- 通过解析 HTML 获取数据
- 支持帖子搜索和指定帖子爬取
- 支持评论数据抓取

### 7. 知乎

核心技术:
- 使用 Playwright 维持登录态
- 通过 JS 获取 x-zse-96 等参数
- 支持回答搜索和指定回答爬取
- 支持评论数据抓取

## 项目亮点

1. 使用抽象类设计,代码结构清晰
2. 支持 IP 代理池
3. 支持多账号登录
4. 支持生成评论词云图
5. 支持多种数据存储方式
6. 使用 Playwright 降低逆向难度

这个项目通过巧妙使用 Playwright 来获取加密参数,大大降低了爬虫的开发难度,是一个非常实用的自媒体平台数据采集工具。

#63f85aee0000000013015174