更新时间：2024-05-13 09:18:28点击：
了解更多短视频直播数据采集分析接口请点击查看接口文档
在抖音APP中根据关键词爬取响应视频的具体信息，主要包括视频标题、作者ID、视频url地址以及点赞数等。
在PC端安装安卓模拟器，模拟器很多，可随便选一个款就可以，我用的是雷电模拟器，模拟器一般都是自带root的。模拟器安装好后，然后进行一下配置 。 首先在命令窗口中输入ipconfig获取本机IP（注意：如果电脑连接的是无线网，IP就会根据的你无线地址变化）
然后在设置模拟器代理（IP 要和上面的一致，不一致后面会导致APP不能上网）
安装fiddler，具体安装步骤参考度娘，本项目中fiddler主要是用来抓包查看抖音的数据格式。对fiddler进行一下设置
接下来安装fiddler证书，在模拟器中的浏览器中输入本机IP和端口号，下载并安装证书
然后打开模拟器设置，开启桥接模式，不然后面会出现响应内容为空。
完成以上配置后，在命令行中输入mitmdump -p +端口号就可以启动服务了（注意：此时要关闭fiddler，不然会产生端口冲突）
为了是抖音能正常访问网络，还需要安装xposed框架的JustTrustMe组件
使用fiddler对抖音数据进行抓包，打开fiddler和抖音，向上滑动，获取更多视频，此时在fiddler中也会出现跟多的文件。找到POST请求中对抓到的数据进行分析，得到请求地址和数据格式。
知道url地址和数据格式之后，编写python程序，使用mitmdump抓包，当滑动屏幕就可以解析出数据。代码如下：
import json
import pandas as pd
import csv
import jsonpath
#函数名必须这样写 这是mitmdump规则
def response(flow):
#下面这个网址是通过fiddler获取到的 但是有些数据我们无法解密，所以需要用mitmdump捕获数据包然后做分析
if 'api.amemv.com/aweme/v1/search/item' in flow.request.url:
#将json数据转换为python对象
text = flow.response.text
data_json = json.loads(text)
#解析数据
for vedio in data_json.get('aweme_list'):
#构建有个空字典
vedio_info={}
#使用join去掉列表输出时存在的[]，元素名前加*也是为了去掉输出数据带的''
#获取作者名字
author_list = [str(i) for i in jsonpath.jsonpath(vedio,'$..nickname')]
vedio_info['author_name'] = ''.join(*author_list)
#获取视频的评论数
comment_list = [str(i) for i in jsonpath.jsonpath(vedio,'$..comment_count')]
vedio_info['comment'] = ''.join(*comment_list)
#获取视频的点赞数
digg_list = [str(i) for i in jsonpath.jsonpath(vedio,'$..digg_count')]
vedio_info['digg'] = ''.join(*digg_list)
#获取作者的ID
vedio_info['author_id'] = vedio['author_user_id']
#获取视频的标题
vedio_info['vedio_title'] = vedio['desc']
#获取视频的url地址
vedio_info['vedio_url'] = vedio['share_url']
#打印视频的详细信息
print(vedio_info)
name_info = vedio_info['author_name']
comment_info = vedio_info['comment']
digg_info = vedio_info['digg']
author_info = vedio_info['author_id']
title_info = vedio_info['vedio_title']
url_info = vedio_info['vedio_url']
#newline的作用是防止每次插入都有空行
with open("food.csv", "a+", encoding='utf8',newline='') as csvfile:
writer = csv.writer(csvfile)
#以读的方式打开csv 用csv.reader方式判断是否存在标题。
with open("food.csv", "r", encoding='utf8',newline='') as f:
reader = csv.reader(f)
if not [row for row in reader]:
#先写入每一列的标题
writer.writerow(["name","author_id","comment_num","digg_num", "vedio_title", "vedio_url"])
#再写入每一列的内容
writer.writerows([[name_info,author_info,comment_info,digg_info,title_info,url_info]])
else:
writer.writerows([[name_info,author_info,comment_info,digg_info,title_info,url_info]])关闭fiddler，在命令窗口进入到.py文件的路径中，使用命令mitmdump -p 8888 -s douyin_vedio.py 回车运行，手动滑动屏幕就可以不断解析出更多的数据。
可以看到，上面已经得到了我们需要的内容，然后将数据存入到csv文件中。
如果数据量很大，手动滑动屏幕很麻烦，我们可以只用Appium进行自动化操作，实现包括打开抖音和自动滑屏等功能，我这里使用一个稍微简单的方法（实现功能就可以，手动狗头），使用Auto.js，编一些一个自动滑屏的脚本就可以实现自动滑屏了。要搞一下骚操作的话还是用Appium吧。
自动滑屏脚本，很简单
while(true){
Swipe(device.width/2,1300,device.width/2,300,2000);
sleep(2000)}打开Auto.js悬浮按钮，在抖音中运行自动滑屏脚本就可以了（注意：在Auto.js的设置中打开音量上键关闭停止所有脚本，不然会一致滑屏就无法正常使用模拟器了）
打开脚本后就可以看到视频在自动的滑动了。
大神们请略过，像我这种初学爬虫的弟弟，还是需要更多的耐心去学习。安装各种软件、配置环境和编写程序都会遇到各种各样的问题，重启可以解决百分之八九十的电脑故障问题，找度娘也可以解决你绝大多的问题，不管遇到什么问题就找度娘吧（看病除外）。
免责申明：此内容仅供学习交流使用，若侵犯贵方权益，请联系作者删除
