抖音公司如何收集大数据

1、在中国移动互联网的大潮中，七麦应运而生，也顺势而起。随着人口红利、流量红利的消失，七麦当下也面临着和它的那些开发者客户一样的质问：如何增长？

2、抖音上的数据基本上都是通过http协议来进行抓取的

3、利用足够多的ip和设备号、如果能用cookie就最好了，没有也行，就是抓的慢，追踪作者信息，可以深层次挖掘作者的作品数、获赞数、粉丝数等数据

4、除了通过网页的源代码采集网络数据外，对于APP信息的采集多通过抓包实现。所谓“抓包”，就是截获手机与服务器之间通信的数据，进行解析获取通信间传递的数据。

5、我们都知道feed是流的意思，百度的信息流新闻地址也是feed.baidu.com，可以初步判定，从这个地址请求的数据应该是“流”式的，也就是说至少包含多个视频信息！

6、大量数据背后，理论上我们可以分析抖音的推荐逻辑，搪冂溟杼毕竟每6个视频一组打包下载，肯定存在某种规律；采集的信息中包含了作者的性别、年龄、地理位置、学校等信息，用户画像也是可以分析出来的