很早以前一看到API就会望而却步,但事实上通过一些数据复分析平台的程序接口,让大家能够获取到想要的数据成为一种更加方便的事情,这种程序获取数据的手段并不一定是 遥不可及的,今天就来分享下如何利用API来获得数据的思路和见解,通过一些简单的例子,希望能够抛钻引玉。

先说一个例子,可能就在几年前,开发者通过写程序去抓取搜索引擎的结果页,以此来推断搜索引擎排序的一些相关因素分析,而搜索引擎特别是国外的Google,对此采用了很多手段来屏蔽这些他们认为是‘不良’的非法IP。而随着行业不断的发展,搜索引擎就提供了开发的数据接口,这个接口不仅仅是为你提供数据而已,可能是数据合作,比如像百度的开发平台,暗网是不好抓取的,优秀资源的网站就提供XML或者接口导入百度。那么,稍微总结下就是一句话:整个WEB数据资源何其多,通过一些API方便你我他。你我他就是平台,分析师,终端用户。

对于网站数据分析,分析师可以用API做什么?

简而言之,方便快速,自动化地获取并处理网站分析平台的源数据。目前遇到过的网站分析工具的源数据请求后返回的情况基本上都是XML或者JSON格式的数据。比如Alexa就是XML,谷歌分析的算是JSON格式化的数据,对于处理这些格式的文件,相信用JAVA等程序语言处理应该不是难事。(这个话题今天就不在这里深入了,有技术背景相信很容易理解。) 用过Compete(竞争情报分析的网站分析工具)的朋友相信对于在网站后台的各个网站的数据源(竞争网站的流量,页面跳出率,来路关键词,广告,年龄收入等)都很感兴趣,但如果一次性要做50个的竞争网站分析,那就需要很大的手工量去得到这些数据,放入Excel表格中,再生成图。如果有了Compete的API权限,这个就不是难事了。这里简单介绍下思路,注册个Compete的开发者账号,然后获取一个API key字符串,这个key就相当获取Compete数据的钥匙,之后请求一个会带有很多参数或者字符串的URL,以Compete为例https://apps.compete.com/sites/DOMAIN/trended/METRIC/?apikey=APIKEY,那么将DOMAIN换成一个实际的域名,比如mysite.com,然后METRIC换成uv,APIKEY只要将你申请得到的字符串加入就可以了,访问URL之后得到一组JSON数据。摘自Compete API文档的一个例子,如下。

{ “status”: “OK”, “data”: { “trends”: { “uv”: [ {“date”: “201401”, “value”: 13321}, {“date”: “201402”, “value”: 31331}, {“date”: “201403”, “value”: 23233}, … ] }, “trends_low_sample”: false, “query_cost”: 15, “trends_frequency”: “monthly” } }

这么一来,要一次性获取N个站点的UV就易如反掌了。继续细分还可以获得每个站点某一个月的UV数据了。写一个程序就可以得到了。当然Compete免费的API是有限制配额的,如果有余力的话购买付费版本将可以得到更多的请求机会。

常见的API资源有像Google开发者中心里面应有尽有,还有社交媒体的网站,比如国内的微博,还有网站分析工具SEMRush这一类的等等。事实上,如果有的公司有自己的数据中心团队,一定也有开发的资源来配合维护这些API程序的,而很多电商网站则选择购买一些现成的工具。比如获取Google+1和Facebook的share量,Google和Facebook是提供API接口的,国外的很多开发爱好者也会自己做一些有趣的工具作为自己的一个项目提供服务。

本文只是抛钻引玉地介绍了网站分析工具Compete的API的一些简单例子,还有很多不少国外的英文网站分析工具的API值得深入挖掘,比如所感兴趣Google的图表API,还有最经典的GA API,以后有机会再和大家多多探讨GA API。

注:所有文章及图片版权归网站数据吧(WebData8.com)所有。转载请注明出处“Webdata8网站分析”。