互联网生态的可视化

互联网生态的可视化,集体注意力,互联网生态系统,集体注意力,1 s = 571 new websites will be created 1 s = 684478 content will be shared on Facebook 1 s = 100000 tweets will be posted 1 s = 204166667 emails will be sent,1 秒,30亿的用户,集体注意力,眼球经济,注意力经济,占意理论,相关研究,相关研究,在传统研究中，人们习惯性的将人作为研究主体，研究信息是如何在网络上传播的。 关心信息在传播过程动力学行为，包括对有限注意力的竞争，延迟和选择，或者定量化注意力。 微观研究，针对个体或特定的网站内部，没有一个宏观层面上的总体视角。,问题,互联网生态系统,互联网 = 生态系统,动机,方法,结论,总结,美国 VS 中国,归纳 应用,数据来源 方法简介,点击流,数据来源,美国印第安纳大学 2006.10-2008.02 (http:/cnets.indiana.edu/groups/nan/webtraffic/click-dataset/), 平均每一天都有123137个网站和45563567访问量。 数据形式 (time stamp, referrer, host, path),中国互联网信息中心30000多个在线用户的搜索数据。 互联网发展状况分析及社会统计技术应用研究，国家互联网规模（带宽、网民等）、用户行为分析等,数据来源: DNSLAB,集体注意力,流距离：重要性度量,Lij：两个网站间的流距离是一个游客沿着所有可能路径从i到j的首次到达的距离,计算站点间关系的Fundamental矩阵为：,=+ 2 += 1, = 2 2 ,M,F,计算站点间的流距离为：,对称流距离cij:,= = + .,解释为随机游客来回i，j结点的平均路径长度,美国,小世界特性,中国,尖峰长尾,Top 1000 网站,弹簧算法,能不能可视化？把它嵌入到一个高维空间？,假设节点之间有弹簧，节点因为弹簧的拉伸和压缩而运动，最终使得整个系统的弹簧的能量（弹性势能）最小。,弹簧算法,三个步骤： 初始化阶段： 在d维空间下，随机的对每个节点赋予一个初始坐标 调整阶段：通过弹簧算法，计算节点间的欧式距离，使之与它们对应流距离的误差尽可能小。 , = 为i和j在欧式空间下的距离，cij为ij的对称流距离。Eij是两者的差值。 重复计算，直到误差小于一个阈值。 精确阶段：通过嵌入失真度的计算，精细的调整他们的坐标。 失真度公式： = 1, 1 平均失真度： = =1 =1 2 重复计算,top 2200的网站嵌入到20维的欧式空间。 用PCA方法降到2维作图。,Blue Coat Systems,Inc, 分成6类,美国可视化,越中心越重要！,区域划分明显，不同内容的基本在特定区域；综合类分散,中国可视化,每个点代表一个网站. 点的大小则与他们的流量成正比，流量越大，则点的大小越大. 浅蓝色的为流量最大的5个网站，其他则用紫色标示. 图二中的子图是基于中心对焦放大后形成的.,Baidu.com,qq.com,taobao.com,hao123.com,中国聚类分析,我们在20维对节点进行了聚类，然后通过PCA降维的方式，又将其投影到2维平面上展示. 此外，我们抽取了每个类别中心附近的网站，以及特别远离的节点查看这些网站的内容。,嵌入效果,传统的点击率单纯重浏览的角度分析网页的受欢迎程度，但是无法了解网站与网站直接的联系，以及链接的质量。 Pagerank从网站的拓扑结构出发，同时考虑了网站的异质性，是目前网站排名和推送的主流算法。问题，一些点击付费广告站点(Pay-per-click advertising)依赖其广泛的超链接链入以及大量的点击量获得了较高的超链接(PRi)排名，但却无法获得同样的注意力影响力排名 为了更好的说明流距离是网站重要性的指标，我们分别计算了三者的数值，并列举了top网站，通过比较三者差异进而验证。,网站流行度美国,美国,网站流行度中国,网站数、注意力流和耗散 的分布美国,根据网站数量的分位数将网络分成3层。 第一层：核心层 （20%的网站数，70%注意力） 第二层：中间层 （60%的网站数，22%的注意力) 第三层：边缘层 （20%的网站数，8%的注意力）,Kx：决定了偏移量 Cx：决定了陡峭度,各个变量的关系,A,B,G=（A - B）/ B,Fig 5. The distribution of attention flow, websites and dissipation in each internal. The X-axis means the distance from the center, and the Y-axis is the percentage. The red line is the number of sites in this interval, the green line is the total flow of sites, and the blue line is their dissipation,网站数、注意力流和耗散 的分布中国,网站数、注意力流和耗散 的分布中国,根据网站数量的分位数将网络分成3层。 第一层：核心层 （1%网站数，43%的注意力） 第二层：中间层 （34%的网站数，40%的注意力) 第三层：边缘层 （65%的网站数，17%的注意力）,现在网络世界盲目扩张的现状,Fig.6 The cumulative distribution of attention flow, websites and dissipation. The X-axis means the distance from the center, and the Y-axis is the percentage, the points represent the actual data, and solid lines are fitting lines,动态过程,This indicates that the central area of the system are becoming denser as time goes by indicating that the websites are closer and more connected each other.,总结,动机,方法,结论,总结,归纳 应用,总之，我们通过分析人类上网的注意力流，更深刻的认识了人们浏览和整个互联网生态系统。 这一研究可以帮助我们分析除了上家和下家之外的间接联系。 帮助我们看到网站之间的关联性，从而更好的对网站进行评价。 可能会预测黑马类的网站。,互联网+,谢谢观赏！,Thanks!,