江苏龙网

  1. 首页 > 生活 > >

网站日志咋分析有教程吗

所谓的从日志里面去分析蜘蛛来访，本来就是假的，还要看教程干吗？
■网友
答完才发现答非所问，算了，网站日志分析也是日志分析，不改了。
------------------------原答案分割线---------------------
就是 parse 日志条目，提取结构化信息。可以用elastic search,也可以用机器学习自然语言处理那套东西，当然那是杀鸡用牛刀。
最好是一开始就输出结构化的日志，直接避免掉第一步处理日志这个问题。
然后对结构化的日志进行查询，处理，展示。可以参考azure monitor的文档

https://docs.microsoft.com/zh-cn/azure/azure-monitor/learn/tutorial-app-dashboards

■网友
所谓的网站日志，就是网站所在服什么是网站日志?
所谓的网站日志，就是网站所在服务器接受用户的各种请求的时候进行的处理状况的记录，无论是正常处理或者是出了各种错误，都会在网站日志中记录下来，其文件结尾以.log为扩展名。
怎样查看网站日志? 对于网站日志的分析：推荐教程《网站日志在哪里 该如何访问》
220.181.108.180 – - “GET / HTTP/1.1″ 200 12447 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)”
下面我来详细的叙述一下这段网站日志都可以告诉我们哪些有用的信息。
220.181.108.180——这是用户的IP地址，相信大家都能轻易看懂。知道了用户的IP，你甚至可以通过查询来得知用户是来自哪个国家、哪个省份、哪个城市的。查询得知，这个IP来自国内北京地区。不同的网站其用户群会有比较明显的区别，比如我的博客肯定大多数访问者是来自沈阳的，而有的网站其用户没有什么明显的地域区别。用户IP配合下面的关键词等信息可以让你更加有效的分析网站的用户体验做得够不够好。
——这里讲的是发生该处理请求的具体时间。这里的时间是2011年5月25日20点21分56秒，后面的+0800则指的是时区，即所在地方相对应英国伦敦格林尼治时间，+0800代表的是东八区的时间。
GET——这是服务器的处理动作，一共只有两种：GET和POST。在网站日志中绝大部分都是GET，只有在进行CGI处理的时候才会出现POST，否则绝大多数时间服务器的响应都是GET，也就是用户从服务器上获取了页面或者别的文件。注意了，GET后面还有一个“/”，这里代表的是用户访问的页面，只有一个斜杠自然代表访问的是网站首页。
HTTP/1.1——这个代表用户访问该页面的时候，是通过HTTP1.1协议进行传输的，也就是超文本传输1.1版本协议。这个我们不必理会，因为网站日志中除了你可能用FTP之外，普通用户基本都是通过HTTP协议来进行访问的(个别提供FTP下载的网站除外)。
200 12447——代表的是用户访问页面的时候返回的状态码。通常状态码有以下几种：200,301,302,304,404,500等。200代表用户成功的获取到了所请求的文件，如果是搜索引擎，则证明蜘蛛在这次爬行中顺利的发现了一些新的内容。而301则代表用户所访问的某个页面url已经做了301重定向(永久性)处理，302则是暂时性重定向，如果你的网站日志中有过多的302代码，那么你需要注意了，是不是把301做错了做成了302?赶紧修改，搜索引擎不喜欢302重定向。404则代表所访问的页面已经不存在了，或者说访问的url根本就是个错误的。500则是服务器的错误。状态码是比较多的，想要详细了解的朋友请自己去搜一下吧，网上相关的信息还是非常多的。后面的12447代表的是被访问页面的体积，我的博客由于采用了gzip压缩，所以首页只有不到12.5KB。 Mozilla/5.0 (compatible; Baiduspider/2.0; +——这一行则详细的说明了用户的一些状况。当然，我所选择的这一段网站日志实际上是百度蜘蛛作为用户被网站日志记录了下来。这一整行就代表了用户是百度的蜘蛛，注意一下，从今年的5月10号开始百度蜘蛛的字段发现了变化，变成了这行代码。原来的是Baiduspider+(+)。实际上从这一部分日志中可以看到用户采用的是什么浏览器，通过哪个搜索引擎的哪个关键词来到了该页面等等。


推荐阅读


上一篇：怎么样运营维护好一家P2P信贷网站

下一篇：咋做到“简单”