Tonfay
2015-12-03 18:36:57
等
nginx用户访问网页日志如何实现自动导入存储到mongodb数据库？
最近有一个做log日志需求.觉得百思不得其解.
需求:访问某一页面,进行浏览页面的数据存储持久化,同时完成对数据的各种记录查询.
最近想到一个解决的思路,不过还有点缺陷;
首先使用nginx进行log的format ,在手动通过log导入到monggodb .
问题来了,怎么样能够使用nginx 在生成一条log的同时自动向mongodb存储一条数据.
(还有一个问题就是,nginx对日志进行format的同时 ,是否占用更多的cpu?)
所有回答列表(1)
最代码官方 LV168
2015年12月4日
1.为什么要手动导入呢？网站访问量大的时候如何及时，如何排重？
可以通过程序来实现读取log并写入mongodb，shell可以，java，php，python也可以，另外nginx支持组件开发，也可以试试。
2.nginx log按format格式化不会影响cpu，就像你本来要输出：1，2，3，然后按format输出为了：3，2，1，format数据量相同的情况下IO写入磁盘也相同，所以不会影响cpu。
参考资料
程序处理文本处理少不了正则表达式，也可以参考下正则语法
- 等 最代码怎么获取牛币啊?
- 完 谁来告诉我最代码上线的时间，答对者给5牛币，先来先得
- 等 牛友们，大家好，你们做程序员多久了？现在还好吗？
- 完 在微信打开的页面里进行app下载
- 等 最代码2014年欢乐聚声会
- 完 mysql如何查询表数据并且对3个字段降序的SQL？
- 完 最代码牛币机制改革
- 完 成功的在bae上使用了自定义运行环境 jetty+nginx的组合,大家对jetty+nginx优化有哪些心得?
- 完 进来分享一下各位牛牛是如何加入最代码大家庭的？
- 等 为什么java BufferedImage类处理大图直接抛出内存溢出的异常?
- 等 最代码是否开发手机app客户端？
- 完 java程序员学习哪些java的技术？java有哪些框架？都能做哪方面的开发？
- 等 php格式网页文件怎么运行？
- 等 Java volatile值获取的问题
- 等 前端vue，拦截了登录后台后，返回的token，requests拦截token,但是发送请求的时候，就出现跨越异常
- 等 大专本科计算机科班怎么找到Java工作？
- 等 eclipse怎么把三个java swing游戏项目合成一个项目?
- 完 伙伴们，大家都有什么好的解压方式么，分享一下~
- 完 三四线城市，6、7k，运维工作，索然无味，想去辞职上培训，各位牛牛有什么建议嘛
- 等 jsp页面输入中文变成问号
- 等 JPA在线上运行一段时间后报错Caused by: java.lang.IncompatibleClassChangeError: null
- 等 PHP 这个规则用preg_match_all怎么写
- 等 大佬们，有没有知道Alfresco如何配置LDAP登录呢?
- 等 php的install目录是框架带的吗？
相关问答
- 等 阿里云的云主机上如何在nginx上配置虚拟主机？
- 等 nginx反向代理如何转发到本地的tomcat?
- 完 Nginx如何通过A机器(通外网)访问B机器(不通外网)的图片?
- 等 nginx配置https为什么有的网络不可以访问?
- 等 nginx代理tomcat配置静态文件为什么修改文件路径后通过域名访问不到？
- 完 nginx如何记录每次请求开始，服务器处理到返回结果的时长？
- 等 nginx静态文件返回http 304状态码优化缓存配置
- 完 最代码的301重定向是服务器nginx配置的还是java代码实现的呢~！两者哪个更好一些
- 等 nginx tomcat upstream集群为什么局域网下运行有问题？
- 等 nginx配置多个tomcat是在同一台服务器还是在不同的服务器？
- 完 哪位开发能提供apache或nginx的海量访问日志文件，我想做大数据分析业务！
- 等 tomcat+nginx配置robots.txt文件在网站根目录，访问为什么访问出现404文件不存在的问题呢？
最近浏览
