masque的gravatar头像
masque 2014-09-08 19:27:02

关于数据库千万级别的数据统计方案

数据量在1千万以上

用来存储用户流程操作耗时的表

有人弄过吗?求指点!!!

除了建立索引,还有其他优化的建议吗?

所有回答列表(6)
最代码官方的gravatar头像
最代码官方  LV168 2014年9月8日

听着这是统计系统吧。

先确立数据模型:

user_id type time extend_json

方案1:

如果允许延迟,可以通过log4j写入到文件中,然后再做异步分析写入到其他类型的存储中,如数据库,nosql存储

方案2:

如果对实时性要求高,也可以通过线程池写入redis库中

评论(3) 最佳答案
zakari的gravatar头像
zakari  LV12 2014年9月9日

sql优化。

黄飞鸿的gravatar头像
黄飞鸿  LV19 2014年9月9日

smiley

咖啡加糖609的gravatar头像
咖啡加糖609  LV11 2014年9月9日

千万级别的数据果断要把数据库做分区啊,做几个分区,合理的加上索引,另外程序上和sql上注意下效率,做到这几点感觉就差不多了

westlyou的gravatar头像
westlyou  LV4 2014年9月11日

觉得可以将读写分开吧,比如淘宝系统,可以参考一下。

kaka的gravatar头像
kaka  LV19 2014年9月12日

我最近也在做历史数据统计,我是把历史数据表做分区了

顶部 客服 微信二维码 底部
>扫描二维码关注最代码为好友扫描二维码关注最代码为好友