高并发下java实现数据负载均衡落地的实例

这是一个去年根据线上问题而改编的项目。

在实际生产中，我们可能会经常遇到需要数据落地到DB或者其他存储介质。但是大量数据在高并发下需要落地，如果不做任何措施，将是高频率地访问DB（或其他存储介质）、占用网络IO。为了解决这个问题，这个项目横空出世了。批量异步数据输出。防止高频率访问DB,网络IO，有节操地使用资源。

项目运行原理：

（SkuTemplate是客户端实现的读取数据模板，自定义的ConcurrentWriter对应项目中的客户端实现的SkuHandler）

项目用法：

整个项目框架通过配置文件配置，客户端需要继承AbstractConcurrentWriter类，实现自己的落地方案。

1.异步输出模板类SkuTemplate继承这个抽象类AbstractConcurrentTemplate，实现其hash分片的算法（getReader（T t）方法，也可以使用其他分片方法，起到负载均衡作用）

public IConcurrentReader<Sku> getReader(Sku t) {
		int hashCode = t.getId().hashCode();
		IConcurrentReader<Sku>[] readers =  this.getReaders();
		IConcurrentReader<Sku> reader = readers[hashCode%this.getQueueSize()];
		if(reader!=null){
			return reader;
		}
		return null;
	}

2.客户端实际落地类SkuHandler extends AbstractConcurrentWriter<T>，实现具体落地的方法

public void write(MemoryPage<Sku> t) {
		List<Sku> skuList = t.getContent();
		if(skuList!=null && skuList.size()>0){
			for(Sku sku : skuList){
				logger.debug("write sku info|{}", sku);
			}
			logger.info("write {} skuList", t.size());
		}
	}

3.main 函数入口

public static void main(String[] args) {
		logger.info("read start..........");
		TestMain main = new TestMain(2);
		main.testRead();
	}

4.配置文件 concurrentWrite.properties 中

#初始化线程池线程数
write.thread.size=3
#写入落地的线程数
writer.size=3
#最大内存页数
memory.max.size=100
#单位s
memory.timeout=5

#客户端实现类

concurrent.writer.class=com.cuncurrent.sdk.test.SkuHandler

5.项目运行图