时间:2021-05-20
相信不少开发者在遇到项目对数据进行批量操作的时候,都会有不少的烦恼,尤其是针对数据量极大的情况下,效率问题就直接提上了菜板。因此,开多线程来执行批量任务是十分重要的一种批量操作思路,其实这种思路实现起来也十分简单,就拿批量更新的操作举例:
开启异步执行任务的线程池
public void threadMethod() { List<T> updateList = new ArrayList(); // 初始化线程池, 参数一定要一定要一定要调好!!!! ThreadPoolExecutor threadPool = new ThreadPoolExecutor(20, 50, 4, TimeUnit.SECONDS, new ArrayBlockingQueue(10), new ThreadPoolExecutor.AbortPolicy()); // 大集合拆分成N个小集合, 这里集合的size可以稍微小一些(这里我用100刚刚好), 以保证多线程异步执行, 过大容易回到单线程 List<T> splitNList = SplitListUtils.split(totalList, 100); // 记录单个任务的执行次数 CountDownLatch countDownLatch = new CountDownLatch(splitNList.size()); // 对拆分的集合进行批量处理, 先拆分的集合, 再多线程执行 for (List<T> singleList : splitNList) { // 线程池执行 threadPool.execute(new Thread(new Runnable(){ @Override public void run() { for (Entity yangshiwen : singleList) { // 将每一个对象进行数据封装, 并添加到一个用于存储更新数据的list // ...... // 任务个数 - 1, 直至为0时唤醒await() countDownLatch.countDown(); } } })); } try { // 让当前线程处于阻塞状态,直到锁存器计数为零 countDownLatch.await(); } catch (InterruptedException e) { throw new BusinessLogException(ResponseEnum.FAIL); } // 通过mybatis的批量插入的方式来进行数据的插入, 这一步还是要做判空 if (GeneralUtil.listNotNull(updateList)) { batchUpdateEntity(updateList); LogUtil.info("xxxxxxxxxxxxxxx"); }}多线程是Java的一个难点,但是它也很有趣,听说玩得溜得起飞的人,人生都开启多线程模式了…
到此这篇关于Java使用多线程异步执行批量更新操作的文章就介绍到这了,更多相关java多线程异步执行批量更新内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
在使用多线程的时候有时候我们会使用java.util.concurrent.Executors的线程池,当多个线程异步执行的时候,我们往往不好判断是否线程池中所
高性能异步爬虫目的:在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式:-多线程、多进程(不建议):好处:可以为相关阻塞的操作单独开启多线程或进程,阻塞操作
在多线程开发中,常常遇到希望一组线程完成之后在执行之后的操作,java提供了一个多线程同步辅助类,可以完成此类需求:类中常见的方法:其中构造方法:CountDo
本博客简介介绍一下java线程的join方法,join方法是实现线程同步,可以将原本并行执行的多线程方法变成串行执行的如图所示代码,是并行执行的publiccl
C#多线程与异步的区别详解随着拥有多个硬线程CPU(超线程、双核)的普及,多线程和异步操作等并发程序设计方法也受到了更多的关注和讨论。本文主要是想与各位高手一同