分段执行

发表于2022-05-01|更新于2022-05-01|工程实践

|浏览量:

int batchSize = 1000;
if(dataList.size() <= batchSize){
    insertByStocks(dataList,type);
}else {
    for(int i = 0;i < dataList.size();i+=batchSize){
        if((i + batchSize)> dataList.size()){
            batchSize = dataList.size()-i;
        }
        insertByStocks(dataList.subList(i,i+batchSize),type);
    }
}

batchSize: 每次执行多少条

dataList: 数据列表

insertByStocks：需要执行的方法

文章作者: Foam🍅

文章链接: https://xiaohang.site/engineering/batch-segmented-execution/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源喵喵鱼塘！

工具类算法公式

相关推荐

线程池工具类

1.编写线程池工具类1234567891011121314151617181920212223242526272829303132333435363738394041424344454647public class ThreadUtils { public static ExecutorService newFixedThreadPool() { return new ThreadPoolExecutor(4,4, 10L, TimeUnit.MILLISECONDS, new LinkedBlockingDeque<Runnable>(100), Executors.defaultThreadFactory(), new ThreadPoolExecutor.CallerRunsPolicy()); } /** * （1.8版本）使用线程池请求接口 */ public static <T&...

对象转MAP工具类

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849package com.service.zxing.util;import java.lang.reflect.Field;import java.lang.reflect.Modifier;import java.util.HashMap;import java.util.Map;public class BeanMapUtilByReflect { /** * 对象转Map * @param object * @return * @throws IllegalAccessException */ public static Map beanToMap(Object object) throws IllegalAccessException { Map<String, Object> map = new H...

limiter限流单机限流思路介绍采用 Google 的 Guava 中的 RateLimiter.create 来进行令牌桶的分发，但是我们需要动态控制限流的速率，所以在这上面利用单例模式的“ 双重检查锁 ”和 “懒汉式”来进行动态创建 12345<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>20.0</version></dependency> 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960package com.tthk.inland.ticket.core.utils.limiters;import com.google.common.util.concurrent....

驼峰命名转换工具类

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136package com.tiantai.policys.commons.utils.common;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject; import java.util.*; /** * @Description JOSNObject 驼峰转换工具 * @Author Wan...

定义either类

定义either类在我们日常开发中，stream流里面如果出现了异常是没法直接抛出的，需要进行try-catch进行捕获然后进行处理，或者干脆直接抛出异常停止这个时候我们需要一个either工具类，区分成功和失败的执行结果，并且单独对失败的这些结果进行处理，以下是一些简单的实现 1234567891011121314151617181920212223242526272829303132333435package com.tthk.inland.ticket.core.utils.stream;import java.util.List;import java.util.Random;import java.util.stream.Collectors;import java.util.stream.Stream;/** * @Description either类 * @date 2023/4/20_15:05 * @author Foam */public class Either<L, R> { public static void mai...

实体类转MAP工具类

实体类转MAP工具类123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657package com.tthk.inland.ticket.core.utils.other;import java.lang.reflect.Field;import java.util.HashMap;import java.util.Map;public class EntityUtils { /** * * @description 实体类转Map */ public static Map<String, Object> entityToMap(Object object) { Map<String, Object> map = new HashMap<>(); for (Field field : object.getClass().getDeclaredFields()) ...