分段执行

发表于2022-05-01|更新于2026-07-06|工程实践

|浏览量:

int batchSize = 1000;
if(dataList.size() <= batchSize){
    insertByStocks(dataList,type);
}else {
    for(int i = 0;i < dataList.size();i+=batchSize){
        if((i + batchSize)> dataList.size()){
            batchSize = dataList.size()-i;
        }
        insertByStocks(dataList.subList(i,i+batchSize),type);
    }
}

batchSize: 每次执行多少条

dataList: 数据列表

insertByStocks：需要执行的方法

文章作者: Foam🍅

文章链接: https://xiaohang.site/engineering/batch-segmented-execution/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源喵喵鱼塘！

工具类算法公式

相关推荐

线程池工具类

1.编写线程池工具类1234567891011121314151617181920212223242526272829303132333435363738394041424344454647public class ThreadUtils { public static ExecutorService newFixedThreadPool() { return new ThreadPoolExecutor(4,4, 10L, TimeUnit.MILLISECONDS, new LinkedBlockingDeque<Runnable>(100), Executors.defaultThreadFactory(), new ThreadPoolExecutor.CallerRunsPolicy()); } /** * （1.8版本）使用线程池请求接口 */ public static <T&...

枚举工具类判断包含关系

123456789101112131415161718192021222324252627package com.tthk.inland.ticket.core.enums.order;import lombok.AllArgsConstructor;import lombok.Getter;import java.util.Arrays;/** * @Description 重试状态枚举 * @date 2023/4/7_15:04 * @author Foam */@Getter@AllArgsConstructorpublic enum RetryEnum { SYS_ERROR("系统错误，请您稍后重试"), SYS_ERROR_01("系统开了一个小差"); private String type; /** * @Description 判断是否需要进行重试，true：需要，false：不需要 * @date 2023/4/7 **/ public static Bo...

limiter限流单机限流思路介绍采用 Google 的 Guava 中的 RateLimiter.create 来进行令牌桶的分发，但是我们需要动态控制限流的速率，所以在这上面利用单例模式的“ 双重检查锁 ”和 “懒汉式”来进行动态创建 12345<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>20.0</version></dependency> 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960package com.tthk.inland.ticket.core.utils.limiters;import com.google.common.util.concurrent....

实体类转MAP工具类

实体类转MAP工具类123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657package com.tthk.inland.ticket.core.utils.other;import java.lang.reflect.Field;import java.util.HashMap;import java.util.Map;public class EntityUtils { /** * * @description 实体类转Map */ public static Map<String, Object> entityToMap(Object object) { Map<String, Object> map = new HashMap<>(); for (Field field : object.getClass().getDeclaredFields()) ...

定义either类

定义either类在我们日常开发中，stream流里面如果出现了异常是没法直接抛出的，需要进行try-catch进行捕获然后进行处理，或者干脆直接抛出异常停止这个时候我们需要一个either工具类，区分成功和失败的执行结果，并且单独对失败的这些结果进行处理，以下是一些简单的实现 1234567891011121314151617181920212223242526272829303132333435package com.tthk.inland.ticket.core.utils.stream;import java.util.List;import java.util.Random;import java.util.stream.Collectors;import java.util.stream.Stream;/** * @Description either类 * @date 2023/4/20_15:05 * @author Foam */public class Either<L, R> { public static void mai...

规则枚举一些简单的猜想实现，用来去除ifelse或者switch，虽然在jdk17中已经引入了新的switch语法，但是还是想做一些尝试 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849package com.tthk.inland.ticket.core.enums.czloworder;import lombok.AllArgsConstructor;import lombok.Getter;import java.util.Arrays;/** * @author Foam * @Description 枚举 * @date 2023/5/4 17:12 */@Getter@AllArgsConstructorpublic enum LowOrderEnums { UNLIMITED("枚举1"){ @Override public boolean check(Intege...