mybatis的批量插入

2023年5月14日 271次阅读

mybatis的批量插入在开发中应该比较常见,在这里直接引入一个简单的例子便可一目了然,mybatis批量插入的效率不言而喻,比使用for循环不是简单的效率问题,加入说向10W级用户量的小应用推送消息,同时保存每个用户的推送消息记录,如果使用for循环,可能出现的场景可能是服务器挂掉,100W次对一个表插入会把该表锁死,最终挂掉.

 <insert id="insertBatch"  parameterType="list">
    insert into zx_client
    (
        ,phone
        ,real_name
        ,age
        ,sex
        ,id_no
        ,id_addr
    ) values 
    <foreach collection="list" index="index" item="item" open="(" separator="," close=")">
    (
        ,#{phone}
        ,#{realName}
        ,#{age}
        ,#{sex}
        ,#{idNo}
        ,#{idAddr}
     )
    </foreach>  
</insert>

通过

List<Client> list =new ArrayList<>();
想list加入一定数量的对象
clientService.insertBatch(list)

collection：指定要遍历的集合：
list类型的参数会特殊处理封装在map中，map的key就叫list
item：将当前遍历出的元素赋值给指定的变量
separator:每个元素之间的分隔符
open：遍历出所有结果拼接一个开始的字符
close:遍历出所有结果拼接一个结束的字符
index:索引。遍历list的时候是index就是索引，item就是当前值
遍历map的时候index表示的就是map的key，item就是map的值
#{变量名}就能取出变量的值也就是当前遍历出的元素

如果数量较大防止内存溢出也可以把一个集合拆分为几个集合

/**
 * 将指定集合分拆成几个集合
 * @param  list 即将拆分的集合
 * @param num 拆成几份
 */
public static Map<Integer,List> subList(List list,Integer num){
    Map<Integer,List> result = new HashMap<>();
    if(num == null || num <=1 || list.size() == 0){
        result.put(0,list);
        return result;
    }
    BigDecimal ratio = new BigDecimal("1").divide(new BigDecimal(num),RATIO_NUM, RoundingMode.HALF_DOWN);
    BigDecimal size = new BigDecimal(list.size()).multiply(ratio);
    int begin = 0;
    int end = new BigDecimal(list.size()).multiply(ratio).intValue();
    for (int i = 0;i<num;i++){
        System.out.println("--- begin:"+begin+"  end:"+end);
        List objects = list.subList(begin,end);
        result.put(i,objects);
        if(i<num -1){
            begin = end +1;
            end = begin+size.intValue()-1;
        }else{
            begin = list.size() - begin;
            end = list.size();
            System.out.println("--- last begin:"+begin+"  end:"+end);
        }
    }
    return result;
}

也可以使用以下方法

public void insertBatch(Map<String,Object> paramMap, List<User> list) throws Exception {
// 新获取一个模式为BATCH，自动提交为false的session
// 如果自动提交设置为true,将无法控制提交的条数，改为最后统一提交，可能导致内存溢出
SqlSession session = sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false);
try {
if(null != list || list.size()>0){
int lsize=list.size();
for (int i = 0, n=list.size(); i < n; i++) {
User user= list.get(i);
user.setIndate((String)paramMap.get("indate"));
user.setDatadate((String)paramMap.get("dataDate"));//数据归属时间
//session.insert("com.xx.mapper.UserMapper.insert",user);
//session.update("com.xx.mapper.UserMapper.updateByPrimaryKeySelective",_entity);
session.insert(“包名+类名", user);
if ((i>0 && i % 1000 == 0) || i == lsize - 1) {
// 手动每1000个一提交，提交后无法回滚
session.commit();
// 清理缓存，防止溢出
session.clearCache();
}
}
}
} catch (Exception e) {
// 没有提交的数据可以回滚
session.rollback();
e.printStackTrace();
} finally {
session.close();
}
}
点赞