A
📖 Wiki
中

基于EasyExcel+线程池+批量插入实现百万级数据导入

🏅 项目难点&亮点 1 min read 68 views Updated 2026-09-30 Chinese only

导读

「基于EasyExcel+线程池+批量插入实现百万级数据导入」常被追问到细节层面,这里把结论、原因和易错点一次讲清楚。

背景

项目中有一个数据迁移,原来的数据存储在旧的系统,现在系统做了重构,需要迁移到新的系统中,老系统的数据被加工到Excel中了,需要基于Excel实现文件的导入,同时需要避免内存溢出以及性能太低的问题。

技术选型

在大文件的读取方面,EasyExcel更合适,因为他不会像POI一样耗内存,可以大大的减少内存占用。因为他并不会一次性把整个Excel都加载到内存中,而是逐行读取的。

同时考虑使用多线程来读取,这里就需要用到线程池的技术,直接用ExecutorService就行了。

因为还涉及到数据的批量写入,需要依赖mybatis或者mybatis-plus。

具体实现

直接参考下面这篇就行了,代码都有的:

学习资料

由站内小编编辑整理

Related

使用CompletableFuture完成并发编排,提升接口性能
我的项目中,有这样一个场景,我们要发起一个用户主动还款之后,需要把在途的扣款单全部暂停,但是因为用户选择还款单据可能比较多,而且暂停是调用外部资金打款系统的接口实现的,这个地…
基于本地消息表实现分布式事务保证最终一致性
这种背景的话一般都是在分布式场景中,需要保证各个系统之间的数据的最终一致性,比如交易下单环节,保证订单系统和用户积分系统之间的最终一致
引入分布式锁解决并发问题
我的项目中,有一个场景会出现并发问题,就是我们有一个支付单,这个支付单会有到期的自动关闭,以及用户也可以主动取消订单进行关闭
使用自定义注解+切面减少冗余代码,提升代码的鲁棒性
不知道大家有没有遇到过类似的诉求,就是希望在一个方法的入口处或者出口处做统一的日志处理,比如记录一下入参、出参、记录下方法执行的时间等
基于TTL 解决线程池中 ThreadLocal 线程无法共享的问题
在基于Java的应用开发中,尤其是在使用Spring框架、异步处理和微服务架构的系统中,经常需要在不同线程或服务间传递用户会话、数据库事务或其他上下文信息
为了防止接口被恶意调用,设计API秘钥方式提升接口安全性,并通过滑动窗口粗实现接口调用限流。
在一个典型的业务场景中,我们提供了一个API ,被用来允许外部或内部客户端调用