A
📖 知识库
🌐

基于EasyExcel+线程池+批量插入实现百万级数据导入

🏅 项目难点&亮点 1 分钟阅读 67 次浏览 更新于 2026-09-30

导读

「基于EasyExcel+线程池+批量插入实现百万级数据导入」常被追问到细节层面,这里把结论、原因和易错点一次讲清楚。

背景

项目中有一个数据迁移,原来的数据存储在旧的系统,现在系统做了重构,需要迁移到新的系统中,老系统的数据被加工到Excel中了,需要基于Excel实现文件的导入,同时需要避免内存溢出以及性能太低的问题。

技术选型

在大文件的读取方面,EasyExcel更合适,因为他不会像POI一样耗内存,可以大大的减少内存占用。因为他并不会一次性把整个Excel都加载到内存中,而是逐行读取的。

同时考虑使用多线程来读取,这里就需要用到线程池的技术,直接用ExecutorService就行了。

因为还涉及到数据的批量写入,需要依赖mybatis或者mybatis-plus。

具体实现

直接参考下面这篇就行了,代码都有的:

学习资料

由站内小编编辑整理

相关条目

使用quartz定时任务实现支付单自动关单功能,并引入多线程+分段解决扫表延迟的问题
我负责的订单系统模块,有一个功能就是需要实现订单的到期自动关闭,这功能以前其实是有的,但是后来我发现经常有一些订单,明明已经到期了,但是还是没有正常被关闭,就导致已超时的订单…
为了防止接口被恶意调用,设计API秘钥方式提升接口安全性,并通过滑动窗口粗实现接口调用限流。
在一个典型的业务场景中,我们提供了一个API ,被用来允许外部或内部客户端调用
基于本地消息表实现分布式事务保证最终一致性
这种背景的话一般都是在分布式场景中,需要保证各个系统之间的数据的最终一致性,比如交易下单环节,保证订单系统和用户积分系统之间的最终一致
通过采用“一锁二判三更新”方式设计接口幂等,解决支付单重复支付的问题
负责了一个支付相关的功能,因为我们的支付渠道有很多,有的时候用户在选择某一个支付渠道支付(如微信)之后一直处理中,然后用户又换了一个其他的支付渠道(如支付宝)来支付。但是后面…
使用CompletableFuture完成并发编排,提升接口性能
我的项目中,有这样一个场景,我们要发起一个用户主动还款之后,需要把在途的扣款单全部暂停,但是因为用户选择还款单据可能比较多,而且暂停是调用外部资金打款系统的接口实现的,这个地…
你的项目有哪些难点&亮点?
1. 性能优化:描述你如何优化系统性能,比如缓存机制、数据库查询优化、异步处理等