A
📖 知识库
🌐

基于EasyExcel+线程池+批量插入实现百万级数据导入

🏅 项目难点&亮点 1 分钟阅读 69 次浏览 更新于 2026-09-30

导读

「基于EasyExcel+线程池+批量插入实现百万级数据导入」常被追问到细节层面,这里把结论、原因和易错点一次讲清楚。

背景

项目中有一个数据迁移,原来的数据存储在旧的系统,现在系统做了重构,需要迁移到新的系统中,老系统的数据被加工到Excel中了,需要基于Excel实现文件的导入,同时需要避免内存溢出以及性能太低的问题。

技术选型

在大文件的读取方面,EasyExcel更合适,因为他不会像POI一样耗内存,可以大大的减少内存占用。因为他并不会一次性把整个Excel都加载到内存中,而是逐行读取的。

同时考虑使用多线程来读取,这里就需要用到线程池的技术,直接用ExecutorService就行了。

因为还涉及到数据的批量写入,需要依赖mybatis或者mybatis-plus。

具体实现

直接参考下面这篇就行了,代码都有的:

学习资料

由站内小编编辑整理

相关条目

基于Redis的分布式锁,解决短信验证码重复发放等问题
项目中,需要实现一个通过短信验证码进行注册的场景,为了这个过程中1分钟只能发放一次验证码,并且验证码发放后可以验证一次的功能,使用了Redis进行存储
引入分布式锁解决并发问题
我的项目中,有一个场景会出现并发问题,就是我们有一个支付单,这个支付单会有到期的自动关闭,以及用户也可以主动取消订单进行关闭
通过采用“一锁二判三更新”方式设计接口幂等,解决支付单重复支付的问题
负责了一个支付相关的功能,因为我们的支付渠道有很多,有的时候用户在选择某一个支付渠道支付(如微信)之后一直处理中,然后用户又换了一个其他的支付渠道(如支付宝)来支付。但是后面…
基于TTL 解决线程池中 ThreadLocal 线程无法共享的问题
在基于Java的应用开发中,尤其是在使用Spring框架、异步处理和微服务架构的系统中,经常需要在不同线程或服务间传递用户会话、数据库事务或其他上下文信息
基于Redis的zset实现秒级排行榜
假设我们有一个在线游戏平台,需要为每个游戏的玩家实现排行榜功能,以显示每个游戏的最高得分排名
使用CompletableFuture完成并发编排,提升接口性能
我的项目中,有这样一个场景,我们要发起一个用户主动还款之后,需要把在途的扣款单全部暂停,但是因为用户选择还款单据可能比较多,而且暂停是调用外部资金打款系统的接口实现的,这个地…