A
📖 Wiki
中

基于EasyExcel+线程池解决POI文件导出时的内存溢出及超时问题

🏅 项目难点&亮点 13 min read 97 views Updated 2026-09-30 Chinese only

导读

「基于EasyExcel+线程池解决POI文件导出时的内存溢出及超时问题」常被追问到细节层面,这里把结论、原因和易错点一次讲清楚。

背景

在一个后台管理功能中,需要导出Excel,但是当处理大数据量的Excel文件导出时,常用的Apache POI库可能因其内存占用较高而导致内存溢出问题。同时,数据处理过程可能非常耗时,导致用户等待时间过长或请求超时。为解决这些问题,采用了基于 EasyExcel 和线程池的解决方案。

技术选型

Excel的导出很多种方案,包括了POI、EasyExcel还有Hutool中也有类似的功能。在市面上,用的最多的还是POI和EasyExcel,而在处理大文件这方面,EasyExcel更加适合一些。

在文件导出过程中,用异步的方式进行,用户不需要在页面一直等待。异步文件生成之后,把文件上传到云存储中,再通知用户去下载即可。

这里云存储选择阿里云的OSS,线程池异步处理采用@Async

用户通知这里就是用Spring Mail进行邮件发送即可。

具体实现

入口是一个Controller,主要接收用户的文件导出请求。

@RestController
@RequestMapping("/export")
public class DataExportController {

    @Autowired
    private ExcelExportService exportService;

    @GetMapping("/data")
    public ResponseEntity<String> exportData() {
        List<DataModel> data = fetchData();
        String fileUrl = exportService.exportDataAsync(data);

        return ResponseEntity.ok("导出任务开始,文件生成后会通知您下载链接");
    }

    private List<DataModel> fetchData() {
        // 获取需要导出的数据
    }
}

这里做了一些简化,比如筛选条件、以及具体的获取数据部分我都省略了,大家可以根据自己的业务情况来实现。

下面是导出服务的具体实现:

@Service
public class ExcelExportService {

    @Async("exportExecutor")
    public String exportDataAsync(List<DataModel> data) {
        // 生成 Excel 文件并获取 InputStream
        InputStream fileContent = generateExcelFile(data);
        String fileName = "data_" + System.currentTimeMillis() + ".xlsx";

        // 上传到 OSS
        String fileUrl = ossService.uploadFile(fileName, fileContent);
        // 发送邮件
        emailService.sendEmail(data.getUserEmail(), "文件导出通知", "您的文件已导出,下载链接: " + fileUrl);
        return fileUrl;
    }

   private InputStream generateExcelFile(List<DataModel> data) {
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
        try {
            ExcelWriterBuilder writerBuilder = EasyExcel.write(outputStream, DataModel.class);
            writerBuilder.sheet("Data").doWrite(data);
        } catch (Exception e) {
            // 处理异常
        }
        return new ByteArrayInputStream(outputStream.toByteArray());
    }

    // DataModel 类定义
    public static class DataModel {
        //省略参数及setter/getter
    }
}

这里面用到了@Async来实现一个异步处理,这里主要干了三件事:

  • 使用EasyExcel生成文件
  • OSS上传生成后的文件
  • 给用户发邮件通知下载地址

这里为了用到真正的线程池,制定了一个自定义的exportExecutor,实现如下:

@Configuration
@EnableAsync
public class AsyncExecutorConfig {
    @Bean("exportExecutor")
    public Executor exportExecutor() {

        ThreadFactory namedThreadFactory = new ThreadFactoryBuilder()
                .setNameFormat("registerSuccessExecutor-%d").build();

        ExecutorService executorService = new ThreadPoolExecutor(10, 20,
                0L, TimeUnit.MILLISECONDS,
                new LinkedBlockingQueue<Runnable>(1024), namedThreadFactory, new ThreadPoolExecutor.AbortPolicy());

        return executorService;
    }

}

OSS上传服务部分代码实现如下,依赖阿里云OSS的API进行文件上传:

import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.model.PutObjectRequest;

import java.io.InputStream;
import java.net.URL;
import java.util.Date;

public class OssService {

    private String endpoint = "<OSS_ENDPOINT>";
    private String accessKeyId = "<ACCESS_KEY_ID>";
    private String accessKeySecret = "<ACCESS_KEY_SECRET>";
    private String bucketName = "<BUCKET_NAME>";

    public String uploadFile(String fileName, InputStream fileContent) {
        OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
        try {
            ossClient.putObject(new PutObjectRequest(bucketName, fileName, fileContent));
            // 设置URL过期时间为1小时
            Date expiration = new Date(System.currentTimeMillis() + 3600 * 1000);
            URL url = ossClient.generatePresignedUrl(bucketName, fileName, expiration);
            return url.toString();
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }
}

邮件发送部分实现:

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.mail.javamail.JavaMailSender;
import org.springframework.mail.SimpleMailMessage;
import org.springframework.stereotype.Service;

@Service
public class EmailNotificationService {

    @Autowired
    private JavaMailSender mailSender;

    public void sendEmail(String toAddress, String subject, String body) {
        SimpleMailMessage message = new SimpleMailMessage();
        message.setFrom("noreply@example.com");
        message.setTo(toAddress);
        message.setSubject(subject);
        message.setText(body);

        mailSender.send(message);
    }
}

还需要一些额外的Spring Mail的配置,配置到application.properties:

spring.mail.host=smtp.example.com
spring.mail.port=587
spring.mail.username=user@example.com
spring.mail.password=yourpassword
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true

学习资料

由站内小编编辑整理

Related

基于Spring Event,实现同步转异步,解决定时任务扫表导致数据库连接池不够的问题
有这样一个业务场景,作为一个金融产品,很多用户会在借款后发生逾期,每一笔逾期都是一笔单独的借据,在贷后催收环节中,需要基于用户维度做聚合,把多笔借据合并成一个案件进行统一的催…
使用quartz定时任务实现支付单自动关单功能,并引入多线程+分段解决扫表延迟的问题
我负责的订单系统模块,有一个功能就是需要实现订单的到期自动关闭,这功能以前其实是有的,但是后来我发现经常有一些订单,明明已经到期了,但是还是没有正常被关闭,就导致已超时的订单…
为了防止接口被恶意调用,设计API秘钥方式提升接口安全性,并通过滑动窗口粗实现接口调用限流。
在一个典型的业务场景中,我们提供了一个API ,被用来允许外部或内部客户端调用
通过采用“一锁二判三更新”方式设计接口幂等,解决支付单重复支付的问题
负责了一个支付相关的功能,因为我们的支付渠道有很多,有的时候用户在选择某一个支付渠道支付(如微信)之后一直处理中,然后用户又换了一个其他的支付渠道(如支付宝)来支付。但是后面…
你的项目有哪些难点&亮点?
1. 性能优化:描述你如何优化系统性能,比如缓存机制、数据库查询优化、异步处理等
引入分布式锁解决并发问题
我的项目中,有一个场景会出现并发问题,就是我们有一个支付单,这个支付单会有到期的自动关闭,以及用户也可以主动取消订单进行关闭