百万数据导出Excel，通过优化深度分页和线程编排，效...

优化百万数据导出Excel。

大量数据导出excel存在的问题以及优化方案。

·问题一：一次性获取全部数据到内存当中容易引起系统的Excel，这里的解决方案是分页查询、分批处理。

·问题二：分页查询存在深度分页问题，数据偏移量变大会导致Excel变慢。这里有两种解决方案：

→一种是使用标签记录优化，这里就采用这种方案，因为ID是自增且连续的，还有一种方案是索引覆盖优化。之前视频有讲过，有兴趣的小伙伴可以去看一下。

→问题三：查询数据串行，这里可以通过线程编排并行执行sql，最后顺序导入到Excel当中。

→问题四：一个Excel文件过大，用户可能存在打不开的情况。这里通过easyexcel多sheet页导出数据，这里有一张user表，里面有100万条数据。接下来看一眼代码示例。首先看一下单线程的导出，这里设置一下响应结果，查询导出数据总数，每个sheet页是10万条数据。

接下来通过MybatisPlus进行分页查询，然后通过EasyExcel直接导出这些数据就可以了，还是比较简单的。

接下来看一下多线程的方法，同样设置响应结果、查询总数量，然后每个sheet页是10万条数据。这里创建了一个completableFuture的集合。接下来调用completableFuture的runAsync方法，然后异步去查询数据库。

这里有个优化的点就是分页，每次分页都会传入上次查询的最大ID，用于优化深度分页问题。这里有一点需要注意，查询是并行的，但是写入sheet页需要同步执行，否则会抛出异常。最后就是等待所有线程执行完毕，关闭流通。

过日志可以看到单线程导出是需要38秒，多线程是28秒，优化了10秒钟。来看一下数据，这一共有10个sheet页，每个sheet页都是10万条数据。

最后小伙伴们还有什么更好的办法吗？评论区讨论一下。点点关注！