新加坡 Sea AI Lab 的颜水成团队研发的全新RL环境并行模拟器 EnvPool，因其速度高达百万帧/秒，对CPU资源的节省格外显著。在强化学习模型训练中，环境模拟并行执行引擎扮演关键角色，尤其是在处理复杂环境和GPU资源有限的情况下。EnvPool通过使用C++的线程池异步执行RL环境，避免了Python的性能瓶颈，如全局锁和进程间数据传输的开销，从而在NVIDIA DGX A100的256核CPU上实现了一百万帧/秒的速度，是gym.vector_env的13倍。对于个人电脑，它也能提供约3倍于gym.vector_env的执行效率，显著降低对CPU的需求。这款高效并行工具支持Atari、VizDoom和Classic RL envs等环境，其设计借鉴了事件驱动原则，提供用户友好的Python接口，使得算法开发人员可以充分利用GPU/TPU的并行计算能力。EnvPool已经在GitHub上开源，未来还将进一步扩展支持和优化，助力RL研究的快速发展。