不可以。外管证又称外经证，其预缴税款2%属于增值税预缴税款，具体缴纳计算方式及金额按照国税总局2016第17号公告《纳税人跨县（市、区）提供建筑服务增值税征收管理暂行办法》规定执行，不可以不缴纳。