你的单位替你们办理的到底是因公护照还是普通因私护照？如果因公护照的话，你可以挂失了新单位重新办理。如果是因私护照的话，你原单位是没有权利不还给你的。你可以理直气壮和他们交涉，如果不想弄僵的话也可以挂失，但手续会麻烦点，还是好好和他们说了。护照和身份证一样，扣押别人的身份证是违法的，护照也一样