不可以。如果不想为从境外购买的手表支付关税，你不能仅凭拿回手表而离境。根据《中华人民共和国海关法》的规定，进出境物品的纳税义务人必须在物品放行前缴纳税款。若未缴纳税款，海关有权依法对物品进行扣留，并可对纳税义务人处以罚款。

《海关法》第六十条明确规定了进出境物品纳税义务人在物品放行前应缴纳税款的责任。第六十二条规定，若海关发现少征或漏征税款，可以在一年内向纳税义务人补征。若因纳税义务人违规造成少征或漏征，海关在三年内可以追征。第六十三条规定，海关多征的税款应立即退还，纳税义务人在缴纳税款后一年内可以要求海关退还。

此外，《海关法》第八十二条列举了走私行为的几种情形，包括未经海关许可并未缴纳应纳税款擅自进出境货物、物品。第八十五条规定，若个人携带、邮寄超过合理数量的自用物品进出境且未依法申报，海关可责令补缴关税，并可处以罚款。

因此，若手表被海关扣留，纳税义务人需要依法缴纳应缴税款或申请行政复议，对复议决定仍不服的，可以依法向人民法院提起诉讼。逃避关税的行为是违法的，将面临法律责任。