在英语口语中，关于去游泳的表达，存在一个小细节。去游泳时，通常我们说"go to swim"，这里因为"swim"是动词，所以需要加上不定式符号"to"。例如： "I want to go to swim after lunch."（午饭后我想去游泳。）

然而，当我们说到"回家"，即"go home"，这里的"home"是副词，表示目的地。在这种情况下，"to" 是不需要添加的。比如："I need to go home now."（我现在得回家。）

但是，需要注意的是，如果去的地点是名词形式，如"school"，那么我们仍然需要在动词"go"后面加上"to"，例如："I go to school everyday."（我每天去学校。）

而"去游泳"也可以用"swimming"表示，即"go swimming"，这里"swimming"是动名词形式，用于表示正在进行的活动。例如："Let's go swimming this afternoon."（我们下午去游泳吧。）

总之，"go to swim"与"go swimming"的区别在于，前者强调的是目的地"swim"，而后者则强调正在进行的活动"swimming"。在使用时，需要根据具体语境选择恰当的表达方式。