你的想法不正确。

虽然中文的意思翻译过来都是一样 回了家了

但是 表示的 时间不一样

我问，你去哪里了，你说刚刚回家。

这个时候你已经回来了，所以必须要用书上的那句

你那句的情况是

我问，他去哪了？你说，刚刚回家。

就是说已经走了人不在。