应为I'm just off work.

I'm = I am

am 是be动词的变形，be动词后面接形容词、名词、介词短语结构，如果要加动词的话，动词要变成现在分词（-ing形式），或者变成过去分词形式（-ed形式）。

上述句子里，off 是介词，work 使用的是它的名词词性。所以是 I'm + 介词短语。

just 的使用跟是不是be 动词没有必要联系，它强调"只不过，刚刚, 正好“，使用的时候，一般放在情态动词和be动词（am，are, is, was, were)后面，其他动词的前面。

如： I just heard the news.