对于建造师挂靠的行为，如果没有引发安全事故，可能会面临撤销注册的处罚，严重的情况下，可能会被公开通报批评，这对今后参与招投标活动可能会产生不利影响。

一旦发生安全事故，处罚将更为严厉，可能会被吊销资格证书，需要重新参加考试并获得新的资格证书。此外，还会有行政处罚，如果造成人员伤亡，还可能涉及刑事处罚。

如果只是因为被举报而遭受处罚，行政单位很难找到确凿证据证明你是挂靠的。通常，只要你说出差在外，就可以避免被处罚。

因此，你对此类处罚的担忧可以理解，但实际上，这种情况发生的可能性非常小。