出现行政处罚违法情况时，责任追究的途径主要有：

首先，行政主体可自行纠正、撤销违法的处罚决定或者进行相应变更；

且在给当事人带来损失的情况下，有义务依法赔偿。其次，上级机构对下级部门的行政处罚具有监督权，如发现违法操作，将责令改正或者直接进行变更。再次，当事人享有申请行政复议或提起行政诉讼以维护自身权利的选择。法院经过审理后如果确认行政处罚存在违法事实，将会裁决撤销或部分撤销该处罚，并且可能要求行政主体重新做出行政行为。最后，若相关责任人的过错程度及造成的损失严重，他们可能面临行政处分，如警告、记过、降级等。若构成犯罪，则需依法追究刑事责任。总而言之，行政处罚必须严格遵循法律法规，确保当事人的合法权益得到充分保护。