行政處罰法規定，執法人員與當事人有直接利害關係的，應當迴避。
所謂與本案有直接利害關係，是指執法人員本人是當事人;或者是本案當事人的近親屬，案件處理的結果可能對其權益產生影響等情況。所謂可能影響公正處理的其他關係，是指除上述有利害關係以外的關係，如朋友關係、師生關係等，有可能利用這些關係影響對案件的公正處理的情況。
二、行政處罰權的限定
行政處罰的設定是指國家有權機關在行政處罰立法上的權力配置。根據《行政處罰法》和其他法律、法規的規定，行政處罰的設定權限劃分如下：
1.全國人民代表大會及其常務委員會是國家最高權力機關和立法機關，可以設定任何種類行政處罰。限制人身自由的行政處罰，只能由法律設定。
2.國務院是最高行政機關，可以依法設定除限制人身自由以外的行政處罰。法律對違法行為已經作出行政處罰規定的，行政法規不得超越法律規定的給予行政處罰的行為、種類和幅度的範圍另行作出行政處罰規定。
3.地方性法規可以設定除限制人身自由、吊銷企業營業執照以外的行政處罰。法律、行政法規對違法行為已經作出行政處罰規定的，地方性法規不得超越法律、行政法規規定的給予行政處罰的行為、種類和幅度的範圍另行作出行政處罰規定。
4.國務院各部、委制定的規章可以在法律、行政法規規定的給予行政處罰的行為、種類和幅度的範圍內作出具體規定;尚未制定法律、行政法規的，部委規章可以設定警告或者一定數量罰款的行政處罰。罰款的限額由國務院規定。國務院可以授權具有行政處罰權的直屬機構按照本條的情形規定行政處罰。
5.省、自治區、直轄市人民政府和省、自治區人民政府所在地的市人民政府、經國務院批准的較大的市以及經濟特區市人民政府制定的規章可以在法律、法規規定的給予行政處罰的行為、種類和幅度的範圍內作出具體規定;尚未制定法律、法規的，上述人民政府制定的規章可以設定警告或者一定數量罰款的行政處罰。罰款的限額由省級人大常委會規定。
6.除上述規定外，其他規範性文件不得設定行政處罰。
對行政相對人作出行政處罰，適用處罰法定原則，也就是說在執行處罰的時候，必須要依照有關法律、法規或者規章中的要求作出，保證處罰種類法定、處罰主體法定、處罰程序法定、處罰形式法定以及處罰職權職責法定。格外，對於當事人同一違法行為，根據一事不再罰原則要求，不能對其給予兩次以上罰款的行政處罰。