行政机关应该重视的证据收集规则包括全面、客观、公正地调查，收集有关证据。

《中华人民共和国行政处罚法》

第三十六条除本法第三十三条规定的可以当场作出的行政处罚外，行政机关发现公民、法人或者其他组织有依法应当给予行政处罚的行为的，必须全面、客观、公正地调查，收集有关证据；必要时，依照法律、法规的规定，可以进行检查。

第三十七条行政机关在调查或者进行检查时，执法人员不得少于两人，并应当向当事人或者有关人员出示证件。当事人或者有关人员应当如实回答询问，并协助调查或者检查，不得阻挠。询问或者检查应当制作笔录。

行政机关在收集证据时，可以采取抽样取证的方法；在证据可能灭失或者以后难以取得的情况下，经行政机关负责人批准，可以先行登记保存，并应当在七日内及时作出处理决定，在此期间，当事人或者有关人员不得销毁或者转移证据。

执法人员与当事人有直接利害关系的，应当回避。

一、给予行政处罚的程序

一般程序也称普通程序有如下特征：一是适用范围广。二是较简易程序相对严格、复杂。一般程序的内容，包括立案、调查、处理决定、制作处罚决定书、说明理由并告知权利、当事人陈述和申辩、送达处罚决定书。

1、立案。应遵守有关时效的规定，即除法律另有规定外，对于在两年以内未发现的行政违法行为，不予立案追究。

2、调查。调查时行政执法人员不得少于2人，并应出示证件。

3、处理决定。根据不同的违法情况，分别作出行政处罚、不予行政处罚、不得给予行政处罚和移送司法机关处理等处理建议。

4、说明理由并告知权利。行政机关在依法作出行政处罚决定之前，应当告知当事人作出行政处罚决定的事实、理由、证据及法律依据。

5、听取当事人陈述和申辩意见。

6、制作处罚决定书

7、送达行政处罚决定书。行政机关依据法定的程序和方式，将行政处罚决定书送交当事人。行政处罚决定书应当在宣告后当场送交当事人。当事人不在现场的，行政机关应在7日内依照《民事诉讼法》的有关规定，将行政处罚决定书送达当事人。但是，治安管理处罚决定书依法应当在2日内送达。