如果行政机关收费时拒绝开具收据，行政相对人可以以行政违法为由，拒绝交费。

在收费的时候，各级行政机关都要向申请人开据财政部门统一印制的财政票据，以确保收费的合法性。如果行政机关拒绝开具，则属于乱收费，当事人可以拒绝交款并可以通过行政复议或者行政诉讼来维权。

相关法规明确规定，各级行政机关收取费用必须及时、足额缴入同级国库。也就是说我们收上来的每一笔收费都要缴到国库，这就要求行政执法机关及其行政执法人员收费、罚款、没收违法所得、没收非法财物或者扣留财物，应当向当事人开具法定收据、清单。未出具收据的收费通常来说当事人是可以拒绝的，并可以通过行政复议或者行政诉讼来维权。

不过需要注意，收费收据和罚款收据的区别：

1、未出具统一部门制发的罚款收据，不影响行政处罚的成立与效力。

2、行政相对人缴纳罚款，属于行政处罚的执行问题。《行政处罚法》第46条规定，作出罚款决定的机关应当与收缴罚款的机构分离。除当场收缴罚款的外，作出行政处罚决定的行政机关及其工作人员不得自行收缴罚款。当事人应当在收到行政处罚决定书之日起15日内，向指定的银行缴纳罚款，银行应当收受罚款，并直接上缴国库。由此规定可以清晰地看出，缴纳罚款与作出行政处罚是完全不同的程序，交纳罚款是作出行政处罚决定之后的事，属于行政处罚决定的执行问题。

3、既然缴纳罚款是行政处罚的执行问题，那么就不会因是否依法依规缴纳罚款而影响到行政处罚决定的成立与效力，更不会因是否使用统一部门制发的罚款收据而影响到行政处罚决定的成立与效力。

《中华人民共和国行政处罚法》（2021修正）：第五章　行政处罚的决定 第一节　一般规定 第四十六条　证据包括：\n （一）书证；\n （二）物证；\n （三）视听资料；\n （四）电子数据；\n （五）证人证言；\n （六）当事人的陈述；\n （七）鉴定意见；\n （八）勘验笔录、现场笔录。\n 证据必须经查证属实，方可作为认定案件事实的根据。\n 以非法手段取得的证据，不得作为认定案件事实的根据。