申請稅務行政復議時，申請人提供擔保的方式包括保證、抵押和質押。作出具體行政行為的稅務機關應當審查保證人的資格和資信，對不具備法定資格或者沒有能力保證的，有權拒絕。作出具體行政行為的稅務機關應當審查抵押人、出質人提供的抵押擔保和質押擔保，對不合法的抵押擔保和質押擔保，不予確認。
申請人對征稅行為以外的具體行政行為不服，可以申請行政復議，也可以直接向人民法院提起行政訴訟。
申請人對稅務機關作出逾期不繳納罰款加處罰款的決定不服的，應當先繳納罰款和加處罰款，再申請行政復議。