交通事故责任认定书只能复核一次。根据法律规定，当事人对道路交通事故认定有异议的，可以自道路交通事故认定书送达之日起3日内；

向上一级公安机关交管部门提出书面复核申请。复核申请应当载明复核请求及其理由和主要证据。

《道路交通事故处理程序规定》第七十一条：当事人对道路交通事故认定或者出具道路交通事故证明有异议的；

可以自道路交通事故认定书或者道路交通事故证明送达之日起三日内提出书面复核申请。