交通事故责任认定书下来以后调解不成的,可以直接起诉。交通事故责任认定书下来以后,如果不服事故责任认定,在收到认定书的三日内,可以申请复核。 根据道路交通事故处理程序规定五十一条,当事人对道路交通事故认定有异议的,可以自道路交通事故认定书送达之日起三日内,向上一级公安机关交通管理部门提出书面复核申请。复核申请应当载明复核请求及其理由和主要证据。简易程序处理的道路交通事故复核不会受理,普通程序处理的送达3日内可以提出复核。