根据《道路交通安全法》第七十三条的规定，公安机关交通管理部门制作的交通事故认定书，作为处理交通事故案件的证据使用。因此，交通事故责任认定行为不属于具体行政行为，不能向人民法院提起行政诉讼。如果当事人对交通事故认定书牵连的民事赔偿不服的，可以向人民法院提起民事诉讼。