答辩状中诽谤对方是否算散布诽谤行为：要根据诽谤对被诽谤一方造成的影响的严重程度决定的。

【法律依据】

《刑法》第二百四十六条，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。 前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。通过信息网络实施第一款规定的行为，被害人向人民法院告诉，但提供证据确有困难的，人民法院可以要求公安机关提供协助。