我小叔叔是五保户，老一辈分家时，老宅及小叔叔都归大伯所有，2012年前后修路，小叔叔的土地被征收，有一笔款打到了存折上面，因小叔叔小时候患过脑膜炎，不记得这笔钱去那了，大伯说这钱给了我爸拿着。但是家父于2021年去世，也就是我爸去世后，大伯开始来我家拿钱，但是没有收条，也没有任何凭证，本人2011年大学毕业后与父母生活在一起，1期间从未知晓有这件事。大伯带着小叔来家里拿过一次，已经明确告知我家没有帮忙代管。现在大伯满村散播谣言，诋毁我的家人，在公开场合诋毁我。对我家名誉造成严重影响，中途有村民欠我们把钱给小叔，但是我们确实没有拿过，何从退还只说？现在大伯多次公开诋毁，我该怎么办？

提示：法律咨询具有特殊性，律师回复仅供参考，如需更多帮助，请咨询律师。