我们姓氏把原来的旧祠堂拆了从新盖新的被同村另一个姓氏告我们说我们用的是集体地怎么办用的是集体地怎么办

村集体的成员非法占用土地建设住宅的，由县级以上的人民政府国土资源管理部门责令退还非法占用的土地，限期拆除在非法占用的土地上新建的房屋。村集体之外的人非法占用土地的，应该责令退还非法占用的土地，如何恢复土地原状。