社会抚养费是不能要回来的，社会抚养费是指为调节自然资源的利用和保护环境，适当补偿政府的公共社会事业投入的经费，而对不符合法定条件生育子女的公民征收的费用。
《社会抚养费征收管理办法》第九条规定，当事人对征收决定不服的，可以依法申请行政复议或者提起行政诉讼。
行政复议或者行政诉讼期间，征收决定不停止执行；但是，行政复议法、行政诉讼法另有规定的除外。