根据《继承法》第33条规定精神，继承开始后，继承人应当在遗产的实际价值内偿还死者生前的个人债务。这是因为，继承人继承了遗产，享受了权利，就应承担相应的义务。但继承人清偿死者生前的债务，仅以所得遗产的实际价值为限，超出遗产价值的那部分债务，继承人不承担责任。据此，你父亲的全部遗产只有4000元，而他欠银行的债务就有5000元，是否还有别的债务也未可知，但不论他有多少债务，你也只负有偿还4000元债务的义务。当然，你如果自愿替父亲偿还全部债务，法律也是允许的。