根据相关法律规定，一般情况下，如果贷款人不按期还贷，银行仅可以加罚利息，督促其还款，或者依法起诉，银行是没有权利直接划拨贷款人的存款来还贷的。

但如果贷款人和银行在贷款协议中明确约定了银行可以直接划拨贷款人的存款来还贷，那么银行就有权利直接划拨贷款人的存款。