根据《中华人民共和国民法典》第一千零六十四条规定：夫妻双方共同签名或者夫妻一方事后追认等共同意思表示所负的债务，以及夫妻一方在婚姻关系存续期间以个人名义为家庭日常生活需要所负的债务，属于夫妻共同债务。夫妻一方在婚姻关系存续期间以个人名义超出家庭日常生活需要所负的债务，不属于夫妻共同债务；但是，债权人能够证明该债务用于夫妻共同生活、共同生产经营或者基于夫妻双方共同意思表示的除外。 结合您描述的情况，还款责任需要分情况界定：

如果妻子是借款人/共同签字人

从对外关系来说，债权人会直接向签字的妻子主张还款，妻子无法以“款项实际被男方使用包养第三方”为由拒绝向债权人还款。

对内来说，由于这笔钱实际被男方用于个人挥霍、包养第三者，并没有用于夫妻共同生活或家庭日常需要，这笔债务实质应当认定为男方的个人债务。

如果妻子仅作为保证人提供担保

债权人既可以向男方主张还款，也可以依保证条款要求妻子承担担保责任，妻子承担责任后可以向男方追偿。

如果妻子是受男方委托帮忙借款，出借人对此知情

该借款的实际债务人是男方，应当由男方直接向债权人承担还款责任。

留存核心证据：尽快收集款项流向的证据（如转账记录、男方与第三者的聊天记录、证人证言等），证明借款全部被男方用于包养第三者，并未用于夫妻共同生活。

婚内分割财产（若不打算离婚）：根据《中华人民共和国民法典》第一千零六十六条规定，男方挥霍夫妻共同财产、伪造债务严重损害夫妻共同财产利益的，您可以直接向法院起诉请求分割夫妻共同财产，避免自己的财产权益进一步受损。

离婚时追偿：如果您选择离婚，根据《中华人民共和国民法典》第一千零八十九条，以及最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）第三十五条规定，您对外偿还债务后，可以在离婚诉讼中向男方追偿，要求法院判决由男方最终承担该笔债务，法院会依法予以支持。

追回赠与第三者的财产：如果男方用该借款向第三者转账、赠与财物，由于这部分款项属于夫妻共同财产，男方的赠与行为未经您同意，您可以另行起诉要求第三者全额返还该部分财产。

法律依据

《中华人民共和国民法典》第一千零六十六条 【婚姻关系存续期间夫妻共同财产的分割】婚姻关系存续期间，有下列情形之一的，夫妻一方可以向人民法院请求分割共同财产：
(一)一方有隐藏、转移、变卖、毁损、挥霍夫妻共同财产或者伪造夫妻共同债务等严重损害夫妻共同财产利益的行为;
(二)一方负有法定扶养义务的人患重大疾病需要医治，另一方不同意支付相关医疗费用。

《中华人民共和国民法典》第一千零八十九条 【离婚时夫妻共同债务清偿】离婚时，夫妻共同债务应当共同偿还。共同财产不足清偿或者财产归各自所有的，由双方协议清偿;协议不成的，由人民法院判决。

《《最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释（一）》》第三十五条 当事人的离婚协议或者人民法院生效判决、裁定、调解书已经对夫妻财产分割问题作出处理的，债权人仍有权就夫妻共同债务向男女双方主张权利。一方就夫妻共同债务承担清偿责任后，主张由另一方按照离婚协议或者人民法院的法律文书承担相应债务的，人民法院应予支持。