不一定随着主债务一起中断。在一般保证的情况下，债权人向债务人主张权利后，主合同的诉讼时效中断，保证债务的诉讼时效也应当随之中断。在连带责任保证的情况下，当债权人主张权利后，保证期间就转化为诉讼时效，并从债权人主张权利之时开始起算。也就是说，在连带责任保证的情况下，主债务诉讼时效中断，保证债务的诉讼时效不中断。

【法律依据】

《担保法》第18条，当事人在保证合同中约定保证人与债务人对债务承担连带责任的，为连带责任保证。连带责任保证的债务人在主合同规定的债务履行期届满没有履行债务的，债权人可以要求债务人履行债务，也可以要求保证人在其保证范围内承担保证责任。