解除取保候审时不需要保证人一起去签字。解除取保候审时，通常由办案机关向取保候审人宣布，并送达解除取保候审决定书。与此同时，自然解除保证人的保证责任。

《刑事诉讼法》第五十五条规定，保证人应当履行以下义务：

(一)监督被保证人遵守本法第五十六条的规定；

(二)发现被保证人可能发生或者已经发生违反本法第五十六条规定的行为的，应当及时向执行机关报告。

被保证人有违反本法第五十六条规定的行为，保证人未及时报告的，对保证人处以罚款，构成犯罪的，依法追究刑事责任。