你应该返还手表。
夫妻单方的赠与行为是否有效，要看赠与物属于夫妻单方的个人财产，还是夫妻共同财产。如果赠与物属于夫妻单方的个人财产，则赠与人对赠与物拥有完整的所有权，自然可以自由处置，不需经得配偶的同意。
对于夫妻共同财产，夫妻两人在法律上是共同共有关系。在共同共有关系存续期间，共同共有人之一在没有征得其他共同共有人同意的情况下，无权单方处理共有财产，也无权单方处分属于自己应占份额的那一部分财产，擅自处理，如其他共有人明知而未提异议的，可以认定为有效，但如果其他共有人表示不同意的，则赠与行为无效，受赠人应当返还赠与物。
你朋友的妻子不知道朋友将手表赠送给了你，而且表现出了不认同，所以，你应返还其手表。