依据法律规定，探望权不会因为不给抚养费就丧失。但是，鉴于对方不支付抚养费，孩子的直接抚养人也有理由拒绝对方探视。

这种理由只能更加激化彼此的矛盾，不利于子女的成长，并不可取。

要解决上述矛盾，可以采取相互协商的方式要求对方支付抚养费，如协商不成，可以向法院起诉。

《婚姻法》第三十七条规定：离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部；

负担费用的多少和期限的长短，由双方协议；协议不成时，由人民法院判决。