《中华人民共和国婚姻法》第7条明确规定：“有下列情形之一，禁止结婚：
(二)患有医学上认为不应当结婚的疾病。”你丈夫根本没有性能力，依照上述法律规定，本应禁止结婚的。
你的丈夫不同意与你离婚，他的家人也阻挠你俩离婚，既不道德，也无法律依据，你可大胆地向法院诉请与你丈夫离婚。法院审理离婚案件准予或不准离婚是以夫妻感情是否确已破裂作为区分之界限的。最高人民法院1989年12月13日印发的《关于人民法院审理离婚案件如何认定夫妻感情确已破裂的若干具体意见》规定，可视为夫妻感情确已破裂的情形为：“一方患有法定禁止结婚疾病的，或一方有生理缺陷，或其他原因不能发生性行为，且难以治愈的。”可见，你的情况正好与此相符，你与你丈夫具备了夫妻感情确已破裂的法定离婚条件。