应该由以下两种情况区别对待：
一、如果该董事不是职工代表，有以下两种情况：
1.股东大会选举的董事根据《公司法》的规定，股份有限公司股东大会选举和更换非由职工代表担任的董事、监事;股东大会作出决议，必须经出席会议的股东所持表决权过半数通过。若出席股东大会的股东所持表决权过半数通过，则股东大会的做法是合法的，可以解除董事的职务。
2.由股份公司的国有出资方直接任命的董事，根据《企业国有资产法》的规定，国家出资企业的董事由履行出资人指责的机构任免或决定任免;若所任命的董事有不符合《企业国有资产法》
第二十三条所规定条件的情形或出现《公司法》规定的不得担任公司董事的情形的，履行出资人指责的机构应当依法予以免职或者提出免职建议。
二、如果该董事是职工代表。根据《公司法》
第一百零九条的规定，董事会中的职工代表由公司职工通过职工代表大会、职工大会或者其他形式民主选举产生，而不是由股东大会任免的，股份公司股东大会的做法就是不合法的，其无权解除该名董事的职务。