聚众斗殴人数多的，只对首要分子和其他积极参加者进行处罚。根据刑法规定，犯此罪，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制；情节严重的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑。
