殴双方中的任何一方达到三人以上的就算是聚众斗殴。聚众斗殴罪侵犯的客体是公共秩序，任何一方未达到三人以上就否认聚众斗殴的存在，有放纵犯罪的嫌疑，不利于打击此类犯罪。因此，达到三人以上的一方即可构成本罪。

【法律依据】

我国《刑法》第二百九十二条规定：聚众斗殴的，对首要分子和其他积极参加的，处三年以下有期徒刑、拘役或者管制;有下列情形之一的，对首要分子和其他积极参加的，处三年以上十年以下有期徒刑：

(一)多次聚众斗殴的;

(二)聚众斗殴人数多，规模大，社会影响恶劣的;

(三)在公共场所或者交通要道聚众斗殴，造成社会秩序严重混乱的;

(四)持械聚众斗殴的。