诽谤罪只有人证没有物证是可以控告的，但是，控告后，是否能定罪要看证人证言的证明质量了。只要能达到证据确实、充分的规定，即使没有被告人供述，也是可以认定被告人有罪和处以刑罚的。

《刑事诉讼法》第五十条规定，可以用于证明案件事实的材料，都是证据。

证据包括：

（一）物证；

（二）书证；

（三）证人证言；

（四）被害人陈述；

（五）犯罪嫌疑人、被告人供述和辩解；

（六）鉴定意见；

（七）勘验、检查、辨认、侦查实验等笔录；

（八）视听资料、电子数据。 

证据必须经过查证属实，才能作为定案的根据。

第六十一条规定，证人证言必须在法庭上经过公诉人、被害人和被告人、辩护人双方质证并且查实以后，才能作为定案的根据。

法庭查明证人有意作伪证或者隐匿罪证的时候，应当依法处理。