责令退赔不可以不赔，刑事判决书中责令被告人退赔却不赔的，受害人可以向法院申请执行。

【法律依据】

《最高人民法院关于适用的解释》第一百三十九条规定：被告人非法占有、处置被害人财产的，应当依法予以追缴或者责令退赔。被害人提起附带民事诉讼的，人民法院不予受理。追缴、退赔的情况，可以作为量刑情节考虑。