按照法律规定取保候审的押金在取保候审结束后一定要退还给犯罪嫌疑人、被告人，前提犯罪嫌疑人、被告人没有违反刑事诉讼法关于取保候审的规定。因此，通常是不会存在退回困难的情况。《刑事诉讼法》第七十一条犯罪嫌疑人、被告人在取保候审期间未违反本法第六十九条规定的，取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金。