拿走暂时遗忘物不算盗窃，如果当事人找到拿走钱包的人不给，数额较大超过5000元以上的，涉嫌侵占罪。

《刑法》第二百七十条规定，将代为保管的他人财物非法占为己有，数额较大，拒不退还的，处二年以下有期徒刑、拘役或者罚金;数额巨大或者有其他严重情节的，处二年以上五年以下有期徒刑，并处罚金。

将他人的遗忘物或者埋藏物非法占为己有，数额较大，拒不交出的，依照前款的规定处罚。