拒不履行《责令退还土地决定书》将导致严重的法律后果。根据《中华人民共和国土地管理法》第七十七条、第八十三条及相关规定：1. **行政处罚**：除责令退还非法占用的土地外，自然资源局还可以并处罚款；对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予处分；构成犯罪的，依法追究刑事责任。2. **行政强制执行**：如果您在法定期限内不申请复议也不起诉，又不履行退还决定，作出决定的自然资源局可以依据《行政强制法》的规定，催告后申请人民法院强制执行。3. **法院强制执行**：人民法院受理强制执行申请后，会审查决定的合法性。若裁定准予执行，将采取强制措施，如强制拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，并可能对您处以罚款或司法拘留。4. **刑事责任风险**：如果非法占用耕地、林地等农用地，改变被占土地用途，数量较大，造成耕地、林地等农用地大量毁坏的，可能涉嫌《刑法》第三百四十二条规定的非法占用农用地罪。因此，建议您首先审查该决定是否合法（如占用事实是否清楚、程序是否正当），如不服，务必在60日内申请复议或6个月内提起诉讼以阻断其强制执行效力。切勿消极对抗。