首先，需明确“违建”的认定主体和程序。根据《城乡规划法》，有权认定城镇违建的是城乡规划主管部门，农村违建认定则较为复杂。拆迁方无权自行认定。处理步骤：1. **要求出具法律文书**：要求对方提供由法定机关作出的《违法建筑认定决定书》，并核实作出机关是否有权、认定事实（如是否取得规划许可）和程序是否合法。2. **区分历史原因**：对于因历史原因、制度不完善或政府默许形成的建筑，不能简单一刀切认定为违建。根据《国务院办公厅关于认真做好城镇房屋拆迁工作维护社会稳定的紧急通知》精神，对拆迁范围内由于历史原因造成的手续不全房屋，应依据现行有关法律法规补办手续。3. **法律救济**：如对认定决定不服，可在法定期限内申请行政复议或提起行政诉讼。4. **即使被认定违建**，根据《行政强制法》，对于可采取改正措施消除影响的，限期改正并处罚款，并非一律无偿拆除。对于建筑内的合法财产（如建筑材料、室内物品）损失，当事人仍有权要求赔偿。