是否为违法建筑，需由规划、土地等行政主管部门依法认定，并非由拆迁方单方面决定。根据《城乡规划法》及《行政强制法》，对于历史形成的建筑，需考虑其建设时的法律环境和实际情况。如果房屋建于相关规划法律实施之前，或虽未取得完整手续但长期存在且未被处罚，不宜简单认定为违建并“一刀切”不予补偿。实践中，对于因历史原因未办证或手续不全的房屋，在征收时通常会本着尊重历史、实事求是的原则，给予适当补偿或物料补偿。您有权要求对方出示正式的违建认定法律文书，并可对该认定行为申请行政复议或提起行政诉讼。