首先，需明确房屋是否确属违法建筑。违法建筑的认定有严格法定程序，必须由城乡规划主管部门等有权机关进行调查、取证、告知、听取陈述申辩后，作出书面的《限期拆除决定书》等法律文书。拆迁方口头认定无效。其次，即使被认定为违建，也并非一律“零补偿”。根据《国有土地上房屋征收与补偿条例》第二十四条规定，对认定为合法建筑和未超过批准期限的临时建筑的，应当给予补偿；对认定为违法建筑和超过批准期限的临时建筑的，不予补偿。但在实践中，对于因历史原因、制度原因形成的无证房屋，或建筑已存在多年且行政机关未及时查处的情况，应综合考虑实际情况，可能给予适当的建筑材料残值补偿或参照合法建筑的一定比例补偿。您应要求对方出示正式的违建认定文件，并审查其认定程序和依据是否合法。必要时，可对该认定行为提起行政复议或行政诉讼。