抚养子女是父母的法定义务，不因离婚而消除。根据《民法典》第一千零八十四条及司法实践，如果双方在离婚时均拒绝直接抚养子女，法院首先会进行调解，对当事人进行批评教育，促使其认识到抚养责任。调解无效的，法院会根据“最有利于未成年子女”的原则，综合考量父母双方的抚养条件、能力、子女的年龄和意愿等，判决由一方直接抚养。在极端情况下，若双方均存在严重不适宜抚养的情形（如遗弃、虐待），法院也可能将子女判归一方抚养，但会责令其切实履行义务，或考虑由其他近亲属抚养，但父母仍需支付抚养费。