当行政机关以“信息不存在”为由拒绝公开时，申请人可以采取以下步骤：首先，审查自身申请的内容是否明确、具体。根据《政府信息公开条例》第二十九条，申请应当包括申请公开的政府信息的名称、文号或者便于行政机关查询的其他特征性描述。如果描述过于模糊，可能导致行政机关无法查找。其次，如果认为申请描述清晰，可以要求行政机关说明其检索的过程、方法和结果，证明其已经尽到合理的检索义务。根据条例第三十六条第（四）项，对“经检索没有所申请公开信息的”，应当告知申请人该政府信息不存在。若行政机关无法证明其进行了合理检索，该理由可能不成立。最后，如果对行政机关的答复不服，可以依据条例第五十一条，自收到答复之日起60日内向上一级行政机关或同级人民政府申请行政复议，或者在6个月内向人民法院提起行政诉讼。在复议或诉讼中，行政机关需要对其“信息不存在”的主张承担举证责任。