需要负责。这属于相邻关系中的妨害排除问题。根据《民法典》第二百八十八条关于相邻关系处理原则的规定，以及第二百九十五条，不动产权利人挖掘土地、建造建筑物、铺设管线以及安装设备等，不得危及相邻不动产的安全。虽然树木是自然生长，但其根系对邻居房屋造成了实质性损害，您作为树木的所有人或管理人，有义务消除危险、排除妨碍。您应当及时修剪或移除树木，并对邻居房屋的损害进行修复或赔偿。如果放任不管，邻居有权请求您排除妨碍、消除危险，并赔偿损失。