由于缺乏书面协议，处理较为复杂，但您的权利仍受法律保护。

法律定性：根据《中华人民共和国民法典》第九百六十七条，合伙合同是两个以上合伙人为了共同的事业目的，订立的共享利益、共担风险的协议。您们已形成事实上的个人合伙关系。

退伙处理：根据《民法典》第九百七十六条，合伙人对合伙期限没有约定或约定不明确，合伙人可以随时解除合伙合同，但应在合理期限之前通知其他合伙人。因此，您可以提出解除合伙关系（即退伙）。

财产分割：退伙时，合伙财产在支付因终止而产生的费用以及清偿合伙债务后有剩余的，根据《民法典》第九百七十八条进行分配。您需要：1. 清算合伙财产：包括餐厅资产（设备、存货）、债权、债务；2. 确定您的出资额及应占份额；3. 拿回的不仅是原始投资，而是扣除债务和亏损后对应的净资产份额。

步骤建议：1. 书面通知对方解除合伙关系，并提出清算要求；2. 共同委托审计机构或自行核对账目；3. 若对方拒不配合清算，您可以向人民法院提起诉讼，案由为“合伙协议纠纷”，请求法院判决解除合伙关系并进行清算。注意收集出资转账记录、经营中的沟通记录、账本等证据。