中间人帮一个公司介绍了一笔业务,合同金额100万,中间人按此金额拿了中介费,后因其他多种原因,乙方公司不做了,原先100万的合同就缩水了,因中间人和乙方之间签订有协议,现乙方要求中间人退还所得中介费,合理吗?中间人所得中介费一部分是用在了介绍此业务上开销。