当对方不愿意调解时，您可以采取以下几种方式处理：
如果双方还有继续沟通的空间，可以再次尝试协商，主动联系对方，了解对方的想法和需求，寻找解决问题的方式。
如果双方无法协商达成一致，可以考虑寻求第三方调解，如物业管理公司、居委会、街道办事处等，他们可以在中立的角度出发，协调处理纠纷。
如果对方一直拒绝处理，可以考虑提起诉讼，通过司法途径解决问题。这需要您咨询专业律师，收集相关证据和材料，向法院提起诉讼。
如果对方是单位或者是行业内的机构，可以考虑向相关主管部门投诉，让主管部门对该单位或机构进行监管和管理，促使其履行相应的义务和责任。
根据《民事诉讼法》第九十六条，调解达成协议必须双方自愿，不得强迫。如果一方不同意调解，法院应当依法判决。
根据《民事诉讼法》第五十一条，双方当事人可以自行和解。如果一方拒绝调解，另一方可以继续通过协商或其他合法途径解决争议。
对于打架斗殴等违反治安管理行为，公安机关可以先行隔离审查，分析案情，做出处理方案。如果当事人不接受调解，公安机关可以依法进行处理，包括罚款、拘留等。
在处理过程中，建议您保持耐心和冷静，合法维权，并尽可能收集相关证据，以便在需要时能够提供有力的支持。如果需要法律帮助，建议咨询专业律师。
