管理退休人员的部门主要是 人力资源和社会保障部门（或称为社会保险局、人社局等）。具体来说，办理退休手续需要联系当地的人力资源和社会保障部门，该部门负责管理和执行与退休相关的政策和程序，包括退休申请的受理、审核和退休金的发放等。此外，对于事业单位和企业单位的退休人员，其管理也归社会保障局负责。
在一些情况下，退休干部的管理还会涉及到原工作单位或所在社区。特别是对于党员退休干部，其党员关系原则上由原单位移交至居住地党群中心，并由社区进行日常管理。
综上所述，管理退休人员的部门主要是人力资源和社会保障部门，具体负责部门可能因地区和单位性质的不同而有所差异。
