根据《中华人民共和国劳动合同法》的规定，退休返聘人员属于劳动者，应当享有劳动者的权益和保障。残疾人保障金是为了保障残疾人的基本生活需求而设立的，与劳动者的退休返聘身份无直接关联。因此，退休返聘人员不需要交纳残疾人保障金。