根据《残疾人就业保障金管理办法》，残疾人就业保障金由残疾人所在地的市（县）级财政部门发放给用人单位。

用人单位应向残疾人发放残疾保障金，不得以任何理由要求残疾人提供残疾证或残疾卡。因此，残疾人在工厂上班无需将残疾卡交给工厂。