如果签了认罪认罚书，就意味着已经承认自己犯罪事实并愿意接受惩罚，其中包括退赃款。如果不退赃款，违反了认罪认罚书的约定，也会影响到案件的审理和判决结果。所以，签署认罪认罚书后，必须按照书面约定退赃款，否则将会面临法律后果。