男人自愿给小三的钱是可以要回的，如果男方将夫妻共同财产赠与他人的，另一方有权要求对方返还，根据法律规定，夫妻共同财产一般包括夫妻双方婚后的工资、奖金以及其他劳动报酬等。