离婚的时候彩礼一般直接归女方，但是有以下两种情形的，彩礼需要归还给男方：双方结婚后没有实际共同生活过就离婚，男方可以要求返还彩礼；男方婚前给付彩礼导致自己生活困难，离婚的时候可以要求返还彩礼。
【本文关联的相关法律依据】
《最高人民关于适用婚姻家庭编的解释（一）》第五条
当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民应当予以支持：
（一）双方未办理结婚登记手续；
（二）双方办理结婚登记手续但确未共同生活；
（三）婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。