проблема в личной жизни

здравйтвуйте. год назад я познакомилась с парнем, бросила мужа,ушла с ребёнком от него. почти пол года мы сейчас живем в месте с человеком из-за которого ушла из семьи. он мне постоянно вспоминает,что когда я жила с мужем, я спала с ним, говорит что мне не верит,что я посстоянно вру ему,но это не так. в свою же очередь он мне отомстил,изменил мне. сейчас его бесит мой ребёнок,он постоянно злой,срывается на меня и на ребенка,а теперь и вовсе заявил,что пусть ребенок живет с моей мамой. я не знаю,что делать,люблю его и боюсь что уйдет он от меня. подскажите пожалуйста как мне быть.