Как разобраться в семейной проблеме.

Здравствуйте уважаемые психологи. Прошу вас мне помочь в моей сложившейся ситуации. Я 6 лет назад познакомилась с мужчиной,который старше меня на 15 лет. Он оказался в гражданском браке с женщиной. На тот момент они уже жили 17 лет. Детей у них не было. Через 2 года после знакомства я родила от него дочь. Но он как жил с этой женщиной, так и живет по сей день. Он с нами общается, помогает материально, все вроде ничего, только вот не уходит от нее. Его жена год назад все узнала. Наши отношения от этого не поменялись. Вот только одна проблема появилась, он просит чтобы я как мать разрешила ему брать ребенка в его дом. Наша дочь, которой еще только 5 лет думает что папа на работе и живет со своей мамой, т.е. с бабушкой. Да мы ребенка обманываем, а чтоб этого не было, вот он и хочет приводить иногда к себе ее домой, познакомить со своей женой, которая сама предложила такой вариант. Говорит хочет чаще и больше общаться с дочерью, боится ее потерять. Он боится что дочь в будущем от него отвернется. Поэтому лучше ее вводить в курс дела постепенно с возростом. Мне кажется если я дам добро на это знакомство я потеряю в первую очередь мужчину, которого очень люблю, а со временем и дочь, которая потом повзрослеет и будет постоянно с отцом, так как он может дать ей больше чем я. Подскажите как мне быть и что делать в этой ситуации? Как может повести себя ребенок? Вдруг мы нанесем ей этим травму? Я как женщина и мать тоже не хочу оказаться одной.