Помогите !!! Проблема в сексуальных отношениях .

У меня такая проблема. Я замужем уже почти 5 лет, есть двое деток( старшей 4, а маленькой 1 год). С мужем знакомы почти 6 лет, ему 25 лет ( у него до меня были пассии).Он у меня первый. Я проевляю инициативу к сексу больше, а у него постоянные отговорки ( то он не хочет, то дети не спят, то своей комнаты нет, то плохое самочувствие у него), мне это начинает надоедать. Он шутит( найди любовника), а я его люблю и он меня. Привлечь пытаюсь, а он злиться, но про измену речи быть не может. Раньше была причина, что он устал после работы( я сижу в декрете со вторым ребенком), но когда ему сильно хочеться у нас все очень хорошо в сексе. Секс у нас cейчас два раза в неделю, а то и один раз. Пыталась поговорить, а он говорит, что я только о сексе и думаю. А мне очень обидно и кажется, что он потерял ко мне интерес. Своим отталкиванием он подталкивает завести любовника, но я очень этого не хочу и что делать я тоже уже не знаю. В чем может быть причина?