En lösning kan vara att du blir särbo med din nuvarande sambo och träffar honom, när din son bor hos sin pappa. Det kan bli outhärdligt, om man försöker tvinga ihop människor, som inte trivs med varandra.
När det gäller regler och tider, kanske du kan diskutera med din son och försöka hitta kompromisser som känns acceptabla för er båda.