浮気して家庭を壊したのは嫁の方なのに、父親である俺が親権を取れないというのはおかしくないですか?