平安時代の武士の棟梁に愛人はいなかったったのか

うちの家族はさ、NHKの大河ドラマが好きなの。今期も「鎌倉殿の13人」見ています。
わたしはあんま大河ドラマを見ない。
なぜなら価値観が今風にアレンジしてあるから。
それって私には作り物っぽく感じられるのね。（ドラマは作り物です）
今日のやつも源頼朝が愛人を作ったことに妻の政子が激高するやつだったんだけど、これっていまっぽいよね？
その当時、跡継ぎとかが欲しい源氏の棟梁って、愛人いくらでもいそうじゃない？
それに妻は表立って腹立てることってなさそう。そんなことないのかな？