Неправильно понимаешь. Любовник/ца это человек с которым/ой любовная (физическая) связь, вне зависимости от наличия/отсутсвия брака у участников. Можно быть любовниками даже если ни одна из сторон не состоит в браке.
Спраука:
Как бы из толкового словаря Даля: Любовник - физическое лицо, периодически входящее в интимные отношения с партнёром/партнёршей на двухсторонней основе.