岳飛戎馬一生，并沒有多少時間閑下來談情說愛。歷史上有關岳飛女人的記載并不多，有憑有據的，只有三個女人。

第一個女人是劉氏，她也是岳云和岳雷的生母。劉氏與岳飛大約于徽宗政和八年結合，這是根據岳云的出生年月（宣和元年六月）推算出來的�？上Т伺�不能守節忍受艱苦，先后兩次改嫁。

《會編》卷二百七是這樣描述的：岳飛執掌兵權之日，遣使王忠臣前往楚州韓世忠處送信，王忠臣得到回信準備返回。這時，韓世忠囑咐王忠臣回去告訴岳飛，他的結發妻子嫁給自己手下的一個押隊，叫他快點來接結發妻子回家。岳飛聽到王忠臣的密報后，不作回答。結果被韓世忠這個大嘴捅到了皇上那里，岳飛迫不得已上奏說：“當初渡河的時候，把妻子留在家中侍奉老母，沒料想這廝竟然改嫁兩次，我真是切骨恨之呀。已經派人給她送了五百貫（兩三貫已夠一個三口之家生活一個月），來幫助她家用，恐怕天下不知道這件事情的原委，（以免有拋棄妻子的謗言流傳）。”

第二個女人只是一段風流韻事的傳奇，事見《金佗稡編》卷9《遺事》。

岳飛家里向來沒有姬妾侍奉，有一天黃縱（這家伙相當于岳飛的機要秘書）出門干公務，聽說岳飛納士族之女為妾的傳聞。黃縱回來以后趕緊詢問岳飛，岳飛說：是有這么回事，四川的吳玠（另一中興名將）派人來我這里議論軍事上的事情。我請他吃飯，他詫異于飯桌上的冷落（也就是沒有歌伎之類助興了，宋時豪門宴會，酒菜并不放桌上，而是一伎捧著一個盤子，輪流上來敬客。），回去就告訴了吳宣撫。

于是吳玠以為是岳飛眼光太高，就破費兩千緡（貫）買了一個士族女子送給岳飛。岳飛也絕，他知道這事情后，沒有見這位名姝，只是讓她立在屏風后面，告訴她：我們家上上下下皆穿麻衣，吃的也只是咸菜粗糧，您要是能和我同甘共苦就留下吧，如若不然，還是請回吧。那個女子吃吃的笑了，岳飛就把她打發回去了。

岳飛的第三個女人便是與他“執子之手，與子攜老”的李娃。

據王曾瑜先生考證：李娃在建炎四年居宜興，生岳霖，則應在建炎二三年間嫁岳飛。她比岳飛年長兩歲，嫁時已有二十八九歲。李娃是個非凡的女人，岳飛不在軍中，李娃聽說岳飛的某個部下打算謀叛，一聲不吭。直到布置妥當才齊集諸將，當眾宣布了調查結果，將毫無防范的叛將捉住斬首。

不過，岳飛對李娃嚴加限制，只許她“撫其妻、子，以恩結之，得其歡心”了。從紹興十一年到紹興三十一年，二十一年間李娃率領岳飛的子女在嶺南苦度日月。他們遭受的是對流放人最為嚴厲的編管刑，嚴格限制人身自由，需要每月到監管人處呈身。在這樣的境遇中，李娃都能夠“居患難不改幽閑之操”，令世人敬仰佩服。