岳飞家里不养小妾。四川的吴玠送过他一个，岳飞隔着屏风对那女的说：家里粗茶淡饭，你要愿意，就留下吧。对方没说话，只吃吃地笑，估计是嘲笑岳飞——这么大的官，过的啥日子。岳飞一看，不对路，连面也不见，把她打发回去了。岳飞不风流，岳家军纪律严明，将士们估计也不敢。
 

不过，岳家军将领的眷属倒挺风流的。有一次出兵回来，一个姓贺的部将举报妻子与一个和尚通奸，这样的事，居然还是岳飞亲自查办，一查不得了，据当事人招供，和尚所在的庙里，几乎人人都有相好的，相好的都是岳飞部将的家属。岳飞找人商量后，怕动摇军心，只处罚了最先被举报的两个人，其他人都放过不问。