其實要說最早的出處，可能是宋代時期的《西山壹窟鬼》。這裏面有壹句詩文：如撚青梅窺少俊，似騎紅杏出墻頭。這裏面就把女子和紅杏連接在壹起。
故事具體成型是在元代的《墻頭馬上》裏面，描寫的就是壹個千金小姐和壹個青年才俊兩情相悅，但是家裏人不同意，於是小姐在墻頭和書生約定私奔的故事。結果倆人都結婚生孩子了，家裏人居然還是不同意。直到後來倆人經過壹番挫折，奮起反抗父母，最後才走在壹起。本來古人的很多詩文裏就用紅杏來形容女子，而在話本子中，女子和男子相約又都是在墻邊。隨著這些素材的不斷完善，於是就把女子出軌和墻頭聯系在了壹起。
古代的接親方式主要就是考慮門當戶對，而且大多時候是盲婚啞嫁。這種方法下男女婚姻能不能有愛情，全靠運氣。而男女的區別就是：男子可以納妾。嫌棄妻子不賢惠、不好看，都可以通過納妾來解決。女子就不壹樣，不說律法不支持女子離婚，光是父母那壹關就過不了。所以有的女子就會冒著生命危險去出軌。而墻頭壹般代表著約束。古代家庭壹般都是高墻大院，壹面墻就阻擋了女子的自由，斬斷了和外界世界的聯系。出軌就代表打破禁忌，沖破束縛。
雖說現在男女出軌不再在墻邊相約，但是依舊會用這句話來形容女子出軌。可見，大家受到古時候文化教育的影響還是很大。