傳說中牛郎、織女原本都是天上的星宿，天長日久產生了兒女之情，不料被王母娘娘發現。王母娘娘幹涉他們、阻止他們，千方百計地想拆散兩人，金牛星知道此事後，認為王母娘娘多管閑事，無意間頂撞了王母娘娘，王母娘娘壹氣之下狀告了玉帝，玉帝大怒，於是把金牛星打下凡來變成了壹頭老牛，牛郎星也被打下凡間受苦。
牛郎下凡後托生在壹個姓孫的農民家裏，家裏有弟兄兩個，牛郎是小弟，取名孫壽義，哥哥名為壽仁。弟兄兩個還算和睦，就是牛郎的嫂子生性刁蠻，為了霸占家產，千方百計陷害牛郎。有壹天牛郎在地裏耕田，老牛忽然說話了，牛郎大吃壹驚，沒料到老牛就是天上金牛星所化。老牛對牛郎說：“今天妳嫂子要是給妳吃烙餅，妳千萬可不要吃，裏面有毒藥”。牛郎回家後，他嫂子十分殷勤地給他端來做好的烙餅，牛郎拿在手裏了，忽然想起了老牛的話，便搪塞嫂子說：“地裏還有活要做，我在路上吃吧”！於是牛郎拿著餅就出了門。壹出門，牛郎裝著將餅掉在地上，被躺在大門口的大黃狗看到，壹口吃了，結果大黃狗當時就被毒死。這下牛郎嫂子的陰謀給拆穿了，嫂子惱羞成怒，提出要跟牛郎分家，外出討債的哥哥孫壽仁也給叫回家來。分家時嫂子十分貪婪，哥哥孫壽仁在她的強迫下忍氣吞聲，只好按妻子的意思把老牛、破車、疙瘩繩（斷成壹節壹節結在壹起的草繩）、最不好的房子——草棚及壹份薄田分給了牛郎。
從此以後，可憐的牛郎就只能和老牛相依為命了。有壹天老牛又開口說話了：“織女下凡來了”。牛郎正要再問時，猛然聽見在遠處的蓮池中有嬉戲聲，牛郎想往近處走壹走，以便壹睹仙女真顏，卻在半路上撿到了壹套紅色的紗裙，其質地與做工絕非人間所有。他想壹定是仙女嬉戲沐浴時，不小心讓流水沖了下來。好心的牛郎就將衣服撿起，拿到壹塊幹凈的向陽的大石頭上晾曬。他時不時地翻動紗裙，希望衣服早點晾幹，以便還給那位出浴之後焦急尋找衣服的仙女。日過半晌，仙女們紛紛出浴趕回天庭，這時最小的七妹織女卻找不見自己的紗裙。這紗裙原是有魔力的外套，不穿上它可沒法回到天庭呀。織女為了不耽誤姐姐們返回天庭的時間，決定壹個人去尋找衣服。她找呀找，忽然看到不遠處的壹塊大石頭上有紅色的東西在飄動，她急忙趕過去，壹看就是自己的紗裙，心中湧出掩不住的欣喜。同時牛郎趕緊從草叢中爬起來打躬作揖。織女看到了樸實善良的牛郎，牛郎也總算見到了美麗靈巧的織女。兩人壹見鐘情，豈不知在天上他們早已相愛。因兩人情投意合，織女便做出壹個大膽的決定：她要同牛郎在人間過平凡的日子，再也不回那個到處都是金科玉律的天庭了。於是他倆就開始營建起自己的小家，牛郎很勤勞，整日在田間勞作，織女很靈巧，天天在家紡紗織布。更可喜的是他們有了自己愛情的結晶——壹男壹女兩個孩子。日子壹天天好起來了，織女壹直沈浸在幸福的時光中，不知不覺已經幾年了。有壹天牛郎在給老牛餵草時，年邁的老牛又開口說話了：“牛郎，我老了，幫不上妳什麽忙了。我死後妳把我的皮取下來好好保存著，到了萬不得已的時候它可以助妳壹臂之力。”沒過多久老牛就死了，牛郎按照老牛的吩咐取下牛皮後將老牛埋葬了。
天上壹日地上壹年，過了幾天，王母娘娘召喚織女們上殿獻錦，卻遲遲不見最小的織女前來，於是叫來其他六姐妹問話，王母知道事情的經由後勃然大怒，要親自下凡收羅織女上天。
這天，牛郎織女像往常壹樣，壹個在地裏耕作，壹個在家織錦。忽然牛郎覺得很不對勁，拔起腳就往家裏跑，還沒跑到家，就看見織女被王母娘娘拉著飛上天庭，他趕緊跑到家中，找出老牛皮，用扁擔擔著兩個孩子去追織女，眼看就要追上了，王母娘娘壹看形勢不妙，就從頭上拔下玉簪在身後壹劃，出現了壹條看不到彼岸的天河，就這樣牛郎織女被天河無情地隔斷了。
織女回到天庭後被軟禁起來，天天以淚洗面，而牛郎回到凡間後也日夜牽掛著妻子，兩個孩子不停地叫著要媽媽。天庭中的眾神都覺得如此作為實在有些殘忍，壹下子隔斷了夫妻情、母子情兩重情意。王母娘娘此時也被感化了，便做出了讓步，準許他們在每年農歷七月七日這壹天團聚。由喜鵲銜來木柴搭橋相會。過了很多年，被打下人間的牛郎罪滿之後，也重回天庭並且重新受封成了牽牛星。
關於牽牛、織女的記載最早見於《詩經·小雅·大東》：
或以其酒，不認其漿；鞙鞙佩璲，不認其長。
維天有漢，鑒亦有光；跤彼織女，終日七襄。
雖則七襄，不成服章；睨彼牽牛，不認服箱。
東有啟明，西有長庚，有捄天畢，載施之行。
這段有關織女、牽牛星宿的記載，被專家認為是牛郎織女傳說的萌芽和胚胎。
西漢元狩三年（前120），因西南滇國不斷作亂，國家不得安寧，漢政府在現長安區鬥門街辦南灃村壹帶開鑿了昆明池，訓練水兵以討滇國，並在池畔東西兩側分別立牛郎、織女石像，隔河相望。按照中國傳統的空間觀，這壹布局正是天空中牽牛、織女、河津等形象在地面上的投影。《三輔黃圖》卷四“池沼”條引東漢楊震《關輔古語》曰：“昆明池中有二石人，立牽牛、織女於池之東西，以象天河。”東漢班固《西都賦》有句：“臨乎昆明之池，左牽牛而右織女，似雲漢之無涯。”張衡《西京賦》則雲：“乃有昆明之靈沼，黑水玄阯，……牽牛立其左，織女處其右”。
昆明池水引之灃河，鬥門的地名，源於此地西漢時代是昆明池的蓄水池，好似壹個水鬥。南灃村因位於灃河之南而得名。周邊的有壹個村子名為石匣，本為石閘，取意為昆明池的水閘門。傳說水兵練好後，漢武帝親自指揮大軍討伐滇國，走到巴蜀之地，敵軍看到漢朝軍隊軍容整齊，士氣高漲，以為天兵相助，便不攻自潰。漢武帝征討滇國大獲全勝後，舉國歡慶。老百姓想是織女牛郎兩位神仙幫忙，由此便出現了對牛郎織女的敬稱“石爺”、“石婆”。過了幾千年，漢代的昆明池早已變為良田，但屹立在鬥門鎮的“石爺”和鎮東六裏常家莊東北的“石婆”卻準確地標明了昆明池東西兩岸。而故事年代的久遠，地理環境的變化使故事又派生出其它內容，到了後代人們不知道為何“石爺”、“石婆”這壹對夫妻會分居兩地，便通過自己的想象來解釋在他們眼中這壹奇怪的現象。他們想石婆石爺分居肯定有原因，又由於在現在的石婆廟裏有壹個大方石，百姓們稱之為“石炕”。正好“石炕”上有壹道小溝，人們就想象著是“石爺”壹不小心給尿床了， “石婆”又特愛幹凈，就把“石爺”壹耳光打到鬥門那裏去了。更有意思的是“石爺”逃得匆忙，連帽子、鞋子，都落在了去鬥門的路上。因為當地的壹些石頭樣子像帽子或鞋子，老百姓也將它們也參與到故事中間了。
牛郎織女的故事在這裏相傳了幾千年，老百姓壹代又壹代的口耳相傳，不斷的豐富著它，擴充著它。這也成為牛郎織女的傳說能壹直在這裏生存近3000年的原因。
牛郎織女傳說，與七月七日的乞巧風俗結合非常緊密。七夕又稱為乞巧節，相傳，每年農歷七月初七的夜晚，是天上織女與牛郎鵲橋相會之時。織女是壹個美麗聰明、心靈手巧的仙女，凡間婦女在這個充滿浪漫氣息的晚上，對著璀璨的銀河，擺上時令瓜果，朝天祭拜，乞求天上的仙女能賦予她們聰慧的心靈和靈巧的雙手，讓自己的針織女紅技法嫻熟，更乞求愛情婚姻的姻緣巧配。因為七夕節與女紅關系密切，所以又叫“女兒節”。《荊楚歲時記》較早記載了這個故事對風俗的影響：“七月七日為牽牛織女聚會之夜。是夕人家婦女，結彩縷，穿七孔（針），或以金銀石為針，陳瓜果於庭中以乞巧，有喜子網於瓜上，則以為符應。”《西京雜記》記載，“漢彩女常以七月七日穿七孔針於開襟樓，俱以習之”。開襟樓也叫開襟閣，是昆明池中的樓閣名。
盛唐時期，與牛郎、織女相關的七夕民俗活動再壹次在古都長安興起了高潮，以七夕為題材的應制詩數量頗多，詩人許敬宗、杜審言、蘇颋、李嶠、趙彥昭、劉憲、李乂等都有作品存世。取材於白居易《長恨歌》的《長恨歌傳》中就有如下記載：“秦人風俗，是日（指七夕）張錦繡，陳飲食，樹瓜果，焚香於庭，好為乞巧。”同書中還說：“宮掖間，尤尚之。”《長恨歌》記載，“七月七日長生殿，夜半無人私語時。在天願為比翼鳥，在地願為連理枝”，對李楊動人愛情的描寫也引用七夕牛郎織女天河相會的故事。唐德宗貞元十四年（798），在鬥門鎮境內相距不到四裏路程的兩個地方分別修建了廟宇專門供奉石婆、石爺，民間俗稱石婆廟、石爺廟。乞巧活動也很盛行，五代王仁裕《開元天寶遺事·乞巧樓》記道：“宮中以錦結成樓殿，高百尺，上可以盛數十人，陳以瓜果酒炙，設坐具，以祀牛、女二星。”
宋代以後，關於牛郎織女故事傳說的載體石婆、石爺及祭祀活動在長安地方誌上壹直有所記載。如元駱天驤《類編長安誌》卷7“織女石”條引《新說》曰：“漢昆明池今為陸地，有織女石，身長丈余，土埋至膝，豎發戟手怒目，土人屋而祭之，號為石婆神廟。”長安當地對牛郎織女的祭祀活動，直到今天還在延續。
由於詩人的吟詠，畫家的描繪，文人的鋪排，這個淒美的愛情故事，逐漸在民間廣為流傳，纏綿緋惻，委婉動人。
《古詩十九首》中描繪的“迢迢牽牛星，皎皎漢河女。纖纖擢素手，劄劄弄機杼。終日不成章，泣涕零如雨。河漢清且淺，相去復幾許。盈盈壹水間，脈脈不得語。”這裏的牽牛、織女二星已具人物形象——弄機織布，思念流淚；織女終日思念牽牛，渴望相見，而又“盈盈壹水間，脈脈不得語”，牛郎織女的傳說開始被編織為壹幕恩愛夫妻受著隔絕之苦的愛情悲劇。東漢人應邵編撰的《風俗通義》，其中有壹段記載：“織女七夕當渡河，使鵲為橋，相傳七日鵲首無故髡，因為梁以渡織女故也。(見《歲華紀麗》) ”。他們每年以喜鵲為橋，七夕相會的情節，也在民間廣為流傳，並融入風俗之中了。 三國時期，更有不少詩文反映了這壹內容。如唐代李善為《文選》魏文帝《燕歌行》作註時引了曹植《九詠註》說：“牽牛為夫，織女為婦，織女、牽牛之星，各處壹旁，七月七日得壹會同矣。”可見牽牛、織女已經成為詩人們表現愛戀和思念之苦的壹種突出和常用的意象。 宋代秦少遊壹首《鵲橋仙》：“纖雲弄巧，飛星傳恨，銀漢迢迢暗度。金風玉露壹相逢，便勝卻人間無數。柔情似水，佳期如夢，忍顧鵲橋歸路？兩情若是久長時，又豈在朝朝暮暮。”更是將這個千古流傳的婚姻愛情故事演繹到了極致。
婚姻愛情題材是文學永恒的主題，牛郎織女故事傳說極大地豐富了婚姻愛情題材的表現領域。忠貞，自由，平等，互愛，悲劇色彩，團圓結局等倫理觀念也符合中華民族的心理習慣和價值規範，追求真正的愛情，要讓有情人終成眷屬，體現了中華民族的優良美德，具有永恒性，民族性。兩千多年來，對於牛郎織女故事的吟詠和表現佳作叠出，呈現出極為繁榮的局面。直到今天，牛郎織女故事作為壹個愛情創作主題，仍然是文學創作的壹個熱點。在牛郎織女傳說的起源地長安鬥門地區，牛郎織女傳說故事比較完整，其故事從牛女農歷正月十七日的結婚壹直到七夕相會；故事傳說有其當地人的生活原型——孫壽義、孫壽仁兄弟，內容更貼近日常生活，並且巧妙地和當地獨有的歷史實物遺存聯系起來，昆明池、石爺、石婆、石炕、石枕、石冠、石鞋，很容易觸景生情，也使傳說更為動聽。
長安鬥門牛郎織女傳說充分反映了農耕社會中人們追求美滿婚姻愛情和家庭的良好願望，有著極為深刻的民族文化內涵，集中地體現了農耕社會人們的審美趣味和審美理想，寄托了中國人的愛情理想，始終弘揚著中華民族歷代民眾為愛情堅貞、婚姻自由而奮鬥犧牲的精神，對建設和睦（理想）家庭、和諧社會具有重要的社會價值。
牛郎織女故事傳說在長安鬥門地區流傳主要以廟會，民間故事，地方戲、詩詞、歌賦為主要傳播途徑，不僅留存有大量的詩詞、歌賦、散文作品，而且也廣泛反映在剪紙、皮影、秦腔劇、民謠、兒歌、壁畫、小說、影視劇、曲藝等作品中，幾乎涉及了藝術領域中所有主要的藝術形式，僅《全唐詩》就有上百首描寫牛郎織女的詩歌，牛郎織女故事傳說成為家喻戶曉的文化現象，其影響區域輻射至周邊的廣大地區，牛郎織女故事傳說從誕生之日起，向國內的各個地區、各個民族流傳輻射，並同時形成了影響巨大的七夕節、乞巧節。經過千百年的傳播，牛郎織女傳說故事也流傳到了韓國、日本、越南以及東南亞地區，且在全球華人中也有著非常深廣的影響。
今天，長安區鬥門的牛郎織女歷史遺跡破壞嚴重，現存石婆廟面積很小，房屋十分簡陋，石婆石爺雕像風化嚴重，石爺至今還沒有廟宇。其依據河漢牛郎織女天象而開鑿的昆明池已成為農田，使承載牛郎織女傳說的文化空間極大萎縮，昔日轟轟烈烈的七夕民俗活動弱化或消失。作為口傳文學，大多數傳承人年齡偏大，隨著許多傳承人的離世和日漸衰老，傳承人面臨斷檔的危險，許多口傳故事亟需整理成冊。當地圍繞牛郎織女愛情故事傳說所形成的民間文藝作品、藝人數量急劇減少，尤其是極富牛郎織女故事色彩的剪紙、皮影和秦腔劇，內容愈來愈顯單調。