關於本書的作者，《隋書·經濟誌》未曾著錄，而新舊唐書均著錄為東晉葛洪著。這是因為六卷本末有葛洪跋文壹篇。跋文言“洪家世有劉子駿《漢書》壹百卷，無首尾題目，但以甲乙丙丁紀其卷數。先父傳之。歆欲撰《漢書》編錄漢事，未得締構而亡，故書無宗本，止雜記而已，失前後之次， 無事類之辨。後好事者以意次第之，始甲終癸為十帙，帙十卷，合為百卷。洪家具有其書，試以此記考校班固所作，殆是全取劉書，小有異同耳。並固所不取，不過二萬許言。今抄出為二卷，名曰《西京雜記》，以裨《漢書》之闕。”按照葛洪的說法，這部書的作者是劉歆，他不過將班固寫《漢書》不用的二萬余言抄錄出來，給它起個名字而已。後人對葛洪的跋語並不相信，以為這是他“依托古人以取自重耳”。其實《西京雜記》就是出自葛洪之手。但書中故事也並非全是葛洪杜撰，有些條目可能是他從當時所存典籍中 摘取來的。?
葛洪(284—364)，字稚川，號抱樸子，東晉丹陽句容人，道教理論家， 其著作還有《抱樸子》、《神仙傳》等。