《魏書·陳奇傳》記載：
儒學者陳奇剛入京時，遊雅很看重他，打算推薦他擔任史官。後來兩個人討論到典誥及《詩》、《書》，遊雅贊揚馬融、鄭玄的學說。至於《易·訟卦》天與水違行，遊雅說：“從蔥嶺以西，水皆西流，推此而言，《易》所談到的應是從蔥嶺以東的情況。”陳奇說：“《易經》理綿遠廣大，包含宇宙。如像您所說的，自蔥嶺以西，難道東向望天嗎？”陳奇執義非難遊雅，每每都如此類，始終不茍從。
遊雅生性護短，便以為嫌。曾經當眾侮辱陳奇，或爾汝地直接稱呼，或者指他為小人。陳奇說：“公身為君子，奇身份是小人罷了。”遊雅說：“君言身份是小人，君祖父是何人？”陳奇說：“祖，燕東部侯矨。”遊雅質難陳奇說：“侯矨是什麽官啊？”陳奇說：“三皇不傳禮，官名哪裏會相同呢？故過去有雲師、火正、鳥師的名稱。由此而言，世代變化則官名不同，時間推移則禮制改變。公為皇魏東宮內侍長，侍長究竟是什麽職務呢？”從此遊雅深深記恨於懷。開始皇帝下詔把陳奇交給遊雅，令其補秘書的缺，遊雅既然討厭他了，這事也就擱下了。
陳奇閑置數年，高允與陳奇校正古籍，稱贊其遠見卓識，表揚陳奇的通識淵博，說他不是平凡的學者所能趕得上的。高允微勸遊雅說：“您在朝野都有很高的聲望，為什麽要與野儒去辨什麽簡牘章句呢？”遊雅說高允偏袒陳奇，說：“您難道是結黨小人？”於是拿出陳奇所註的《論語》、《孝經》在坑內燒了。陳奇說：“公是貴人，不缺柴燒，為什麽要燒掉陳奇的《論語》呢？”遊雅更加憤怒，因此告訴京城後生不聽陳奇的傳授。而陳奇並沒有投降的意思，也評論遊雅的過失。遊雅撰寫昭皇太後的碑文，論太後名字之美，把她比成前魏的甄後。陳奇挑剔其失誤，被皇上聽到了。下詔司徒檢對碑文史事，本是郭後，是遊雅的不對。
有人寫謗譏之書，內容多有怨時的言辭，頗為陳奇的不得誌鳴不平。遊雅便譏刺說：“這文字說陳奇不得誌，應當是陳奇唆使別人這樣做的。如依律文，制造毀謗之書的人都要戮滅壹族的。”於是列舉陳奇的罪行，當時司徒、平原王陸麗知道陳奇被冤枉了，愛憐其才學，所以把陳奇壹案拖延了年把時間，希望能夠得到寬釋。但是獄訟定案，最終陳奇還是被殺，且殃及壹家。
因為學術爭議升級成私怨，並最終構陷殺害別人壹家，遊雅的人品可見壹斑。