書畫鑒定對他而言，屬寂寞之道，均是業余時間完成的。當問及作為年輕的書畫鑒定專家，如何看待被稱為徐半尺的徐邦達先生時，余輝說，徐半尺的意思是，畫卷剛打開壹半，徐先生就能知道真偽。他無疑是上世紀中國古代書畫鑒定的壹座高峰。實際上，這種水平對書畫鑒定專家而言，沒什麽神秘可言，是長期努力實踐的結果。余輝認為，能鑒定真偽，是知其然的過程，他更追求的是知其所以然。因此，他多年來把研究方向集中在主攻早期書畫的鑒定和研究，利用民族學、文獻學、考古學的研究成果，重新鑒定舊傳為五代宋元書畫名作和這個時期反映少數民族題材的繪畫，查證出諸多時代依據。用邏輯推理的手段解析畫中的蛛絲馬跡，推斷出壹些佚名繪畫的作者及創作目的，初步嘗試建立壹套鑒定早期繪畫的基本方法並使之理論化。
在書畫的恒溫恒濕管理中，主張重在早期的三防（防蟲、防濕、防亂）；書畫陳列力求突破歷代和斷代的陳列構思，結合社會需求，尋求新的陳列熱點，如專題性書畫陳列、與清宮歷史文化相關的藝術陳列等。
在研究工作中形成了個人的研究思路：將民族學、民俗學、考古學等學科的成果引進繪畫鑒定研究，強調尋找文化對應點的鑒定方法：把鑒定對象與當時的服飾器用和禮俗儀規及相關的歷史文化背景結合起來，提出鑒定是研究的開始而不是終結的觀點。在對壹批早期繪畫進行再探索的基礎上，將這種鑒定研究的思路和方法理論化、系統化。
余輝表示，自己的研究完全是興趣使然，根本不覺得辛苦。他對於遼代的契丹、金代的女真，蒙古、西夏、黨項等少數民族的書畫研究鑒定，更是獨樹壹幟。他熟悉這些民族到了超越時空、仿佛與他們生活在壹起的程度。因而，鑒定這些少數民族的繪畫對他來說，知道依據在哪裏。