余，本名次吾，是建平哥哥的兒子。他的父親，石喻，是壹個偉大的左夫和北周的燕王。余年輕的時候很聰明。他從小就開始上學，孜孜不倦地沈迷於讀書。他爸爸覺得很奇怪，說:“這個孩子壹定會振興我們家的。”當九歲的時候，他在雲陽宮遇到了。毛問他，“聽說妳愛讀書。書裏都講些什麽？”於答曰:“助父事君，正孝也。”
毛對此印象很深。於後來跟隨李湘博士學習《周易》和《李三》，大概知道了這本書的精髓。長大後，他風流倜儻，野心勃勃，氣度不凡，被當時的人們稱為名門公子。此後，他開始成為王召的下屬，不久他被提升為安谷太守。有壹次，任和杜都丟了牛，後來他們找到了壹頭。兩家都說是自家的牛，縣裏治不了多久。益州刺史韓伯鈞說:“安谷太守余從小就很聰明，所以能定此案。”余對說:“這件事很容易解決。”於是讓兩家分別來到牛群，然後把找到的牛放生，牛就跑進了哪家的牛群。他偷偷讓人把牛弄傷了壹點，讓家裏人哀嘆，杜家卻泰然自若。余歸罪於杜家，杜家認罪而走。石州刺史屈圖尚與宇文護同屬壹黨。他們以前犯過罪，被監禁過，但沒人敢懲罰他。於到郡後，徹查此事，終於將他定罪入獄。所以蜀中人說:的判斷力天下無雙，不畏強權不久，於被任命為清大夫，被封為延壽郡公，有三千五百戶。多次隨軍出征，積累戰功，升任伊通三師。當宣帝皇帝宣布登基時，他成了董軍的總督。