之後跟隨李湘博士學習《周易》和《李三》，對大義有所了解。長大後，風流倜儻，野心勃勃，當時被稱為公子。他開始是王召的部下，不久就遷到了安固縣。
任和杜都丟了牛，後來又找到了壹頭。兩個都說是自己的，縣裏沒法決定。益州刺史韓伯鈞說:“安固年輕時很聰明，所以能決定此事。”余對說:“這件事很容易解決。”於是請兩家趕他們的牛，牛放了，牛就跑到任的牛那裏去了。他偷偷讓人把牛輕輕弄傷，讓家裏人哀嘆，杜家倒還好。於是責備杜，杜認罪後離開。
第壹州刺史曲圖尚，隸屬於宇文護壹方。之前他因為什麽事情入獄，沒有人敢以任人唯親的罪名對待他。余到了縣後，因貧困被調查，最後把他關進了監獄。
於是蜀中百姓傳話道:“眾裏無人如妳，不避暴有二力。”