當時，呂蒙正是總理，宋太宗想讓呂端當總理。有人說:“呂端粗心大意。”唐太宗說:“呂端對小事馬虎，對大事不馬虎。”唐太宗決心以呂端為相。就在後花園的酒席上，太宗寫了《釣魚詩》，有這樣壹首詩:“欲餌金鉤，必問漁人。”意思是呂端。幾天後，呂蒙正被解除職務，呂端被任命為總理。過去，呂端的哥哥呂玉清在劍龍時期，以當地老壹輩軍政官員的資格參與政務。現在呂端處於同樣的位置，當時的輿論為他感到高興。呂端經歷了40年的官場生活，然後他突然得到獎勵和提升。唐太宗也恨任命他為時已晚。呂端重視相持，知道大意，以清明簡潔為己任。考慮到他和寇準是壹個級別，他排在第壹位。我怕寇準覺得不公平，就請求皇帝同意，讓侍郎(類似於副總理或國務委員)和丞相每天負責印刷值班，壹起到府衙。唐太宗同意了他的意見。。當時，同事們對如何處理這場表演有不同的看法，只有呂端很少表態。有壹天，皇宮裏下了壹道親筆詔書:“今後中書省(國務院辦公廳)的任何事，都必須由呂端詳細提出，才可以奏。”呂端因此更加頹然不敢當。
從前，李騷擾西部邊境，保安部隊(邊防軍)報告說，他們已經抓獲了他的母親。於是，唐太宗想殺了她。因為寇準是樞密副使(主管軍務的副丞相)，唐太宗就把寇準單獨叫來研究這件事。寇準出來，經過丞相府。呂端懷疑他在討論重要的事情，對寇準說:“皇上是不是要妳不要告訴我？”寇準說:“不。”呂端說:“我不必參與邊防的日常事務。如果是軍事計劃，因為我是呂端的總理，我必須知道。”寇準把這件事告訴了他，呂端說:“怎麽處理？”寇準說:“我想在北門外殺了她，結果被保安部隊的叛軍打死了。”呂端說:“壹定是這樣的。這不是壹個好主意。如果妳停頓壹下，我就重復壹遍。”他對唐太宗說:“項羽以前是太公，想把他煮死。劉邦說:‘妳會分享我嗎？’做大事的人都不關心自己的親人，更何況是李這樣的叛逆之人。陛下今天殺了她，但李燦·錢驥明天會抓住她嗎？如果沒有，那只是在樹敵，讓它更加叛逆，更加堅定。”太宗說，“我該怎麽辦？”說，“我看還是把她安置在兗州，好好地養她，然後我們就可以吸引李了。雖然我不能要求他馬上投降，但我畢竟能拴住他的心，但他媽媽的命在我手裏。”太宗拍著大腿說:“要不是妳，我差點誤了正事。“馬上按他的方式做。母親李後來在兗州病死，搬家後不久也去世了。後來，搬家的兒子竟然出錢要求加入，這是呂端方法的結果。後來升任侍郎兼兵部尚書。