令太宗没有想到的是，再次拜相、独掌朝政的吕蒙正不知道是为了博取刚正的名声还是怎么了，竟处处与太宗作对，一点儿也不顾忌皇帝的脸面。

正月十五闹花灯，京城大街小巷张灯结彩，人群摩肩接踵穿梭欢笑。太宗在城楼大宴群臣，俯视万家灯火国泰民安盛景，志得意满对群臣道：“五代战乱频仍，生灵涂炭，百姓民不聊生。上天灾星频现，地下水火频发，天下人都认为不可能出现太平盛世。但是，朕即位后夙兴夜寐，勤政为民，才使风调雨顺，出现如此繁盛的太平景象。可见，国家兴盛还是混乱，全在人为啊！”

就在群臣朝贺、附和赞誉之时。唯有吕蒙正，起身走到太宗面前直言不讳地说：“官家所在之地，自然是繁盛如斯！可是，臣亲眼见京郊‘饥寒而死者甚众’，一片‘路有冻死骨’惨状！所以说，官家如能让京郊乃至远方也享受到眼前这样的幸福，那才真正是‘苍生之幸也！’”

吕蒙正的话，恰似一盆冷水让太宗的欢欣自豪感浇得无影无踪。可是面对众多朝臣，加之吕蒙正之言也并非全是虚妄之词，太宗又不能反驳。只能“变色不言”。

坦率而言，太宗并非容不得大臣批评之语，可吕蒙正之言，一来不分场合，无视君主颜面，二来下手太狠，竟直接否定了自己的执政功绩。吕蒙正如此固执，自己尚且管制不了，更何况刚出道的太子？再想起之前他与许王赵元僖的小动作，更让太宗心生嫌隙，因此，至道元年，太宗再次罢免吕蒙正宰相之职。

与吕蒙正、寇准年少得意不同，吕端的仕途似乎总是屡生波折。他凭父亲的官职荫补入仕后宦海沉浮几十年，算得上是三朝老臣。

当初秦王赵廷美任开封尹时，吕端被征召为考功员外郎，充任开封府判官。

太平兴国四年（979年），太宗亲征北汉，赵廷美将受命留守开封，吕端对赵廷美说：“主上栉风沐雨，以征伐不义来表明天意，大王您处于近亲且有贤名之位，应当首先跟随护卫。现在由您主持留务事务，这不是您应该做的。”赵廷美于是向太宗恳请随行。不久后，吕端因受王府亲近官属向管理人员说情违法买卖竹木的案子中牵连，被贬为商州司户参军。后调任汝州司户参军，又复任太常丞、判太常寺事务。

其后出知蔡州，因政绩良好，被官民上奏请求借留一任。后改授祠部员外郎、知开封县，调任考功员外郎兼侍御史知杂事，曾出使韩国。又调任户部郎中、判太常寺兼礼院，再转任大理少卿，不久后拜右谏议大夫。

许王赵元僖任开封尹时，吕端又任其判官。赵元僖去世后，有人告发他被爱妾张氏迷惑，使其多做不法之事。吕端因辅助有失，被贬为卫尉少卿。

吕端历任朝内外官职，他沉稳、镇静、有器量、识大体的吏治才干，已日渐为人所知。宰相赵普就曾称赞吕端说：“我见吕公奏事，得到皇上的嘉许，看不见他显出得意；受到别人的挫抑也看不见他显出沮丧或恐惧。他喜怒不形于言色。真是做宰相的人才啊！”赵普见多识广，看人眼光自是毒辣。太宗虽也听闻吕端才干，只是赵廷美一案、赵元僖之死都是当时大事，吕端牵涉其中，故而并未受到重视。

不过接下来的几件事让太宗彻底改变了对吕端的看法，并力排众议，任吕端为相。此时吕端正是花甲之年，可谓大器晚成。