李彪家世寒微，胸有大志，酷爱读书，曾受教于当时名人伯阳。李彪自小就尊重长辈，非常孝敬父母，因此被举为孝廉，后到京师馆进修，受到中书令李冲的礼遇。

 孝文帝初年，李彪先后任中书教学博士、散骑常侍、建威将军、卫国子。朝廷曾命他为特使先后6次出使南齐，均不辱使命。   

 有一次，李彪出使南齐时，齐武帝萧颐赜命刘绘为主陪官设豪华宴席招待李彪。李彪认为太奢侈，说什么也不肯赴宴。在与齐武帝告别时，齐武帝说：“我为你举办接待盛宴，以洗鞍马劳顿，你嫌奢华而推辞，真乃豪士也，令人佩服。盼你再次前来叙话，聆听教诲。”李彪说：“燕衍清都中，一去永矣哉。”齐武帝遗憾地说：“看来这次辞别，就很难再相见了，这真是人生憾事。”随后齐武帝招文武群臣到琅琊城作诗送别。

 之后，李彪迁任秘书丞，参与史书修纂，并上书孝文帝表奏拨乱反正事七则：“尚俭行俭，立长子为太子，充盈国库，采用汉制，礼贵臣，倡孝悌，父母丧需守孝三年。”孝文帝看后连连称赞，颁旨施行，并升任李彪为秘书令。

 李彪被孝文帝所倚重，职位一直升到御史中尉。御史中尉负有监察百官、弹劾奸邪之责，再加上李彪刚直不阿，时常对朝中违法行为进行弹劾，臣僚都畏惧他，豪强们也都屏声敛气。

 一天，他在察看死囚牢房时，下起了大雪。他边走边想，触景生情，吟出一上联：“水上冻冰，冰积雪，雪上加霜。”吟罢，久不能想出下联。这时他看见一囚犯在流泪，便上前询问原因。囚犯说：“大人说的冰、雪、霜，三者交加，实为死囚处境，听后顿觉伤心而落泪。”李彪问道：“莫非你有冤情？”囚犯拱手说出下联，一语双关：“空中腾雾，雾成云，云开见日”。原来，这人本是河南汝阳知县，名叫李志。去年因为汝阳大旱颗粒无收，饿死了很多百姓。朝廷开仓放粮救济灾民，而知府刘宪璋却欺上瞒下以少报多私吞救灾粮一千多石。刘知府要求各知县按他的要求登记造册上报数据。知县李志认为私吞救命粮伤天害理，宁死不从，还要据实上奏朝廷。刘知府听说后害怕了，捏造事实说李志煽动饥民企图谋反，随将李志打入死牢，准备秋后问斩。李彪听闻后，立刻升堂问审，查明真相将刘宪璋就地正法，李志官复原职。

 孝文帝听说这件事后对群臣说：“我之有李生，就像汉武帝之有汲黯。”

 景明二年，李彪病逝于洛阳，终年58岁，朝廷赐谥号“刚宪”。

 有诗赞曰：