李冲，字思顺，陇西人，敦煌公李宝的小儿子。少小便成孤儿，被长兄荥阳太守李承所抚养教育。李承常说：“这孩子器量非同常人，正是我李门的希望之星。”李冲深沉儒雅，心胸宽广，跟随长兄到其任所。当时牧守的子弟大多侵犯百姓，动不动就向他们索要夺取财物，李冲与李承的长子李韶独独清简皎然，无所求取，当时人很是赞美他们。
魏显祖末年，李冲为中书学生。他善于交游，不随便乱来，同辈人们都很推重他。魏高祖初年，按惯例迁任秘书中散，掌管禁中文事，因其修整敏惠，渐渐被皇帝宠幸。迁任内秘书令、南部给事中。
过去没有三长设置，只是设立宗主督护负责户籍事务，所以老百姓大多隐瞒户籍真实情况，五十、三十家才为一户。李冲觉得用三正治理百姓，历史已很久远，于是创立三长制度呈奉皇上。文明太后看后觉得很好，召集公卿大臣讨论这件事。中书令郑羲、秘书令高..等人说：“李冲请求设立三长，本意是求混同天下为一法。他这个建议理论上可以实行，实际上很难做到。”郑羲又说：“不相信为臣的说法，但试行之，事败之后，当知愚言的真实。”太尉元丕说：“我认为这个办法如果施行，对于公私都有益处。”大家都说当今有事之月，核查户籍，新旧未分，老百姓必定劳怨，请求过了今年秋天，到冬天闲暇的时候，慢慢派人办此事，更合适些。李冲说：“民者，冥昏也，可让他们做什么事，但不可让他们知道为什么做这样的事。如不适时而行此事，老百姓徒然知道立长校户的勤密，没有见到平均徭役、省却赋税的好处，心中必定会生出怨愤。我们正应该在课调之月，让百姓知道赋税平均的好处。老百姓既已认识此事，又得到了好处，也就想要立三长了，我们做起来也容易多了。”著作郎傅思益进言说：“民间习俗不同，难易也不一致，设立九品差调百姓，施行已久，一旦改法，臣担心会造成恐慌混乱。”太后说：“设立三长，则课税便有经常的标准，赋税有经常分别，隐藏的户籍就会出来，心存侥幸的人也就不存在了，怎么说不行呢？”大家讨论的意见虽有不同，但都认为变法是很艰难的，便更无异议了。于是设立三长，公私都觉得很便利。
迁任中书令，加授散骑常侍，给事中官职仍旧。不久又转任南部尚书，赐给爵位顺阳侯。李冲被文明太后所宠幸，恩遇日隆一日，赏赐的东西每月达数千万，晋爵陇西公，李冲秘密弄来珍宝御用物品以充实其府第，外面没有一人知道。李冲家一向清贫，从此以后便成为富室。然而以谦逊为怀，积聚之后也能施散，近至姻亲新故，远到乡亲里友，没有人不受过他的赠予。李冲虚己接物，常念贫寒，衰老之人、旧敝之友、沉沦屈枉之人都可在他那受到良好的待遇，人们纷至沓来。舆论也以此称赞他。
当初，李冲的哥哥李佐与河南太守来崇同从凉州进入魏国，二人一向就有间隙隔阂。李佐因此构陷来崇犯罪，致使他饿死狱中。后来来崇的儿子又纠奏李佐受收贿赂的罪过，李佐及李冲等人都因此被投入监狱，碰到朝廷大赦，才得免罪出狱，李佐深深怀恨在心。到了李冲宠贵时，综摄内外，来护任南部郎，深深担心被李冲陷害，常常请求退避，而李冲则每每安慰他。来护后来犯了贿赂罪，心想这下肯定完了。李冲于是上表诉说与他的交往及不和，乞求皇上原谅他的过失，于是来护免于刑罚。李冲的外甥阴始孙孤独贫困，出入李冲家中，宛如他的儿侄们。有人想求官，因此送了些马给李冲，始孙便接受下来而且不向李冲说。后来始孙声称有事，借李冲此马，骑出之后，马的主人见到始孙乘坐此马而自己却没得到官职，大为愤怒，后来始孙才说出事情真相。李冲听说，大为惊讶，抓起始孙，备表上奏，始孙因此被处死。李冲身处要地，严守节挥，不念爱恶，就如上面所述。
当时遵照旧俗，王公重臣都叫他的名字，魏高祖常叫李冲为中书，始终不直呼其名。文明太后逝世后，高祖服丧，引见接待李冲，礼遇有加。等到朝廷商议礼仪律令，润饰辞意，改定字句，高祖虽然亲自下笔，但是总是与李冲一起商量。李冲竭尽忠诚侍奉圣上，知无不尽，出入勤勉，形于颜色，虽是旧臣戚辅，没人能赶得上他，大家无人不佩服他的决断慎密，全都归心于他。从此以后，天下太平，异域之人，听说他的情况，也都很佩服惊奇。魏高祖也更加深深地相信依靠他，更加亲近尊重他，君臣之间，情义无间。等到改置百司，开建五等爵制，高祖请李冲参与制定典制法式，封他为荥阳郡开国侯，食邑达八百户，拜授廷尉卿。不久又迁任侍中、吏部尚书、咸阳王老师。东宫建成之后，朝廷拜授他为太子少傅。魏高祖初依《周礼》，置立夫、嫔，让李冲的女儿为夫人。
皇帝下诏说：“过去轩皇统领天下，始立建造宫室之制；经历三代，兴起宫观法式。但茅门土阶，昭德于上代；层台广厦，崇威于中世。这实际是由于文饰质朴的制度风俗因时不同，华美朴素不同礼制的缘故。所以周代立国，在东都营造明堂；汉祖始兴，在咸阳、镐京建造未央宫。这都是为了使皇威尊崇，帝德隆盛，哪里说得上是好奢恶俭，以使民力凋弊呢？我皇运承天，以协天地，锐意安定四方，没来得及建造宫室，因此皇室建制，颇与国威不符。魏太祖刚刚登基，虽然宫室有了大致模样，从那以后，又多有营建改造。但到了三元庆典，万国使者都来我庭，观瞻的人，都有缺憾。朕虽不才，也承皇绪，适逢休明之期，事逢昌盛之运，应该按照远古法度，营造皇室宫宇。指训规模，事昭于平日；明堂、太庙，已在昔年建成。又凭借往年的好年成，依仗民情的安逸，准备在今年春天营造改修正殿。朕这一举措违犯时令，实行起来心惊胆颤。但是北方天气寒冷，做事不同南方，如果不是在春天动工，营造经夏，那么宫殿建造，便无法完工。成功地办成一件事，非得委任贤才不可；改制规模，不任用能人无法做到。尚书李冲器识胸怀渊大广博，经治营度明达高远，可为将作大臣；司空、长乐公元亮，可与他共治此事。至于去故崇新之事，修复太极之制，朕当另行委派。”
皇帝车驾南征，加授李冲为辅国大将军，统领军马随从皇帝。自京城出发至于洛阳，阴雨连绵，天不开晴，皇帝仍诏六军出发。魏高祖一身戎装，手执马鞭，乘马而出，群臣在马上行君臣之礼。高祖说：“长驱南境的计划，在京时就已商议好，而今大军即将进发，你们都有什么话要说？”李冲上前说：“为臣等不能运筹帷幄，坐制四海，而使南方有窃取帝号的一帮人，这实在是作为臣子的过失。陛下您因四海之内未统一，亲劳圣驾，臣等确实想舍生忘死，冲锋陷阵。然而自从离都以来，阴雨不断，士兵马匹困顿不堪，前面路途还很遥远，积水更多。伊、洛境内，这样的小水尚且导致如此困难，何况长江浩瀚，远在南境。如打造舟船，必须停顿，军队疲乏，粮食缺少，进退就很困难，正视困难回撤军马，这在目前是最合礼义的做法。”高祖说：“进伐南方，这是我们一致的意见，前面已经说过。而眼下你们因天雨而犯难，然而天时也是可以了解的。为什么呢？夏天既然烈日炎炎，北方干旱，秋天必定雨水很多，而初冬时节，天必晴爽。等到下个月初十左右，如果淫雨仍然不止，这就是天意不许，假如在此间天晴，行军则无多大妨碍。古时的君王不讨伐不幸的国家，那指的是诸侯同辈的国家，而不是指作为王者统一天下而言的。今天已到这步，怎么能随便就不走了呢？”李冲又说：“今天这个行动，天下之人都不情愿，只有陛下您一个人要这样做。汉文帝说，我独乘千里马，这是要到哪里去？为臣有请您回驾之意但一时无辞可说，惟以一死请陛下改变初衷。”魏高祖大怒说：“朕正要经营宇宙，统一海内，而你们这些儒生，却屡屡疑惑我的大计划，战事有它的常规，你们不要再多嘴！”打马准备出发。于是，大司马、安定王元休，兼左仆射、任城王元澄等人一起殷殷泣谏。魏高祖于是宣明群臣说：“现在兴动不小，动而无所成就，何以昭示后人？假如班师回朝，又无以垂名千载。朕仰思我魏远祖，世代居住幽僻的荒漠，当年不顾众人异议举都南迁，为的是享受无穷之美，岂是没有心计，轻率离祖宗陵壤的行为。今天的君子，宁是独有胸怀？当是由于人代天工，王业须成的缘故。如果不向南征伐，就当移都于此，光被中原，机会也是时运，王公大人们你们以为如何？讨论的结果，再不得出尔反尔，同意迁都的靠左边站，不同意的往右站。”安定王元休等人纷纷站到右边去了。前南安王元桢说：“大凡愚陋的人鼠目寸光，不明事体，机智的人有先见之明，察事于未萌之中。施行大德的不听普通人的议论，成就大功的不让老百姓参与谋划，非常之人才能建就非常之事。开阔神都以延续帝王之业，在中土建造帝王之都，当年周公行之在前，如今陛下行之于后，所以这是很合适的事情。况且天下至为重要的，莫如皇帝居室了，大凡体贵之人，岂能裸体而立？臣等请求皇上安顿好玉身贵体，下以慰百姓所望，光被中原，停止征南。这是为臣想要说的，苍生百姓所希望的好事。”群臣都口唱“万岁”。
魏高祖刚开始谋划南迁都城的时候，担心群臣心恋旧地，于是采取了南征的大行动，以此来压定群臣之情，外面叫南伐，其实是迁都。旧都之人怀恋故土，大多不愿南迁，但是担心帝王南征，没人敢发牢骚，于是魏高祖定都洛阳。李冲对魏高祖说：“陛下正仿照周公当年典制，定都洛阳。然而营建六宫，不能即刻而就；兴筑城墙，难以马上营讫。臣请陛下暂还北都，让臣下经造，功成事讫，然后备文物之章，和玉銮之响，择时南迁，定都此中。”高祖说：“朕准备巡察各地，到邺城小停，到了春天就回来，那时再不回去了。”不久任命李冲为镇南将军，侍中、少傅等职照旧，委他以营造新都的重任。改封阳平郡开国侯，所封邑户如故。
皇帝车驾南伐，让李冲兼任左仆射，留守洛阳。车驾渡淮河，另诏安南大将军元英、平南将军刘藻讨伐汉中，命令雍、泾、岐三州兵马六千人准备戍守南郑，一旦城池被攻下，立即派遣。李冲上表谏说：“秦州地理险厄，位置接近羌夷，自从征西部队出发之后，粮饷支援连续不断，加上氐、胡人叛逆朝廷，所在奔命，运粮拥甲，以防不测，至今仍然如此。今又预遣守城士兵，孤单单派到山外，虽然给他们优厚的待遇，臣仍担心他们会害怕。假如最终攻不下南郑，那就会扰动民众，假如他们连结胡夷，事情结果就难以预测了。为臣今又要依旨密令刺史，待军队攻克郑城，然后差遣守军，依为臣愚见，这个办法欠妥。为什么呢？西方道路险恶，往往羊肠小道，绵延千里，而今想深戍绝界之外，孤据群贼之中，敌人进攻不能马上援救，粮食完了不可立即接济。古人有言：‘虽鞭之长，不及马腹’，南郑对于我魏，就是马腹。况且过去的人攻伐，或有城降而不获取；仁君用兵，或有抚慰其民而遗其地。而且王者的举措，情在拯救百姓；夷寇所守，意在爱惜土地。比较二者意旨，德行有其深浅。如果君主声誉远播，何止是一城一地的得失？而且魏境所领，九州过八，所统臣民，十分有九。所未为我民者，只是漠北与江外而已。南郑近在咫尺，何需急急忙忙今天就要解决问题呢？臣认为应待我魏大开疆宇、广拔城池，多积资粮，足以对付敌人，然后再行置邦树将，开始并吞之举。而今钟离、寿阳，近在眼前却未拔除；赭城、新野，一步之遥却未降归。攻克的城池舍弃而不取，投降的士卒抚慰之后旋即被杀戮。东道既不能因近而力守，西蕃怎能因遥远而使兵固？如真要设置，为臣担心这最终是帮助了敌人。又加上现在在中原建都，地接敌寇疆城，正需大收勇士，平荡长江以南。而轻率派遣单寡兵力，攻守西方孤城，使其陷没敌手，臣担心以后采取行动之日，大家以留守为难，不愿前往，陛下您要求其将士效死朝廷，也就不易做到了。由此而论，不戍为上策。”高祖接纳了他的意见。
皇帝车驾还都，引见李冲等人，对他们说：“朕本想多设官员，考虑到如有人暗弱不明，则政事壅滞。如果那些人聪明独出，则权势又会很集中。而今朕虽然说不上是大聪明，也不是愚蠢之人，卿等不叫做大贤之人，但也不是大恶之辈。所以一两年内，朕想少置些官衙。”
魏高祖自邺城还京，泛舟洪池，于是从容对李冲说：“朕想从这里把渠道修到洛阳，南伐的时候，何不从这里到洛阳，从洛阳进入黄河，从黄河进入汴河，从汴河入清河，而到达淮河？下船而战，就如出门而斗一样方便，这是军国大计。而今沟渠挖建如须二万人以下，六十天就可挖成的话，应该逐渐修渠以备将来之用。”李冲回答说：“如像这样，便是士兵没有远涉的劳苦，战斗起来就有过人的力量了。”迁任尚书仆射，仍领少傅。改封清渊县开国侯，邑户不变。等到太子元恂被废，李冲也被罢免少傅官职。
魏高祖在清徽堂引见公卿大臣，高祖说：“圣人的大宝物，只是官位与功劳，所以功成作乐，国安制礼。而今移宫中土，创居嵩、洛，虽然是大构未成，但大体建制略略具体了。但是南方有被未征服的逆竖，加上凶蛮近在眼前，朕日夜思虑叹惜，只是为此。攻取南方的计策已经决定，朕行动的计划确定了。如依近代惯例，则天子下帷处深宫之内；准之上古，则有为帝亲行，福延七百年的事实。魏、晋当年不征，所以旋即灭亡，福的长短，在德行而不在征伐。今天朕只是不知南征行期的早晚。知道此的难道是神灵吗，朕既不是神灵，哪里知道呢。而一向以来，阴阳卜算的人，都劝朕现在出征必定克敌。这既是国家大事，应该是君臣各抒所见，不能因为朕先有说法，你们便只是依从，不发表不同看法了。”李冲回答说：“大夫征战的常规，先察人事，然后看于卜筮的征兆，而今卜筮结果虽然吉利，但人事仍未完备。今年秋谷收成不如常年，又加上京师始迁，众业未定，再加上征战，臣以为不可。应该等到来年。”高祖说：“仆射之言，不是没有道理。朕的想法，是为国家社稷担忧。像南方这样敌人近在咫尺，我们便无法自安，而今行动，理应如此。仆射说人事未备，也不见得是这样。朕去十七年，拥兵二十万，行不出京畿，这人事极盛，却与天时相违。往年行动，天时合适，而缺人事，又致不捷。如等待人事齐备，又非天时，那怎么办？像仆射这种说法，就会总也没有征讨的道理了。朕此番秋行，如不能克敌制胜，你们三君子一起把朕交给司寇处理。不可不人尽其心。”罢议而去。
后来魏世宗立为太子，高祖在清徽堂设宴。高祖说：“皇储身兼三才，光昭七祖，深得众望，天人同安，所以招延大家在此就宴，以畅胸怀。”高祖又说：“天地之道，一盈一虚，哪有经常安泰的。天道犹且如此，何况人事呢？所以凡事都有升有降，自古而来都是如此。追昔思今，的确颇值感慨。”李冲回答说：“太子承储，苍生咸幸。但是为臣以前忝居师傅，不能辅弼谐合，有愧苍天白日，蒙君宽含，能够参加此次宴会，幸福与惭愧交相迭至。”高祖说：“朕尚且不能及时革除昏弊，师傅又何必如此不安呢？”
后来尚书怀疑元拔、穆泰等犯有罪行，李冲启奏说：“前彭城镇将与穆泰同时叛逆，养子降寿应该随拔定罪。而太尉、咸阳王元禧等人，认为法律条文养子而为罪，父及兄弟不知情的不被连坐。谨慎审察律书意旨，因养子对于其父来说没有血缘关系，于兄弟也不是一气相通，亲缘厚薄既有差别，所以刑典量罪也有区分，所以养子虽然有罪，而父兄不在牵连之列。这样父兄犯罪，养子不知其谋，易地均情，也和前面所说的一样，哪能草草就要被株连呢？道理固然不是这样。臣以为：依据律文，不追戮于所生，也不从坐于所养，道理很明确了。又律文只说父亲不被儿子所牵连，而不说子不被其父牵连，这应当是优尊厉卑的意思。臣元禧等认为：‘律文中虽然没有正面见到此类条文，但互起见制，于给也举父之罪，于养也见子牵连，这就叫做互起。互起两明，无罪是必定的。如果以继养与亲生的相同，则父子受牵连都应相同，只明不坐。而且继养的条文注说：‘如有别制，不同此律。’又令文说：‘诸官有封爵，如没有亲生儿子，虽然有抱养过继的儿子，也不袭爵。这叫做有福不及己，有罪便连坐。均事等情，律令的意思，就互相矛盾。揣度法律意旨，必然不是这样。’臣李冲以为：按例寻条，有罪无疑，体味语情，颇亦同式。”诏书说：“仆射议论，据律明矣；太尉等论，于典矫枉。养子随父从戮的，按律已经免其生子，所以也不得独加罪于养子。此独何福，长处吞舟？对于国家来说有不许继承爵位的做法，是因为看重列爵的缘故，特为此立制，因天之所绝，推而除之罢了，哪能够再反过来报以刑赏？就此而论应该连坐而死的，可以特别原谅其不死。”
李冲生性机敏，常有巧思，北边京都的明堂、园丘、太庙，以及洛阳初基，安处郊兆，新起的宫室，都仗力于他。他勤勉志刚，孜孜无怠，旦理公务，兼营建造，文案上堆满文牍，手中常拿刻刀，始终不觉劳累。这样的位置使他一门尽贵，他务求照顾六姻亲戚，兄弟子侄，都有官爵，一家人每年的俸禄，都在万匹以上，只要是他的亲戚，即使是痴聋的残疾人，也无不做了大官。当时舆论也因此而对他颇有微词。
李冲刚到四十，但他鬓发便已斑白，容姿相貌丰岸伟美，看不到一点衰老的迹象。李彪入京之后，孤身一人，没有可凭仗的人，而他又自立不群，觉得李冲喜欢交结人，便倾心攀附。李冲也十分重视他的才器学识，礼貌地收容了他，经常在高祖面前提起他，公私场合都忘不了出力相助。等到李彪任中尉，兼任尚书，为高祖所厚待，便声称他并不是凭借李冲才上来的，而且对他很不礼貌，只是在公共场合敛袖作个揖而已，不再对他表示尊敬了。李冲心中很不痛快。后来魏高祖南征，李冲与吏部尚书、任城王元澄二人以李彪傲慢无礼的罪名，把他囚禁起来。上表列举李彪的罪状，李冲亲自制作，家人一点也不知道，表奏措词激切，引咎自责。高祖看了他的表奏，叹惜怅惘良久，接着说：“道固可以说骄纵横溢，仆射也称得上意气自满。”李冲听说，当时便勃然大怒，不断数落李彪前后的过失罪行，怒目圆睁，放声大叫，砸折书案。尽数关起御史，把他们全都以泥涂首，绑赴到皇帝面前，口出污言，泼口大骂。李冲一向性情温和柔顺，而一旦暴怒，便爆发疾病，神情惊悸，言语错乱，而且捋袖拍案，大骂李彪是小人。服汤吃药，也不能救治他的病，有人说他的肝脏受到伤害，已损坏破裂。十多天后便死了，当时才四十九岁。魏高祖为他在悬瓠举哀，失声痛哭，悲不自胜。下诏曰：“李冲贞和资性，德义树身，训导自家，尽忠于国。太和初年，朕未成年，早委军国机密，实在有功于国，后来，他官位渐高，参与选拔官员，进退升黜，全凭他一手操办。他忠诚自律，柔顺明达，足以称得上是睿智的典范，仁慈恭敬诚爱惠明的品质，经常受到民众的拥戴。他真可以称得上是国家的贤才，深受朝野看重。为此，朕刚刚把他提拔到较高的位置，以表彰他以前立下的功勋，没想到他竟早早就丧逝，朕岂能不悲痛于怀。既留勤应升，加过去宜奖，可赠他为司空公，赐予东园秘器、朝服一套、衣一套，赠钱三十万、布五百匹、蜡二百斤。”有关部门奏请谥号为文穆。在覆舟山下葬，坟墓邻近杜预坟冢，这是高祖本意。后来，皇帝车驾从邺城还归洛阳，路过李冲坟墓，身边的人告诉高祖，高祖卧病望坟，掩泣良久，下诏曰：“司空文穆公，德行为一时所宗，功劳深慰朕心。不幸去世，托坟邙岭，朕经过这里，凝望坟茔，悲其仁、思其旧，痛不自胜。可备太牢祭奠，以宽释朕思念之情。”等到高祖与留京的官员见面，大家都说起李冲去世的原因，纷纷流着眼泪。高祖得到官员们的启奏，知道李冲患病的原因，对左卫宋行说：“仆射掌我国家大机，总揽朝中事务，清俭尽职，恩宠已久。朕以其仁爱明达、忠诚儒雅，托付给他代管朝政，使我出境无后顾之忧，李冲忽然有这个病患，朕很是悲凉怆慨。”高祖是如此地痛惜李冲。
李冲兄弟六人，分别为四母所生，兄弟之间，很有些矛盾隔阂。等到李冲显贵起来，封禄恩赐都与他们共享，大家变得和睦起来。李冲父亲去世后兄弟们一起居住达二十年之久，到了洛阳才各建宅第，兄弟之间相互友爱，很久都没有矛盾发生。这都是因为李冲的德行所致。一开始李冲受到长兄偏爱，兄子李韶常有忧郁之情，担心会导致倾败。后来他荣名日显一日，渐渐便安心下来。而李冲为官时起，图谋任用自己的人，自始至终，毫不隐讳。他察时推运，都是跟这类事情一样。儿子延实等人传，记在《外戚传》。
