一个月后，就是七月，李芾（音浮，草木茂盛的意思）会携家眷赴潭州任。
李芾，字叔章，衡阳人。开始做官时只是个“以祖荫补南安司户”（就是，靠恩荫当了个南安司户，应该是管户口和仓库的。）何为是恩荫？就是上辈的人做了好事，后辈因此做官。他的祖先是广平人，中间迁居汴京。高祖父李升进士起家，任官吏享有廉洁的声名。靖康年中，金人攻破汴京，用刀逼迫李升的父亲，李升前去保护父亲，与父亲都死去了，这是孝。所以后代能得恩荫做官。
李芾虽然起步低，但最大官做到了临安府尹，就是临安市长（该是正三品），临安就是现在的杭州，是南宋的都城。所以李芾最大的官如同北京市长。
也许是因为祖上的清名才做了官，他十分在意为官公正。他为人刚介，什么意思？就是倔！不畏□。他在湖南几处地方当过官，作祁阳尉时，赈荒即有声名；到永州做官时，有一伙强盗为患，朝廷予以招抚，一年多没有攻克。李芾亲自与参议邓带一千三百人破其巢，将匪首父子擒拿，余党遂平。他当官的湘潭县多大家族，常常使以前的县官束手无策，李芾到任后，考核户籍出查赋税，不避权贵势要，赋税徭役大大平均。他进入朝廷，差任德清知县。适值浙西发生饥荒，李芾设置保伍赈济百姓，救活的人数以万计。后来他迁任主管酒库所，德清有人煽动百姓作乱，百姓蜂起依附，达到几万人，朝廷派遣李芾讨伐，盗贼听说李芾来到，众人立即溃散回家。他还建造了虎丘书院，设置学官，亲自制订学规来教育学生，来学院学习的人很多。
他当临安府尹时，正是贾似道当权的阶段。那时前方官事无论大小首先禀告贾似道才能实行，唯独李芾根本不禀问，愣是不理贾似道。福王府有逼迫他人致死的，贾似道极力为之营救，李芾写信往复辩论，终于把凶手置之于法。李芾曾出去巡视火器具，百姓有人不制作火具，李芾询问什么原因，说：“是贾似道的家人。”李芾立即对这人施以杖刑，痛揍一顿。贾似道大怒，指使台谏大臣黄万石诬陷他犯有贪赃罪，罢免了他的官职。
有人写史，总结李芾，说他临事精细敏悟，奸猾之人不能够欺骗他。而且精力过人，从清晨治理公事到傍晚毫无倦色，晚上通常到半夜才休息，五更时分又起床处理公事。望见他凛然不可犯，像神明一样，但他喜好贤能礼遇士人，与他接触感到温暖，虽然是一小小优点也诚恳奖掖推荐。平生居官清廉，等到被排斥贬官时，家里没有剩余的资产。
当元军破了宋朝要塞鄂州后，李芾才刚刚被重新起用，任湖南提刑（后代的按察使），主管所属湖南的司法、刑狱和监察，兼管农桑。当时郡县强盗扰乱，李芾命令所部发动民兵自卫，百姓才安定下来。他知道蒙元进逼，号召派遣军队，挑选壮士三千人，让乡里的武人尹奋忠率领，前往救援朝廷，另外招募民兵集中在衡州做防御的准备。没有多久，贾似道在芜湖兵溃，朝廷恢复了李芾的官职等级，委任他为潭州兼湖南安抚使。当时湖北州郡都已经归附蒙元，李芾的朋友们劝他不要去上任，还有的说：“实在没有办法，单人前往就行了。”李芾说：“吾世受国恩，虽废弃中，犹思所以报者，今幸用我，我以家许国矣！”（我世代受到国家的恩惠，即使是在被废弃期间我还想着如何报国，今天侥幸任用我，我就把家都交给国家吧！）这时的李芾该是个老人了，因为他的孙子已经在准备结婚。接到任命时，他的女儿刚刚死去，李芾痛哭一场，带着家眷来到了潭州。
此时，蒙元的右丞大将阿里海牙的十万大军已经南下，元军游骑已到湘阴、益阳诸县，潭州守军早已调赴前线，也大多死在了前线。潭州城内空虚，人心惶惶，一夕数惊。
受命于危难之际，李芾加紧进行守城的准备。他紧急召集城内尚能作战的军民约三千人，又约请湘西苗民为援，同时储备粮食，整修器械，加固城垣，在江中植立栅栏修筑营垒，命令刘孝忠统领各军。吴继明从湖北来了，陈义、陈元从戍守巴蜀回来，李芾奏请留下他们戍守潭州，推许诚心任用他们，得到了他们的拼死效力。
九月，阿里海牙以主力军队进入潭州地域，李芾派遣将领於兴率兵在湘阴抵御，於兴战死。他又调遣吴继明出城抵御，军队来不及出发，蒙元大军已经包围了潭州城。元军设连营环锁，重兵围城，使广西、湖南衡州(今衡阳)宋军不敢赴援。元水军溯江而上，破李芾所置木桩十五处，拔掉了城西的铁栅，射书城中招降，李芾不应。
十月，阿里海牙令决隍水(护城河水)，竖云梯，攻西城。李芾亲冒矢石督战，与诸将分地守御。刘孝忠等率军奋力抗击。百姓不管老弱也都出来了，没有命令也自动集合起来，结成军保协助作战。阿里海牙身中流矢，受了重伤，可更加疯狂地督军攻城。
围城日久，城中的箭用完了，李芾令百姓将废箭磨光，配上羽毛，用以再射；盐没了，则将库中盐席焚毁，取灰再熬，分给兵民食用；粮绝，则捕雀捉鼠充饥。有将士受伤，李芾亲自抚慰，给以医药，每天用忠义勉励他的将士。死伤的人杂乱众多，人们还是含忍血泪登城殊死战斗。有来招降的人，李芾把他杀了来宣示他