刘牢之，字道坚，彭城人。曾祖父刘羲，奉侍晋武帝，以善射著称，做过北地、雁门太守。父亲刘建，有武将的才干，官至征虏将军，以勇猛雄壮著称。刘牢之面色紫赤，胡须与双目生得奇异，望之惊人，而且深沉刚毅，足智多谋。太元初年(376)，谢玄镇守广陵，当时前秦苻坚力量强大，谢玄招募勇壮威猛之士，刘牢之与东海人何谦、琅王牙人诸葛侃、乐安人高衡、东平人刘轨、西河人田洛以及晋陵人孙无终等响应招募，以勇猛被选中。谢玄任命刘牢之为参军，率精锐之师作前锋，百战百胜，号称“北府兵”，使敌人望而生畏。苻坚部将句难率兵南侵，谢玄率何谦等迎战。刘牢之在盱眙一带夺取句难的辎重及运输船只，以功升为鹰扬将军、广陵相。
车骑将军桓冲攻打襄陽，宣城内史胡彬率部进军寿陽，以策应桓冲。刘牢之率两千士卒，作为胡彬的后续部队。淮淝之战中，苻坚派他的弟弟苻融及勇将张蚝攻克寿陽，谢玄派胡彬与刘牢之阻击苻融、张蚝。军队驻扎在硖石，不敢贸然前进。苻坚部将梁成又率二万兵马进驻洛涧，谢玄派刘牢之率五千精兵抗拒梁成。与敌军相距十里，梁成沿涧列阵，以为险阻。刘牢之带领参军刘袭、诸葛求等率部径直渡过涧水，临阵斩杀梁成及其弟梁云等，又派兵截断敌人回撤的渡口，敌军步兵骑兵全线崩溃，争渡淮水，被刘牢之斩杀俘获万余人，缴获全部器械。苻坚不久也遭到惨败，逃回长安，余部纷纷集结退守城池。刘牢之又进军攻占了谯郡，派安丰太守戴宝率兵镇守。刘牢之晋升为龙骧将军、彭城内史，因战功卓著而赐封武冈县男，食邑五百户。刘牢之进驻鄄城，征讨那些还未降服的敌寇，黄河以南的城堡武装望风归顺刘牢之的很多。
其时苻坚之子苻丕据守邺城，为后燕王慕容垂所威逼，苻丕请求归降东晋，刘牢之领兵接应苻丕。慕容垂听说晋军来救苻丕，便从新城往北撤离。刘牢之与沛郡太守田次之率部追赶，行军两百里，到了五桥泽，士卒争抢辎重，阵容逐渐混乱，慕容垂乘势攻击，刘牢之大败，几乎全军覆没。刘牢之跃马跳过五丈涧，得以脱险。遇上苻丕的救兵，一起进入临漳，召集战败失散的士卒，兵威士气稍有振作。刘牢之因战败被召回。不久，又赐封龙骧将军，镇守淮陰城。后戍守彭城，又兼任太守之职。逆贼刘黎在皇丘称帝，刘牢之率兵消灭了刘黎。苻坚部将张遇派兵攻克金乡，围困太山太守羊迈，刘牢之派参军向钦之击退张遇，慕容垂的叛将翟钊接应张遇，刘牢之引兵返回。翟钊退兵，刘牢之乘机占领太山，追击翟钊至鄄城，翟钊兵败逃往河北，于是刘牢之俘虏张遇回到彭城。逆贼司马徽在马头山聚众反抗东晋，刘牢之派参军竺朗之消灭了司马徽。后燕慕容氏攻打廪丘，高平太守徐含远频频告急，刘牢之无力救援，以怯弱畏敌被罢官。
王恭起兵讨伐王国宝时，起用刘牢之为府司马，兼任南彭城内史，加封辅国将军。王恭派刘牢之击败王貵，让刘牢之兼任晋陵太守。王恭自以为门第高贵，才能超拔，因而傲物凌人。当讨伐王国宝的檄文传至京都，朝廷诛杀王国宝、王绪后，王恭自以为功德威望大显天下，虽然依仗刘牢之的力量打败了王国宝，但不过只把他当作一个行阵打仗的武夫而已，待他很薄。刘牢之自负有才，心中怨恨。当王恭起兵叛乱时，司马元显派庐江太守高素游说刘牢之倒戈，事成后，许他代替王恭的官职封号，刘牢之答应了。王恭的参军何澹之将这一密谋告诉了王恭。因为刘牢之与何澹之有矛盾，所以王恭怀疑何澹之所言的真实性而不予采纳。王恭置办酒席，盛情款待刘牢之，拜刘牢之为兄长，精兵利器都配给他，让他做前锋。行至竹里，刘牢之背叛王恭，归顺朝廷。王恭死后，刘牢之代替王恭接管兖州、青州、冀州、幽州、并州、徐州、扬州及晋陵的军事。刘牢之本是个低级将领，一下子占据了王恭的显赫职位，众人不能心悦诚服，刘牢之便重用心腹徐谦之等人以加强自己的势力。其时，杨亻全期、桓玄率部威逼京师，上表为王恭申辩，请求朝廷诛杀刘牢之。刘牢之率北府兵急行军奔赴京师，驻扎在新亭一带。桓玄等人接受诏令从京师退兵，刘牢之回兵镇守京口。
孙恩攻陷会稽城，刘牢之派部将桓宝率兵援救三吴，又派儿子刘敬宣率部作桓宝的后续军。救兵到了曲阿，吴郡内史桓谦已弃城逃走，刘牢之便统率大军东征，上奏朝廷，即刻进军，到吴地，与卫将军谢琰联合攻击孙恩，屡战屡胜，杀伤许多孙恩的军士，一直打到了浙江。刘牢之因功被封为前将军、都督吴郡诸军事。当时谢琰驻扎乌程，派司马高素配合刘牢之作战。刘牢之率大军渡浙江，孙恩畏惧，率部逃到海上。刘牢之回师镇守京口，孙恩又乘机攻占会稽，杀害卫将军谢琰。刘牢之晋封镇北将军、都督会稽五郡，再次率部东征，进驻上虞，派兵戍守诸县城池。孙恩攻克吴国，诛杀吴国内史袁山松。刘牢之派参军刘裕讨伐孙恩，孙恩率部退回海上。不久，孙恩浮海突然到京口，战士十余万，楼船千余艘，军容强盛。刘牢之在山陰，派刘裕领兵从海盐堵截孙恩，刘牢之自率大军援救京口。刘裕所部兵力不足千人，与孙恩交战，击溃孙恩。孙恩听说刘牢之已回京口，便率部逃向郁洲，又被刘敬宣、刘裕等人打败。孙恩战败自杀后，刘牢之声威大显。
元兴初年(402)，朝廷打算讨伐拥兵叛乱的桓玄，任命刘牢之为前锋都督、征西将军，兼任江州刺史。司马元显派遣使者同刘牢之商议讨伐桓玄的有关事宜。刘牢之因为桓玄从小享有英名，如今又凭仗全楚之众，担心制伏不了他，又考虑到消灭桓玄之后功盖天下，司马元显一定不会容忍自己，于是犹豫不决，不得已率北府文武将士进驻洌洲。桓玄派何穆劝阻刘牢之说：“自古至今，战乱时代，君臣之间彼此相互信任的只有燕昭王与乐毅、刘玄德与孔明，但都是功业未成而明君早逝，假如功成名就，恐怕难保大祸不临头。常言道：‘高鸟尽，良弓藏；狡兔死，猎狗烹；敌国破，谋臣亡。’所以勾践杀文种，秦王除白起，汉高祖斩韩信。他们都是英雄霸王之主，尚且不相信手下的功臣大将，更何况那些凶残愚昧、平庸无能之辈呢！自盘古开天地以来，拥有足以使君主震动的声威，建立无法封赏的大功，而能被昏暴君王所宽容的又有谁呢？相反，管仲箭射齐王衣钩反被齐王重用，雍齿多次威逼汉高祖反而受到汉高祖的厚封，这一类事是常有的，何况足下与桓公之间无射钩屡逼之仇呢！如今足下与桓公为敌，战败了将会遭到灭族之灾，战胜了同样会遭到灭族之灾，出路在哪里呢？与其头足异地，身败名裂，为天下俗人所耻笑，不如调转戈矛，保住自己的富贵，这样就可以使自身高位固若金石，英雄美名如天长地久。何去何从，请足下三思。”刘牢之自以为手握重兵，才能智谋足以统辖江南大地。其时谯王司马尚之已被桓玄打败，使得士气低落，军心沮丧，于是刘牢之接受何穆的劝说，派遣使者与桓玄连络。刘牢之的外甥何无忌与部将刘裕极力劝阻刘牢之，刘牢之一概听不进。不久，刘牢之令儿子刘敬宣投降桓玄。桓玄大喜，设筵宴款待刘敬宣，而暗中设计杀害他，桓玄陈列大批名人大家的书法画图，与刘敬宣一同观赏。刘敬宣丝毫没有察觉到桓玄的陰谋用心，桓玄手下的将佐官吏无不相视而笑。
司马元显失败后，桓玄任命刘牢之为征东将军、会稽太守，刘牢之长叹道：“才刚刚开始而已，便削夺我的兵权，不久以后，大祸将会降临了！”其时，桓玄住在丞相府，刘敬宣劝刘牢之袭击桓玄，刘牢之犹豫不决，移兵驻扎班渎，打算向北投靠广陵相高雅之，占据长江以北广大地区来对抗桓玄，召集众将领商议决策。参军刘袭道：“事情不能做的莫过于反叛，而将军早年反王恭，不久以前反司马元显，如今又打算反桓公。一个人一生当中三次反叛，怎能够立足于天地之间呢！”说罢，起身扬长而去。刘牢之手下将佐纷纷离开刘牢之，而刘敬宣在此之前返回京口转移家室，超过预定的期限，仍不见踪影。刘牢之以为被刘袭杀害，便心灰意冷，上吊而死。不久，刘敬宣返回，来不及吊哭安葬刘牢之，便急忙投奔高雅之。刘牢之手下的将佐官吏代为操办丧事，并将刘牢之归葬丹徒。桓玄下令开棺斩首，将尸体暴露在街市上示众。后来刘裕打败了称帝的桓玄，恢复东晋王朝，替刘牢之申辩，朝廷便恢复了刘牢之的职位和封号。