刘国杰，字国宝，原本是女真人，姓乌古伦，后来到了中原地区，改姓刘。他父亲德宁是宗王斡臣必阇赤手下的官员，负责管理益都的军民事务。刘国杰长得高大威猛，擅长骑马射箭，胆子特别大，很年轻的时候就参军，在涟海地区凭借出色的武艺当上了队长。
元至元六年，他被选中参加攻打襄阳的战役，作为益都新军的千户，跟着张弘范驻守万山堡。宋军一直在窥伺，有一次大家出去打柴，宋军就趁机大举进攻堡垒。刘国杰他们只有几百人，却打败了宋军，斩首四千多级，从此名声大噪。后来又跟随军队南征荆南，一直打到归州峡，转战几千里，最后攻破了襄阳城下的宋军。
在攻打樊城的时候，他先攻破了外城，结果被火炮打伤了大腿，但他包扎好伤口后又继续战斗，最终平定了外城。因此被授予武略将军的称号，还佩戴了金符。之后，他又参加了攻打张贵守卫的柜门关的战斗，表现非常勇猛。再次攻打樊城时，他身中数处伤，仍然浴血奋战，最终攻破了樊城。襄阳城投降后，元世祖听说他的英勇事迹，召见了他，提拔他为武德将军、管军总管，还赏赐给他一百两银子、锦衣、弓箭等，以示宠爱。
后来，他跟随伯颜南征。至元十一年，军队到达郢州。宋军扼守汉水，元军无法渡过。伯颜想先拿下黄家湾堡，以便进入汉水流域，刘国杰第一个冲上去，攻下了黄家湾堡，因此被加封为武节将军。之后，他又参与了攻破沙洋、新城的战斗，在丁家洲大败孙虎臣的军队，战功赫赫，被提升为万户。
接着，他又跟随阿术攻打淮南，自己率领军队驻扎在扬子桥，扼守宋军的道路。宋军派出一万多人趁夜偷袭堡垒，结果被刘国杰打退，还活捉了他们的都统张林。宋将张世杰率领大军从焦山出来阻击元军，他用铁链连接战船，停在江中，摆出一副必死的姿态。阿术率领各路军队进攻，万户刘琛从江南绕到张世杰军队的后面，刘国杰和董文炳从两翼夹击，烧毁了宋军的战船，张世杰的军队大溃，逃窜到圌山，元军缴获了数百艘黄鹞船。
元帝对刘国杰的功绩非常赞赏，下诏加封他为怀远大将军，赐号“霸都”。因为他是第二个被赐号“霸都”的人，所以大家都叫他“刘二霸都”，而不直呼其名。“霸都”，意思是勇敢无畏的勇士。
宋朝灭亡后，他被朝廷任用，官拜佥书西川行枢密院事，负责挑选淮南的军队，准备去平定蜀地。还没出发，北方就出了紧急情况，他又被加封为镇国上将军、汉军都元帅，率领卫兵去稳定北方局势。冬天，他被召回朝廷，皇帝还亲自脱下衣服，给他加上了玉带，赏赐给他。
十五年后，他又一次率领左、右、中三卫的军队，驻守北方边境，皇帝下诏说：“如有不服从命令的，就斩了，然后向我报告。”十六年，诸王脱脱木造反，攻打和林。国杰估计他们全部人马都去了前线，营地里肯定空虚，于是挑选轻骑兵偷袭，抓获了他们上万的人马。脱脱木屡次作战失利，又残暴不仁，失去了人心，他的部下把他杀了，然后投降了朝廷。
十八年，他被加封为辅国上将军。十九年，他率领东征的军队却毫无战功地回来了，皇帝很生气，打算把所有大小将校都罢免了。这时，皇帝召见国杰，让他担任征东行省左丞。国杰到任后，皇帝跟他说明了情况，国杰说：“责任在于元帅，如果陛下能够开恩，恢复那些将领的职务，他们一定会奋勇作战，洗刷之前的耻辱。”皇帝听从了他的建议。
于是，所有将领都恢复了官职，并把他们交给国杰统率，去征讨日本。这时，黄华在建宁起兵造反，朝廷就命令国杰率领东征的军队，与江淮参政伯颜等人一起讨伐黄华。国杰攻破了赤岩寨，黄华自杀，其余的人都溃散了。福建行省左丞忽剌带兵赶来，想在梧桐川搜捕逃跑的贼兵，把他们全部杀掉，国杰说：“起兵造反的是黄华，其他人都是被胁迫的，如果劝降不成，再杀他们也不迟。”没过多久，那些溃兵果然投降了。
二十二年，他被免去了征东行省的职务，改任佥书沿江行枢密院，后又改任佥院。
二十三年的时候，朝廷觉得湖广地区很重要，而且盗贼很多，就提升他当了本省的左丞。 国杰到了之后，首先平定了湖南盗贼李万二。
第二年，广东又闹起了盗贼，攻打肇庆府，盗贼头子邓太獠和刘太獠分别占据着前寨和后寨，互相依靠，觉得很稳固。国杰迅速出兵攻打后寨，打败了他们，接着又攻下了前寨，把这两个人都抓起来杀了，那些参与造反的老百姓，也都挨了板子处死。 之后他升官了，当上了资德大夫。
二十五年，湖南盗贼詹一仔勾结衡州、永州、宝庆府、武冈州的人，在四望山一带聚集，官兵打了很久都没能平定。国杰带兵去，把他们打败了，杀了几个贼首，剩下的都投降了。 手下将领建议说：“这些人造反很久了，现在投降了，但说不定哪天又会反，不如把他们全部坑杀。” 国杰说：“杀太多人不好，更何况杀降兵呢！我有办法处理他们。”
于是他选了三个地方，把这些降兵安置下来，分别在衡州叫清化屯，在永州叫乌符屯，在武冈州叫白仓屯。每个屯五百人，既可以防备盗贼，又能开垦荒地，让盗贼找不到藏身之处。 那些投降的人，如果原来有田地房屋，就都还给他们；如果没有，就让他们在屯里一起耕种。后来这些人，都成了老百姓。
皇上命令刘国杰去江西剿匪。刘国杰立刻出发了。十一月份，他在陈古水打败了萧太獠，斩杀了数百人，接着又平定了怀集的各个山寨里的贼寇。
第二十六年春天，刘国杰东进肇庆，攻打清远地区的闫太獠，之后又回到怀集攻打萧太獠，把他抓住了，接着又打败了严太獠。四月份，他在金林攻打曾太獠，再次将其打败。贼寇躲进坚固的山寨，刘国杰就凿山进去，贼寇有五千多人，结果被他几乎全歼。七月份，军队驻扎在贺州，士兵们染上了瘴气，都得了病，刘国杰亲自去看望他们，给他们治病，很多人因此活了下来。结果刘国杰自己也病了，于是把军队转移到了道州。广东的贼寇陈太獠在道州作乱，刘国杰又把他抓住了，然后攻破了赤水贼寨。
第二十七年，江西龙泉的贼寇又起事了，朝廷命令刘国杰前去讨伐。众将领都劝谏说：“这是其他省份的贼寇啊！”刘国杰说：“放任匪寇滋生祸患，祸患日后就更难对付了，怎么能用省份界限来推诿呢！”于是他挑选精兵，丢弃了旗帜和鼓乐，摘掉装饰，日夜兼程赶往贼寇的地盘。贼寇数千人顽强抵抗，看到刘国杰的军队军容不整，以为是乡下民兵，就轻敌了。刘国杰带领几十个骑兵冲入敌阵，大军随后跟进，贼寇大败，斩首五百多级，夺回了被抢走的男女老幼。傍晚，刘国杰突然收兵撤退了。堡里的老百姓看见了，都很奇怪，不知道这是谁的军队。第二天，刘国杰又突然来了，召集堡里的百姓，对那些男子说：“我是刘二霸都！”百姓们都惊奇地认为他是神仙，于是就告诉他盗匪钟太獠住在南安十八耒。刘国杰趁着大雾，偷偷潜入钟太獠的老巢。贼寇惊慌失措，自相践踏，官兵们奋力搏杀，从早上打到中午，抓杀了很多贼寇，然后才回师桂东。
二月份，龙泉的贼寇又来侵扰酃县，刘国杰于是又回到酃县。贼寇退守大井山，刘国杰就分兵三路进攻。山路险峻，他们弃马步行前进。当时正下着大雨，贼寇毫无防备，结果被刘国杰全歼，之后刘国杰回到道州驻守。八月份，永州的贼寇李末子千七在全州作乱，打败了官兵，杀死了郡长官土鲁。刘国杰前去讨伐，抓住了李末子千七，将他斩首示众。凭借这些战功，刘国杰被提升为湖广右丞。
公元1228年，他被任命为湖广等地的行枢密院副使，然后回到武昌。秋天，广东又闹起了盗匪，刘国杰再次出征道州。当时上思州知州黄胜，仗着地处险远，和交趾勾结，经常骚扰边境。
公元1229年，朝廷下令让刘国杰去讨伐他。这伙贼兵非常凶猛，在山洞竹林里穿梭自如，就跟飞鸟一样，还放毒箭，中箭的人都没一个能活的。刘国杰亲自率领士兵奋勇作战，贼兵抵挡不住，逃到了象山。象山靠近交趾，到处都是深山老林，根本进不去，刘国杰就琢磨着他们的进出路线，设下栅栏把他们围住。然后慢慢地开辟山路，一边打仗一边前进，两年后，终于攻克了他们的营寨。黄胜孤身逃到了交趾，刘国杰抓住了他的妻儿老小，把他们全部杀了。刘国杰三次派人给交趾国写信，要求他们交出黄胜，但交趾国却一直隐瞒，不肯交人。夏天，军队班师回朝，刘国杰把所有贼寇的老巢都改成了屯田，招募庆远等地的僮人来耕种，以此作为两广的屏障。后来，蛮族人都把这些屯田的地方叫做“省地”，再也不敢侵犯了。皇帝还派使者到军中，赐给他玉带。
公元1230年，刘国杰回朝，皇帝对大臣们说：“湖广是重要的地区，只有刘国杰才能镇守那里，其他人不行。”于是命令他不要调任其他官职。不久，朝廷商议要讨伐交趾，又加封刘国杰为湖广安南行平章事，并让诸王亦吉列台担任监军，一起征讨交趾。还没等出发，皇帝就驾崩了，征讨交趾的行动也就停止了。
宋朝新皇帝成宗登基后，重新在衡州设立了行枢密院，还任命了国杰为副使。之前，黔中地区的蛮族首领们一会儿归顺朝廷，一会儿又反叛，闹得很厉害。 同时，巴洞的何世雄袭击了澧州，泊崖洞的田万顷和楠木洞的孟再师也攻打辰州，朝廷曾经派兵讨伐，把他们降服了。朝廷还把泊崖改名为施溶州，任命田万顷为知州。
过了些年，也就是成宗皇帝登基的第三十一年，田万顷又反叛了，朝廷派兵去攻打他，但没能拿下。 等到成宗皇帝即位，下令大赦天下，也赦免了田万顷等人，可他们还是不肯投降。皇帝就派国杰去平叛。九月，国杰快速赶到辰州，先去进攻明溪的土匪鲁万丑。鲁万丑带着他的喽啰们从上游顺流而下，气势汹汹。战斗中，朝廷的千户崔忠和百户马孙儿壮烈牺牲了。
十月，国杰的军队进兵桑木溪，鲁万丑又带着一千人来抵抗，结果被国杰打败了。第二天，鲁万丑又带着更多的人马来进攻，国杰振奋军心，百户李旺率领敢死队冲进敌阵，其他士兵也奋勇杀敌，最终大败鲁万丑，攻破了他的老巢，一把火烧了个干净。 接下来，国杰率军进攻施溶州。他的部将田荣祖建议说：“施溶州是田万顷的中心，石农次和三羊峰是他的左右臂膀，应该先砍掉他的胳膊，才能攻破他的心脏。” 国杰觉得这个主意很好，于是命令军队攻打石农次。 敌人抵挡不住，丢下营寨逃跑了。 国杰乘胜追击，攻下了施溶州，活捉了田万顷，并将其斩首。
之后，国杰又穷追猛打田万顷的余党，翻山越岭，追击了上千里的路程。元贞元年，国杰在军中被加封为荣禄大夫、湖广行省平章政事。辰州和澧州靠近溪洞地区，以前宋朝就在这里选民设立屯兵点，免除他们的徭役，让他们来守卫边疆。在澧州的叫隘丁，在辰州的叫寨兵。宋朝灭亡后，这些制度都废除了。国杰重新恢复了这些制度，然后班师回朝。
回朝后，国杰又对茶陵、衡州、郴州、道州、桂阳等地进行了规划，这些地方都是广东、江西盗贼经常出没的地方，南北绵延三千里。国杰在这些地方设立了三十八个戍堡，安排将士驻守。 这样一来，从东边的交广地区到西边的黔中地区，以及整个湖广地区，四面八方都有了驻军，防御体系非常完善。 从此以后，蛮族再也不敢来侵扰，盗贼也销声匿迹了。
六月，皇上召见他，赏赐他玉带、锦衣和弓箭，还听说他在军队里经常用自己的钱财奖励将士，皇上就下令双倍补偿他花的钱，那些有功的士兵也都升了官。
大德五年，罗鬼女子蛇节造反了，乌撒、乌蒙、东川、芒部这些少数民族都跟着她一起叛乱，攻陷了贵州。皇上就命令国杰率领各路军队，联合四川、云南、思播的军队去讨伐他们。叛军的兵力很强，而且还有很多战马，官军一开始打了几次败仗。国杰想了个办法，让人拿一面盾牌，上面钉满了钉子，等战斗开始的时候，就假装逃跑，把盾牌扔在地上。叛军果然追了上来，战马跑得太快刹不住，踩到钉子都摔倒了，国杰抓住机会鼓舞士气，结果叛军大败。后来叛军又聚集起来请求决战，国杰没答应，等了好几天，估计他们已经疲惫了，才一鼓作气打败了他们，追击了几千里。
七年春天，蛇节、宋隆济、阿女等人被抓获并斩首，西南地区的叛乱彻底平息了。皇上召见国杰和他的将士们，设宴款待他们，赏赐非常丰厚。国杰被提升为光禄大夫，皇上还补偿他赏赐将士的钱，共计一千九百两黄金，一万五千锭白银，将士们也都根据功劳升了官，皇上还准许他回益都去祭扫祖坟。
八年，他回到驻地。国杰在边疆待了很久，染上了瘴气，这时候病得很重。平章卜邻吉台带着属下官员去看望他，国杰说：“叛贼不臣，如果我的病能好一点，能消灭这些叛贼，就算死了也无憾了。”问他家里的事情，他一句话也不说。二月，国杰去世，享年七十二岁。
国杰为人性格刚毅勇猛，视死如归，曾经对别人说过：“我为国家出力，就算死在荒郊野外也不后悔，何必非要裹着马皮回来安葬呢！”而且他善于真诚待人，赢得将士们的心，所以才能取得如此大的功劳。皇上听到他去世的消息，非常悲痛惋惜，追赠他推忠效力定远功臣、光禄大夫、司徒、柱国等官职，封他为齐国公，谥号武宣。
他的儿子脱欢，担任湖广行省平章政事，还娶了宪宗的孙女。
