康茂才，字寿卿，蕲州人。他精通经书史籍，孝顺母亲。元朝末年，寇贼乱党攻陷蕲州，康茂才召集义兵保卫家乡。因此而立功，由长官晋升为淮西宣慰司、都元帅。
太祖渡江以后，将士的家属留在和州。当时，康茂才戍守采石，扼守长江渡口。太祖几次派兵攻打采石，康茂才顽强抵抗。常遇春设下埋伏歼灭了康茂才的精锐部队。康茂才又把军寨移至天宁洲，又被攻破，康茂才只好逃奔到集庆。不久太祖又攻克了集庆，于是康茂才率领他的军队向太祖投降。太祖释免了康茂才，并命令他仍统率旧部和自己一起出征。第二年，康茂才被任命为秦淮翼水军元帅，驻守龙湾。康茂才攻取了江阴马驮沙，打败了张士诚的部队，缴获了一批船只。康茂才跟随廖永安攻打池州，攻取了枞阳。由于战乱纷起，老百姓不能正常地从事农业生产，军队缺乏粮食。为此，太祖任命康茂才为都水营田使，仍兼任帐前总制亲兵左副指挥使职务。
陈友谅攻陷太平之后，与张士诚协商联合攻打应天。太祖希望尽快将陈友谅引诱过来，一举破敌。太祖了解到康茂才和陈友谅有故交，于是命令康茂才派老仆人持书信，欺哄陈友谅，表示愿做内应。陈友谅十分高兴，并问康公在哪里，回答说：“在守卫江东的木桥。”使者回来后，太祖把木桥改成石桥。当友谅来到桥边，看到石桥后十分惊讶，连声大叫“老康”，没有响应，急忙退回到龙湾。这时，埋伏的部队四面出击，康茂才和其他将领奋力冲杀，打败了陈友谅。太祖嘉奖康茂才的功绩，赏赐颇为丰厚。第二年，太祖亲自讨伐陈友谅，康茂才带领水兵跟随太祖，攻克安庆、江州，陈友谅向西奔逃。于是，康茂才奋起直追，连下蕲州、兴国、汉阳等地，沿长江攻克黄梅寨，夺取瑞昌，打败了陈友谅的八指挥，迫使他的二万士兵向太祖投降。康茂才晋升为帐前亲兵副都指挥使。随即，攻打庐州左君弼，但未攻克。于是带兵增援南昌。彭蠡一战，陈友谅大败而死。康茂才随太祖征伐武昌，屡立战功，晋升为金吾侍卫亲军都护。康茂才和大将军徐达一起再次攻打庐州，攻下庐州后，又乘胜夺取了江陵和湖南等地。康茂才改任神武卫指挥使，并晋升为大都督府副使。
张士诚进攻江阴，太祖带兵反击。到了镇江，张士诚却已焚烧瓜洲逃跑了。康茂才从北面追到浮子门。吴军拦住海口，乘海潮进犯。康茂才奋力进击，大败张士诚。捣毁了淮安马骡港，攻克了张士诚的水寨，平定了淮安，攻取湖州，进逼平江。张士诚派精锐部队迎战，双方军队在尹山桥展开了激战。康茂才手持大戟督战，结果张士诚的军队全军覆没。康茂才和其他大将一起合围平江，在齐门驻军。攻克平江后又夺取了无锡。康茂才晋升为同知大都督府事，兼任太子右率府使。
洪武元年(1368)，康茂才和大将军徐达征伐中原，夺取汴州、洛阳，留守陕州。筹划运输粮饷，营造浮桥渡运兵卒，并招降绛、解等州，扼守潼关，陕西境内的元军不敢向东进犯。康茂才善于安抚，百姓立碑歌颂他的功德。三年，康茂才再次和大将军一起出征定西，攻取了兴元。凯旋途中，康茂才病死。追谥为蕲国公，封号“武康”。