明太祖在统一战争中，依靠了一批英勇善战的将领争城夺地：又吸收了一些谋士，帮他出谋划策。在这些谋士中，刘基是最著名的一个。
刘基又叫刘伯温，本来是元朝的官员，因为对元朝的政治腐败不满意，常常写点文章，讽刺时事，后来，被解职回到他的家乡青田（在今浙江）。朱元璋的军队打到浙东的时候，把刘基请了出来，当他的谋士。在打败陈友谅、张士诚的战争中，刘基出了不少计策。由于他足智多谋，得到明太祖的信任。明太祖把他比做西汉初年的张良。
刘基不但谋略好，而且精通天文。在古代，往往把天文现象跟人间的吉凶扯在一起。刘基对天下形势观察仔细，考虑问题周到，他的预见往往比较准确。但是大家都认为这跟他精通天文有关。民间传说把刘伯温看作一个“未卜先知”的人物。
朱元璋当吴王的时候，江南发生了一场旱灾。刘基掌管天文，朱元璋问他为什么发生大旱，怎样才能求上天下雨。刘基说：“天一直不下雨，因为牢狱里关押的人有冤枉。”
朱元璋信了刘基的话，派他去查牢监里关的犯人。刘基一查，果然有不少冤案。他向朱元璋奏明后，平反了冤案，把错抓的人放了。
求雨和平反本来是毫不相干的两码事。刘基也不可能有求雨的法术。不过他懂得天文，可能观测到气象要发生变化，就借这个机会劝谏朱元璋平反冤案。果然不出几天，乌云密布，接着就下了一场透雨。刘基趁朱元璋高兴的时候，又劝他制定法律，依法办事，防止错杀无辜的人。
明太祖即位以后，叫刘基做御史中丞，负责司法工作。刘基严格执法。有一次，丞相李善长的一个亲信犯了法。李善长是明王朝开国功臣，又是明太祖的同乡，势力很大。但是刘基不顾李善长的阻挠，奏明明太祖，把那个亲信杀了。这件事当然招来了李善长的怨恨。
正巧这一年，京城又逢到大旱，明太祖十分着急。刘基乘机跟明太祖说：“战争中的死亡将士，他们的妻子需要抚恤；一些在筑城中死亡的工匠，尸骨还暴露在田野上，没人收埋。把这些事办了，说不定能下雨。”
明太祖一心求雨，当然很快批准了刘基的要求，抚恤了将士妻子，掩埋了工匠的尸骨。刘基虽然办了一件好事，但是靠这种办法劝谏，毕竟靠不住。这一次，他的预测不准，过了十天，还是烈日当空，一滴雨也没下。
这可使明太祖生了气，再加上李善长在旁边说坏话，叫刘基不能不害怕。这时候，他妻子在家乡得病死去。刘基请个假回老家了。
其实，明太祖对刘基是特别器重的。有一次，明太祖要拜刘基为丞相。刘基连忙推辞说：“选丞相好比挑栋梁。要挑个大木材，如果用小木头当梁柱，房屋就有倒坍的危险。”
后来，明太祖撤了丞相李善长的职，又想请刘基出来当丞相。刘基说：“我性子褊急，容不得坏人：再说年纪大了，也担当不了这样重任。天下有的是人材，希望陛下好好物色。”
刘基回到青田，过着隐居生活，从来不跟人谈起他过去的功劳。青田县令一再求见，都被刘基婉言拒绝。有一次，县令换上便服，装扮个乡下人去拜访刘基。刘基正在洗脚，见来了陌生人，连忙穿了鞋子，把来人请进屋，热情地留饭。
刘基请教来人姓名，县令只好实说：“我是青田知县，特来拜见先生。”刘基大吃一惊，连忙起身作揖，自称是治下的普通百姓。打那以后，再也不跟县令见面了。
刘基住在家乡，仍旧很关心明朝的政事。有一次，明太祖派人到青田向刘基问天象吉凶。刘基说：“冬天刚下过严霜冻雪：接下来便是阳春季节。现在国家已经安定，希望陛下施政稍为宽和一点。”