自从匈奴人占领中原，北方有许多人避难到南方来。刘琨的好友祖逖也带了几百家乡亲来到淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。
到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖带领他们早日恢复中原。
当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝琅琊王司马睿说：“晋朝大乱，主要是由于皇室内部自相残杀，使胡人乘机会攻进了中原。现在中原的百姓遭到敌人残酷迫害，人人想要起来反抗。只要大王下令出兵，派我们去收复失地。那么北方各地的人民一定会群起响应。”
司马睿并没有恢复中原的打算，但是听祖逖说得有道理，也不好推辞，勉强答应他的请求，派他做豫州（在今河南东部和安徽北部）刺史，拨给一千个人吃的粮食和三千匹布，至于人马和武器，叫他自己想办法。
祖逖带着随同他一起来的几百家乡亲，组成一支队伍，横渡长江。船到江心的时候，祖逖拿着船桨，在船舷边拍打（文言是‘中流击楫”），向大家发誓说：“我祖逖如果不能扫平占领中原的敌人，决不再过这条大江。”他的激昂的声调和豪壮的气概，使随行的壮士个个感动，人人激奋。
到了淮阴，他们停下来一面制造兵器，一面招兵买马，聚集了两千多人马，就向北进发了。
祖逖的军队一路上得到人民的支持，迅速收复了许多失地。当时，长江以北还有不少豪强地主，趁中原大乱的机会，占据堡坞，互相争夺。祖逖说服他们停止内争，跟随他一起北伐，对不听号令、依附敌人的，就坚决打击。祖逖的威望就越来越高了。
刘琨在北方听到老朋友祖逖起兵北伐，也很高兴，说：“我夜间枕着兵器睡觉等天亮，就是一心要消灭敌人。现在祖逖跑到我前面去了。”
公元319年，陈留地方的豪强地主陈川投降后赵国主石勒，祖逖决定发兵进攻陈川。石勒派兵五万援救，被祖逖打得大败。接着，后赵的将领桃豹和祖逖的部下韩潜又争夺蓬陂（在河南开封市附近）城。战斗了四十天，相持不下，双方的军粮都发生了困难。
有一天，祖逖用布袋装满了泥土，派一千多名兵士扛着，运到了晋营，装作运粮的样子。最后又派了几个兵士扛着几袋米，运到半路上，故意停下来休息。
桃豹在赵营内看到晋兵运来那么多的米，自然眼红，就趁晋兵休息的时候，派了大批兵士来抢。晋兵丢下米袋就逃。赵营里早已断了粮，抢到了一点米，只能够勉强维持几天，但是大家看到晋营里军粮那么充足，军心就动摇起来了。桃豹赶快派人向石勒求救。
过了几天，石勒派了一千头驴子装运了粮食接济桃豹。祖逖早就探得情报，在路上设下伏兵，把后赵的粮食全部截夺下来。这样一来，桃豹再也支持不住，连夜放弃阵地逃跑了。
祖逖领导晋兵艰苦斗争，收复了黄河以南的全部领土，后赵的兵士陆续向祖逖投降的也很多。晋元帝即位后，因为祖逖功劳大，封他为镇西将军。
祖逖在战斗的艰苦环境中，和将士们同甘共苦，自己的生活很节约，把省下的钱尽量帮助部下。他还奖励耕作，招纳新归附的人。即使是跟自己关系疏远和地位低下的人，他也同样热情地对待。生地的百姓都很拥护他。
有一次，祖逖举行宴会招待当地父老。人们高兴得又是唱歌，又是跳舞。有些老人流着眼泪说：“我们都老了，今天能够在活着的日子里看到亲人，死了也可以闭上眼睛了。”
祖逖一面操练士兵，一面扩大兵马，预备继续北伐，收复黄河以北的国土。哪儿想到昏庸的晋元帝对祖逖竟放心不过，怕祖逖势力太大了不好控制，派了一个戴渊来当征西将军，统管北方六州的军事，叫祖逖归他指挥。祖逖辛辛苦苦收复失地，反而受到朝廷的牵制，心里很不舒坦。
不久，祖逖听说他的好友刘琨在幽州被王敦派人害死，又听说晋元帝跟王敦正在明争暗斗，心里又是忧虑，又是气愤，终于得病死了。豫州的男女老少听到祖逖去世的消息，像死了自己的亲人一样伤心。
祖逖虽然没有完成恢复中原的事业，但他那中流击楫的英雄气概，一直被后代的人所传诵。