吴与弼，字子传，号康斋，崇仁人。父吴溥，建文时为国子司业，永乐年间为翰林修撰。与弼十九岁那年见到《伊洛渊源图》一书，非常仰慕。他不去参加科举考试，闭门尽读《四子》、《五经》及程朱的著作，数年不下楼。中年时，家境更贫，他参加耕稼，凡是不正当的利益，丝毫不取。对于四方前来求学的人，他教诲不倦。正统十一年(1446)，山西佥事何自学向朝廷举荐，请授他文学高职，后来御史涂谦、抚州知府王宁又向朝廷荐举，他都不肯接受。他曾叹息说：“宦官、佛教不除掉，要想天下治理好，是困难的。”景泰七年(1456)，御史陈述奏请朝廷聘请他为皇帝讲经，或在国子监讲学，教育贵族子弟。朝廷诏令江西巡抚韩雍备礼聘请，他仍是不肯就职。
天顺元年(1457)，石亨打算召来一些贤者，以表示自己对他们的尊重，便与大学士李贤商议，嘱咐他起草奏疏，向皇帝推荐。英宗命李贤起草诏书，遣行人曹隆带着礼物庄重地征召吴与弼上京。与弼到了朝廷，被授左春坊谕德之职，他上疏辞谢。皇帝在文华殿召见，问他为何辞职，回答说：“我不过是个贫贱之人，本无高深学问和高尚德行，陛下听到的并非真实情形，又不幸有好狗马的毛病。朝廷令使臣带重礼来召我，臣惭愧地受到特殊优待，不能不勉力来到京师。我今年已六十八岁，实在不能为官。”英宗说“：在宫中做官，事情不多，不必推辞。”赐锦缎酒食，遣宦官送回住处安息。并对李贤说：“此老头并非迂阔之人，务必令他就职。”皇上对他待遇越优厚，他辞谢得越坚决，上疏说：“臣学术浅陋荒疏，如果冒昧受禄，必耽误公事。”皇帝不许。与弼不得已，只有请求不穿朝服，仍住在馆舍中，借读于秘书阁。在京师留住了两月，因病力请回乡，在李贤的劝说下，皇帝同意了，派行人送还，命当地官府每月给与弼米二石。与弼回家后，上表称谢，并陈奏尊崇圣人之学说主张、广建学校等十事。成化五年(1469)逝世，享年七十九岁。
吴与弼初到京师，李贤推他上座，以尊敬师长之礼相待，而令编修尹直坐于侧。尹直非常气愤，出来就诽谤与弼。与弼回到家乡，知府张王贵求见不得，很不高兴，募人代与弼的弟弟投文控告与弼，张王贵立即派人把与弼逮捕至府衙大加侮辱，然后送回。与弼知道这不是出自其弟本意，仍与他友爱。编修张元桢不知张王贵诬陷与弼一事的始末，致书讥笑他，其中有“上告素王，正名讨罪，岂容先生久窃虚名”之语，尹直也把这件事写在《琐缀录》中。有人说与弼在为石亨族谱所写的《跋》中，自称“门下士”，士大夫因此对与弼有非议。后来顾允成指出“：这是那些爱管闲事的人干的。”后来，吴与弼的学生都能入祠享受祭祀，而与弼却不能。所著《目录》，都是记录自己平生学问所得。
其门人最著名的有胡居仁、陈献章、娄谅，其次是胡九韶、谢复、郑伉。