汉朝末年（东汉），北海地方出了一个很博学的人，名叫孔融，宇文举，是孔子的二十世孙。他从小就很聪明，尤其长于辞令，小小年纪，已是在社会上享有盛名。他十岁时，跟他父亲到洛阳（今河南洛阳县。洛阳是历代帝王的陪都，因位于长安之东，称为东都），当时在洛阳的河南太守，是很负盛名的李元礼，由于李氏的才名很重，因此在太守府中往来的人除了他的亲戚，其余都是当时有才名的人。如果不是名人去访，守门的人照例是不通报的。年仅十岁的孔融，却大胆地去访问这位太守。他到府门前，对守门人说：
“我是李太守的亲戚，给我通报一下。”
守门人通报后，李太守接见了他。李元礼问他说：“请问你和我有什么亲戚关系呢？”孔融回答道：“从前我的祖先仲尼（即孔子）和你家的祖先伯阳（指老子，老子姓李名耳，字伯阳）有师资之尊（孔子曾向老子请教过关于礼节的问题），因此，我和你也是世交呀！”当时有很多贺客在座，李氏和他的宾客对孔融的这一番话都很惊奇。
其中有一个中大夫陈韪，恰恰后到，在座的宾客将孔融的话告诉他后，他随口说道：“小时了了，大未必佳。”聪明的孔融立即反驳地道：“我想陈大夫小的时候，一定是很聪明的。”陈韪给孔融一句话难住了，半天说不出话来（见“世说新语”）。
后来的人便引用这段【故事】中的两句话，将“小时了了”引成成语，来说明小孩子从小便生性聪明，懂得的事情很多。但因为下文有“大未必佳”一语，故这句成语的意思便变成了：小时虽然很聪明，一到长大了却未必能够成材的。故表面上虽是赞扬的话，骨子里却是讥诮人、轻蔑人的。所以我们应用时便不能将它来称赞别人，否则将被人误解你有心讥剌、轻视人了。
一个小孩子，先天的聪明自然是好的，但若无后天的培养和努力，也会变成一块无用的材料；很多人自恃生性聪明，不肯好好学习，聪明反被聪明误，长大后反会变成最无用之人。