山阴吕善报《六红诗话》卷四云，“南之南词，北之鼓儿词，只足以娱村夫妇孺，若少有知识之士，便不屑听，以故操斯技者绝无雅人。会稽胡嗣源秀才文汇，幼工韵语，稍长即善唱南词，点窜旧本，都成妙文，名满士夫间，皆谓可与昔柳敬亭之说书，苏昆生之昆曲鼎立，然不事生产，晚境颇窘，而耽饮好洁之性愈甚。”案此所谓南词盖即越中之平调，又称平湖调，或是从湖州传来者耶。唱者无专业，大抵为平人或大家子弟之游惰者，近于北京之子弟书，世称平调先生，招请者须相当敬礼，饮食亦必精洁。当时擅此技者不乏人，唯没后皆身名翳如，胡秀才殆是唯一人矣。叶腾骧《证谛山人杂志》卷四有胡小二一则，记述更详，亦更琐屑有趣，文云，“会稽胡小二倜傥不羁，好修饰，善诙谐，能文多技，其音清越柔脆，如唱艳词，能使人人骨醉，唱哀词，能使人人堕泪，为越郡南词第一。聘请一日必洋银二元，唱不过一二出，最多三出，断不肯逾限也，饮食不丰洁不食，桌椅不明净不坐，延之者颇难，然时人祝寿完姻生子诸喜事，必以胡小二南词为体面，伶人演剧不足数也。以是声价愈重，胡亦专心于是而无志上进，恐采芹后不能为此技，父母督其应试，胡必潦草塞责，以取进为忧。一日院试，以权然后知轻重为题，胡视全篇明顺，恐取入，乃改承题云，夫权称锤也，犹恐不妥，又添二字曰，夫权一个称锤也，始畅然大笑。次年院试为祭如在三字，承题云，祭而不尽其诚，虽祭如不祭也，以为明犯下文断不能进，及榜发竟取入，乃放声大哭。父母切责之，小二曰，秀才举人如何做得，苦字上头矣。然自此竟不唱曲，唯以教读糊口，特诙谐愈甚，每亲朋雅集，小二一启口，必四座倾倒。”下文记其乾隆丁未在徐秀才家设帐时所说笑话，寿星头长，买富，夏雨似馒头，匪我求童茄等四则，虽原有出处，而即兴应用，诚如所云，可以见小二诙谐之一斑矣。《六红诗话》又选抄其诗云，“余曾于胡之好友王某处，见胡少时自写《藻湾诗钞》，存其吼山访高五清烟萝书屋一律云，不识高贤馆，迷津唤渡频。湿云溪路晓，芳草野塘春。山近猿窥户，庭闲鸟伴人。到来尘事息，无愧葛天民。又解下鹔鹴聊贳酒，吟成鹦鹉孰怜才，苍茫树底山精出，历乱坟前野兔奔，皆有宋元人笔意。”叶吕皆越人，《杂志》说及乾隆丁未年事，《诗话》成于嘉庆甲戌，盖均是乾嘉时人，与胡君约略同时，所记当有可信，唯诗不多选存数首，未免可惜耳。