乌巾荡原先十分浩大，建城时被截去部分以后，还是方圆三里。乌巾荡中曾经有小岛，还有人家。在开挖乌巾荡公园的时候，曾经挖出砖井。那砖有榫，据说是宋井。清代道光年间的进士、“文正书院”的山长陈广德以为乌巾荡中曾经有一位头戴乌巾的高人隐居在湖心岛。他还作《乌巾荡》诗：“角巾风近古，湖独是乌巾。自古留佳地，先生何代人？”
相传很久很久以前，在这片湖荡岸边有一茅舍，茅舍里住着一个苦学的年轻书生，姓李名凡。李凡十年寒窗，三度赶考，总是名落孙山。这一年，李凡落榜回到茅舍，长吁短叹，不思茶饭。夜里，他躺在竹床上，怎么也睡不着，呆呆地凝望蓬窗出神。不知过了多久，忽听得门外“嚓嚓嚓”有人走动的声音。李凡翻身下床，开门查看，只见月色朦胧，树影婆娑，湖水泛波，并无人迹。他折身刚要关门，蓦地看见柴门上挂着几条活蹦乱跳的鲜鱼。李凡感到蹊跷：这里离街有三里路，这鱼是从哪儿来的？
第二天，李凡感到腹中饥饿，便将那几条鱼煮熟充饥。也许由于饥饿，吃后他顿时感到神清气爽，浑身充满了活力。让他想不到的是，第三天早上，李凡起身开门，又见门外挂着几条活蹦乱跳的大鲫鱼。一连几天早上都是如此。李凡心里纳闷：这鱼是哪一个好心人送的呢？
这天夜里，李凡悄悄地攀到茅舍旁的大柳树上，暗地里注视着茅舍前后的动静；一直等到四更以后，忽见暗淡星光下，湖荡边一个人影直奔茅舍门前，迅即将拎着的鱼儿挂在柴门上，转身就飞快地走了。看那苗条的身影，分时是个女郎，行动十分轻捷。待到李凡从树上下来，那身影早已消失在茫茫的夜色之中。李凡心想：这深更半夜哪来的女郎，也许是这里的湖神吧。
又过了半个月。李凡因为享用了“湖神”所赐的活鱼，精神愈来愈好，脸色日渐红润。这一天，他到街上会友，刚走过街头石桥，忽然看见前面有一个女郎挑着担子在卖鱼。那身影，分明就是那天夜里送鱼的女子。李凡毫不犹豫地跑过去，拦住卖鱼女子的去路。谁知卖鱼女子把脸一沉，厉声说：“放尊重点，怎么拦路了？”李凡吓得朝后一退，看着满脸怒色的渔家女，慌忙道歉：“对不起，是我认错了人。”
这天晚上，李凡回到茅舍，思绪万千。他想起白天的经历，想起这些天人家送的鱼，这到底是怎么一回事呢？想着想着，忽然灵机一动，便从头上除下那方乌巾，平铺在桌上，题诗一首：“夜夜星辰夜夜心，不知赠鱼是何人？但求一见成知已，柳绿花红对柴门。”李凡将题诗的乌巾挂在门外，放心地睡了。一觉醒来，红日东升，李凡开门一看，又见活鱼挂在门上，而那题诗的乌巾不见了。
几天以后的夜里，一位老渔翁扣开李凡的茅舍，诚恳地对李凡说：“鱼是我叫小女送的。我看你屡试不中，需要补养，因此在下半夜收网之后，就叫小女送几尾给你滋补。你要专心致志，苦学应试。倘能考中做官，一定要做个好官清官。这样我们也就心满意足了。”说完，老渔翁又从鱼篓里拿出几条鱼留下，就转身走了。
李凡恍然大悟，从此专心苦学，后来果然考中了举人，做了府官。为了感谢渔家父女，李凡做了一辈子好官、清官，并且终身没有婚娶。
从那以后，人们便把这片湖荡叫做乌巾荡。