上联的“舟行著色屏风里”，我们可以拿《老残游记》中描写大明湖风景的一段文字给它作注释。

到了铁公祠前，朝南一望，只见对面千佛山上，梵宇僧楼，与那苍松翠柏，高下相间，红的火红，白的雪白，青的靛青，绿的碧绿；更有那一株半株的丹枫夹在里面，仿佛宋人赵千里的一幅大画，作了一架数十里长的屏风！（见《老残游记》第二回）

下联“人在回文锦字中”，则因湖面为荷塘芦港所隔，舟行须诘曲随之也。此联据《楹联丛话》所记：“据寺僧云，是前潍县教官郭铭盘所书，尚未知何人所撰也。”近人江宗礼编著的《晚晴楼联话》则说作者是孙星衍。孙星衍，字渊如，阳湖人，乾隆五十二年榜眼。《楹联丛话》记有他另外一副题大明湖薜荔馆的集句联：