耽是沉浸、沉恋、入迷了，以致别人叫也听不见，叫耽，所以耽是耳字旁。寓是寄托，玩市是热闹的集市、游玩的场所，相当于现代的购物中心。“耽读玩市”是在噪杂的市场里还能潜心读书，对外面的一切境界充耳不闻，这个典故说的是东汉学者王充。“寓目囊箱”也是说，在王充眼里只有书囊和书箱，除此而外，视而不见，听而不闻。

王充是东汉著名的唯物论思想家，字仲任，会稽上虞（今浙江上虞）人。早年曾入太学受业，师事班彪，博通百家言。年轻时游学洛阳，因家境不富，买不起书，便经常到书肆站立着读书，可以过目成诵。他曾做过小官，但不久就辞官回乡，一面教书，一面著书立说。他以毕生心血写下四部哲学巨著：《讥俗》、《政务》、《养生》、《论衡》，但保留下来的只有《论衡》一部。

《论衡》八十五篇，是王充用了三十年心血才完成的，被称为奇书。公元189年蔡邕来到浙江，看到《论衡》一书如获至宝，密藏而归。蔡邕的友人发现他自浙江回来以后，学问突有大进，猜想他可能得了奇书，便去寻找。果然在他帐间隐蔽处发现了《论衡》一书，抢了几卷就走。蔡邕急忙叮嘱：“此书只能你我共读，千万不要外传”。友人读后亦称，真乃其书也。