渐渐地，有人被他的行为所感，或敬佩，或好奇，或寻求心灵慰藉，开始主动接济他，或捐赠一些钱物。
智愚并未推辞，他将这些钱财仔细收好。
数年后，他用这些积累，加上自己行医所得，在县城边缘一处清静的山坡下，买下一小块荒地，亲手一砖一瓦，建起了一座小小的寺庙。
寺庙不大，仅一进院落，三间厢房，一间正殿。
他没有请人题写气势恢宏的匾额，只在山门处挂了一块简陋的木牌，上面是他亲手刻下的三个字——一耳寺。
有人问：“大师，为何取名一耳寺？可是取自‘一耳入，一耳出’之意？”
智愚只是笑笑，并不解释。
但坊间渐渐流传，说是这和尚脾气怪，劝人向善讲道理，若对方不听，他便懒得废话，直接一耳屎过去，让对方长记性。
这寺名，或许便由此而来，当然，这只是笑谈。
一耳寺建成后，陆续有人慕名而来。
一个饱读诗书却屡试不第、又被家中琐事烦扰得焦头烂额的书生，来到寺前，恳求智愚为他剃度，说要遁入空门，远离红尘烦恼。
书生言辞恳切，眼中却满是逃避与厌世。
智愚看着他，缓缓摇头：“施主心中烦恼，非是红尘所致，乃是心魔所生。
空门非是避风港，入了此门，烦恼依旧在，只是换了模样。
你连家中琐事尚且无法面对，又如何面对青灯古佛下的孤寂与内心拷问？
回去吧，何时能于红尘中修得一颗安定之心，何时再来谈出世不迟。”
他拒绝了。此人并非真心向佛，只是将出家视为逃避现实的捷径。
强行渡其入门，恐其日后心生怨怼，反污佛门。
一个因战乱和瘟疫，家人全部亡故，孤苦无依、几次寻死未成的中年妇人，蓬头垢面地来到寺前，什么也不说，只是跪在门外默默流泪。
她已无求生之念，亦无求佛之心，只是不知该去往何处。
智愚默默看了她许久，然后打开寺门，递给她一碗热粥，一件干净的旧僧袍，指了指后院：
“那里有空房，柴火和水缸在墙角，寺里缺个洒扫之人，管吃住，无工钱，愿意，就留下。”