कालेश्वर नाम पड़ने के पीछे पुरी बताते हैं कि यहां पहले कभी काले सांपों का डेरा भी था। शिवलिंग पर भी काले-काले सांप देखे जाते थे। जिसके चलते इसका नाम कालेश्वर पड़ा। बताया कि मंदिर के आसपास ग्रामीण भी पूजा-अर्चना के बाद ही खेतीबाड़ी से जुड़ा काम शुरु करते हैं।