माना जाता है कि गुष्मेश्वर का मंदिर 1000 वर्ष से भी अधिक पुराना है और शिवरात्रि के अवसर पर और श्रावण (जुलाई-अगस्त) के महीने में हजारों लोग यहाँ यात्रा करने आते है। मंदिर का एक खास महत्त्व है और पुराणों के अनुसार कहा जाता है कि सुधर्मी नाम का एक व्यक्ति देवगिरि की पहाड़ियों के पास रहता था जिसने सुदेहा नाम की एक लड़की से विवाह किया था लेकिन दुर्भाग्य से सुदेहा का बच्चा नहीं था और उसके अपने पति का विवाह अपनी बहन घुष्मा से कराने का फैसला किया।
घुष्मा भगवान शिव भक्त थी और वह भगवान शिव की रोज पूजा करती थी और सुधार्मा से शादी करने के बाद उसे एक पुत्र प्राप्त हुआ और जब उसका पुत्र बड़ा हुआ तो उसने उन्हें शादी कर ली, लेकिन सुदेहा ने घुष्मा की उपलब्धि और सम्मान को देखकर ईर्ष्या करने लगी और अंततः उसने उसके नवविवाहित पुत्र को मार दिया लेकिन घुष्मा इस बात से बिल्कुल निराश नहीं थी। उसने भगवान शिव पर अपना विश्वास बनाए रखा और अपनी पूजा जारी रखी।
जब वो हर दिन पूजा करती थी तो वो रोज शिवलिंगम का विसर्जन करती थी और एक दिन जब वह नदी में विसर्जन कर रही थीं तो पहले उन्हे भगवान शिव दिखाई दी क्योंकि वह उनकी भक्ति से बहुत प्रसन्न थे और उनके खोए हुए बेटे को सम्मान के साथ दिया था कि उनका नाम हमेशा उसके साथ स्मरण रखें क्योंकि ‘घोष्मेश्वर’ या ‘घोष का भगवान’ नाम का एक मंदिर होगा और फिर ज्योतिर्लिंग का गठन किया गया था।
स्थानीय लोगों के अनुसार यह कहा गया है कि मंदिर भगवान शिव की एक शक्तिशाली स्थान है और कई बार वहां महमूद घाजनवी ने अपनी सेना को लूटने और मंदिर को नुकसान पहुंचाने के लिए भेजता था और कई राजा इसे बचाने के लिए अपनी जान गवां देते थे । 1358 वर्ष में हमीर खिलजी ने इस मंदिर को नष्ट करने के लिए अपनी सेना भेजी और उनकी सेनादल ने गांव और गोदामों को भी नुकसान पहुँचाया और उन्होंने मंदिर को तोड़ना शुरू कर दिया, लेकिन रात होने पर उन्हें रुकना पड़ा। उसी रात खिलजी ने एक सपना देखा जिसमें आधे से घरे हुए तीन-आंखों वाला व्यक्ति अपने हाथ में एक त्रिशूल लिए आया था, वह उसे मारने की चेतावनी दे रहा था इस डर से खिलजी पूरी रात नहीं सो सका। पुजारी ने कहा कि वह और कोई नहीं भगवान शिव थे जो अपने क्रोध से ब्रह्मांड को अपनी तीसरी आंखें खोलकर नष्ट कर सकते है और अंततः खिलजी ने मंदिर को कब्जा करने की योजना को छोड़ दिया और वापिस रांठमौर में चला गया ।