Σύμφωνα με την παράδοση, ο Άγιος Ιωάννης ο Ερημίτης, όταν αποχωρίστηκε από τους άλλους 98 Θεοφόρους Πατέρες, που έμειναν στον Αζωγυρέ κατά τον 16ο αι., έμεινε για τρία χρόνια στο σπήλαιο που βρίσκεται κοντά στη σημερινή Μαραθοκεφάλα του οικισμού Σπηλιάς Κολυμβαρίου. Πρόκειται για ένα σπήλαιο σε μορφή οριζόντιας γαλαρίας με μεγάλους σταλακτίτες και σταλαγμίτες, χωρητικότητας αρκετών χιλιάδων ατόμων. Το σπήλαιο συνδέθηκε με τον Άγιο Ιωάννη τον Ερημίτη και στα δεξιά της εισόδου κτίστηκε μικρό εκκλησάκι που τιμάται στη μνήμη του. Το σπήλαιο συγκεντρώνει αρκετούς προσκυνητές, ιδιαίτερα κατά την εορτή των Χριστουγέννων με αφορμή την αναπαράσταση της γέννησης του Θείου βρέφους.