Το χωριό των Ολύμπων ιδρύθηκε κατά τον 13ο αιώνα ,την εποχή των Παλαιολόγων. Είναι ένα από τα μεσαιωνικά χωριά που δεν καταστράφηκε κατά τον σεισμό του 1881.
Οι Ολύμποι , όπως και τα Μεστά και το Πυργί, δημιουργήθηκε από συνένωση πολλών , μικρών χωριών(Άνω Ολύμποι, Βράκανα, Θειά, Καστράκι, Άλωνα- Ζαβαζά, Γωνιές-Σαλάγωνα, Βρέκος,) , για προστασία από τον κίνδυνο των πειρατών.  Οι κάτοικοι δηλαδή των γύρω χωριών και οικισμών εγκατέλειψαν τα σπίτια τους και ήρθαν και εγκαταστάθηκαν στους Κάτω Ολύμπους , για ασφάλεια από τις επιδρομές των πειρατών.
Ο οικισμός των Κάτω Ολύμπων χρησιμοποιούσε σαν χωριοεκκλησιά το μικρό εκκλησάκι της Αγίας Θεοδοσίας. Αργότερα, όταν ενώθηκαν τα χωριά, χτίστηκε η Αγία Παρασκευή. Μάλιστα σ’ αυτήν τοποθετήθηκε το τέμπλο του Αγίου Ιωάννη, του χωριού Άνω Ολύμποι, το οποίο είχαν πάρει μαζί οι κάτοικοί του, όταν το εγκατέλειψαν.
Το χωριό περιτριγυριζόταν από κάστρο , έχοντας σχήμα ορθογωνίου παραλληλόγραμμου. Το κάστρο είχε τέσσερα πυργόπουλα(πολεμίστρες). Τα δύο γωνιακά απ’ αυτά ήταν μεγαλύτερα από τ’ άλλα. Το ύψος του φρουρίου ήταν 7 μέτρα και των πυργόπουλων 5 μέτρα.
Η είσοδος και η έξοδος των κατοίκων γινόταν από μια και μόνο πόρτα , που σώζεται και σήμερα στη θέση Κάτω Πόρτα.  Μετά το 1821 ανοίχθηκαν και άλλες δύο πόρτες, μια στον Άγιο Γεώργιο και μια στο σχολείο. Η κεντρική πόρτα έκλεινε τη νύχτα , όπως και όταν γινόταν επιδρομή πειρατών. Κατά την  επιδρομή , όλοι οι κάτοικοι έμπαιναν μέσα στο χωριό, για να αμυνθούν.
Την είδηση τους την μετέφεραν οι βιγλάτορες. Οι βιγλάτορες έμεναν σε Βίγλα σε παραθαλάσσιο μέρος και παρακολουθούσαν  την περιοχή από τους πειρατές(Βίγλα σώζεται στην περιοχή της Αγίας Δύναμης). Όταν  εμφανίζονταν οι πειρατές, άναβαν φωτιά και έτσι ειδοποιούσαν τους κατοίκους του χωριού και εκείνοι κλείνονταν μέσα στο κάστρο του χωριού. Οι πειρατές, αν έβρισκαν κατοίκους έξω στην  ύπαιθρο , τους  έπαιρναν σαν σκλάβους και μετά έκαναν έφοδο στο χωριό. Αν οι πειρατές κατόρθωναν να μπουν και μέσα στο κάστρο του χωριού , τότε οι Ολυμπούσοι πήγαιναν στο δεύτερο πύργο, που ήταν και ο ψηλότερος και αμύνονταν μέχρι το τέλος. Ο πύργος αυτός σώζεται και σήμερα , βρίσκεται στο κέντρο του χωριού και έχει εμβαδόν 245 τ.μ.. Έχει επισκευαστεί από τον Ε.Ο.Τ.     
Το σημερινό χωριό μέχρι το 1821 περιοριζόταν στο χώρο του κάστρου . Αργότερα που εξαλείφθηκε ο φόβος των πειρατών  , οι κάτοικοι άρχισαν να χτίζουν και έξω από το κάστρο.