Ένα στοιχείο μοναδικότητας του Πυργίου είναι τα περίφημα «ξυστά». Όλες οι προσόψεις των πυργούσικων σπιτιών και γενικότερα των οικοδομημάτων είναι διακοσμημένες με ξυστά.
Τα ξυστά είναι διακοσμητικά σχήματα, γεωμετρικά ως επί το πλείστον, χαραγμένα και ξυσμένα πάνω σε φρέσκο κονίαμα στις προσόψεις κατοικιών και άλλων κτιρίων. Η τεχνική αυτή δεν επινοήθηκε, αλλά εισήχθηκε στη Χίο πιθανότατα από τη Γένουα της Ιταλίας την περίοδο που οι Γενουάτες κατείχαν το νησί.
Τα ξυστά φαίνεται να διέρχονται τρεις διαφορετικές περιόδους :
α) την πρώιμη, στην οποία ανήκουν τα ξυστά από το διάστημα της εμφάνισής τους έως τα μισά του 19ου αιώνα . Ο τρόπος διακόσμησης εδώ είναι απλός με επανάληψη του ίδιου θέματος και περιορισμένο αριθμό μοτίβων.
β) η δεύτερη περίοδος φθάνει περίπου έως το 1950. Εδώ τα θέματα εμπλουτίζονται και ο αριθμός των μοτίβων αυξάνει. Εμφανίζονται για πρώτη φορά τα ελεύθερα φυτικά και ζωικά μοτίβα, η χρήση του κύκλου με τα γνωστά «φεγγάρια» είναι έντονη, ενώ ως προς το υλικό εγκαταλείπεται η ποταμίσια άμμος και γίνεται χρήση μαύρης άμμου από την παραλία του Μαύρου Γιαλού(στον Εμποριό) για επίτευξη αντιθέσεων.
γ) η Γ’ περίοδος φθάνει ως τον 20ο αιώνα, αλλάζει υλικά, γίνεται χρήση θαλασσινής άμμου, προστίθεται τσιμέντο και φούμο (μαύρη σκόνη, αποκαΐδια) με αποτέλεσμα να χάνουν τη μεγάλη αναγλυφότητά τους. Τα σχέδια παραμένουν περίπου τα ίδια και προστίθενται λίγα ακόμα, καταργείται πλήρως η χρήση χρωμάτων και ατονεί η συνθετική ικανότητα.
Η τέχνη των «ξυστών» διατηρείται μέχρι σήμερα. Οι περισσότεροι οικοδόμοι του χωριού γνωρίζουν την τεχνική τους. Το τσιμέντο, ο ασβέστης και η άμμος θαλάσσης αναμειγνύονται και απλώνονται με μυστρί στην επιφάνεια των οικοδομημάτων. Στη συνέχεια, η επιφάνεια αυτή καλύπτεται με ρευστό ασβέστη (γαλάτσωμα) και γίνεται άσπρη. Μόλις στεγνώσει, χαράσσονται πάνω σ’ αυτήν  με φορά από πάνω προς τα κάτω σε οριζόντιες ζώνες, μοτίβα με τη βοήθεια διαφόρων εργαλείων όπως ο διαβήτης, το αλφάδι, το μέτρο, και η μεταλλική γραφίδα. Το επόμενο βήμα είναι να ξυστεί η επιφάνεια του ασβέστη. Αυτό γίνεται με ένα πιρούνι. Μόλις φύγει ο ασβέστης, εμφανίζεται το σκούρο υπόστρωμα και διαμορφώνονται τα μοτίβα που είναι στην πλειοψηφία τους γεωμετρικά( τρίγωνα, ρόμβοι, κύκλοι, ημικύκλια, ψαροκόκκαλα). Κάποιες ονομασίες που έχουν δοθεί σε μοτίβα είναι αλυσίδα, σημαία, κουβαρίστρα, δισκοπότηρο, μυλόπανο.
Οι τεχνίτες του Πυργίου αυτοσχεδίαζαν, δημιουργώντας  ποικίλα γεωμετρικά θέματα τα οποία έμοιαζαν  με την ιταλική τεχνική του sgraffito, πού υπήρχε από παλιά στη Χώρα και στον Κάμπο και της οποίας τα απώτερα πρότυπα βρίσκονται στην Ιταλική αναγεννησιακή αρχιτεκτονική.