Det har vært skoledrift i Herøy i lang tid. I starten var det prestene som stod for undervisningen. Det første faste skolehuset i kommunen ble i 1795 bygd på Skindholmen (Flostad). Ungdomsskolen ble ferdig i 1968, mens barnetrinnet har en lengre historie.
Gammelskolen på Sør-Herøy, som er fra 1982, ble kjøpt av Jens Dahl på 1960-tallet. Den ble revet og flyttet og deler av den er satt opp på Engan. Bygningen brukes til boligformål. Der står "gammelskolen" den dag i dag.
Da lov om 9-årig skole ble vedtatt, ble det i Herøy vedtatt å planlegge og bygge Herøy sentralskole. Det var uenighet om hver skolen skulle ligge, men utbygging av bruer og omlegging av samferdselsmønstret i kommunen gjorde at valget falt på Sør-Herøy.
Åpningen av skolen ble slått sammen med gjenåpningen av kirken (etter renoveringen), åpning av ferjeleiet på Engan, offisiell åpning av av Herøysundbrua, samt Tennvalen kai og båtforbindelse til sør-øyene. Skolen (ungdomstrinnet) blir nå totalrenovert og gjort handicaptilpasset.
Skolen er renovert i tre trinn og sto ferdig til årsskiftet 2001/2002. I 1964 ble barneskolen bygd der den står i dag. Tidligere stod den på Skolneset (Flostad). Noen år senere ble skolen påbygd med ett klasserom. Den første tiden var Reidar Pedersen skolestyrer (1964-68).
I 1998 ble skolen ytterligere påbygd (”pyramiden”) og ”gammeldelen” ble renovert. Uteområdet ble også opparbeidet, med nye lekeapparater og ”forskjønning” av området.
Herøys nye storstue - Herøyhallen - ligger i tilknytning til ungdomstrinnet. Skolen benytter hallen til gymnastikk og ulike andre arrangementer.
Etter at Nord-Herøy skole ble vedtatt overført til sentralskolen, ble skolen ytterligere utbygget. Denne utbyggingen ble ferdig til skolestart høsten 2002.
Fra 1/1-2011 ble skolens navn endret fra Herøy sentralskole til Herøy skole.