Kärdla sadam rajati 19. sajandi keskpaigas Kärdla kalevivabriku ehitamise järel tooraine ja toodangu parema transportimise jaoks. Sadam kuulus algselt Hiiu‐Kärdla kalevivabrikule ning oli 19. sajandil ainuke väliskaubandusõigusega sadam saarel.
Sadam tegutses ajavahemikus 1849‐1944, olles algul vaid saare suurima käibega kaubasadam, kuid 20. sajandi algusest pandi käima ka reisiliin Kärdla-Tallinn, mis toimis teise maailmasõja alguseni. Kärdla sadam hävis Teise maailmasõja lõpus, 1944. aastal. Sadamahoonetest on tänaseni säilinud Kärdla villavabriku ladu ja ait.

Sadam ehitati uuesti üles 2012.–2013. aastal Euroopa Regionaalarengu fondi abiga ning sellest sai jahisadam. Sadama esimene hooaeg avati 24. mail 2014. Sadamas on kaikohti 80-le alusele. Sealt leiab kaks restorani, samuti on Kärdla sadam toimumispaigaks paljudele hooajalistele üritustele.