Eitt merkasta höfuðból landsins. Engin önnur jörð á landinu hefur verið lengur í eigu sömu ættar. Eitt fallegasta skinnhandrit Íslendinga er Skarðsbók, sem inniheldur Jónsbók og var lögbók landsmanna um aldir frá 1281. Einn þeirra stórbænda sem bjuggu á Skarði var Björn Þorleifsson, hirðstjóri og kona hans Ólöf ríka Loftsdóttir. Englendingar drápu Björn á Rifi 1467 og þegar Ólöf fékk þær harmafregnir á hún að hafa sagt þau fleygu orð: „Eigi skal gráta Björn bónda heldur safna liði og hefna hans.“
Fróðleiksmoli: Sagt er að Ólöf hafi látið drepa fjölda Englendinga en haldið um fimmtíu þeirra í nauðungarvinnu á Skarði þar sem þeir voru meðal annars látnir hlaða stétt við Skarðskirkju. Altaristaflan í kirkjunni er sögð vera gjöf frá Ólöfu til minningar um bónda hennar Björn.