Frá náttúrunnar hendi er alger hafnleysa á Borgarfirði eystri. Upp úr 1940 var farið að huga að hafnargerð og var byrjað á steyptum kerjagarði við Bakkagerðisþorp árið 1943. Garðurinn var lengdur í áföngum, síðast 1974 og er nú um 180m langur. Skjól er sáralítið við garðinn en strandferðaskip gátu þó lagst við hann þegar ládautt var og bátar Borgfirðinga lágu við hann þegar gott var í sjó. Bátana þurfti þó að taka á land í hafátt og var því útgerð enn bundin við sumarmánuðina. Afla er enn að mestu landað við hafnargarðinn en önnur not eru lítil nema afgreiðsla þeirra fáu vöruflutningaskipa sem til Borgarfjarðar koma í seinni tíð.
Upp úr 1970 var farið að huga að því að nýta skjól við Hafnarhólma út með firðinum að austan en fram að því höfðu hafnarbætur þar ekki þótt tímabærar með þeirri tækni sem þá var til staðar. Árið 1973 var byrjað þar á hafnargerð með grjótgarði sem lokaði Hólmasundinu. Síðan hefur verið unnið þar að gerð bátahafnar í mörgum áföngum, síðast sumarið 2001 þegar höfnin var dýpkuð nokkuð. Þar er nú þriggja metra dýpi, sem er meira en nóg fyrir þá bátastærð sem nú er gerð út frá Borgarfirði. Bátahöfnin má nú heita fullgerð og aðstaða þar viðunnandi en sog eru þar veruleg og þarf að vakta bátana í aftökum enda sýna öldumælingar í Borgarfirði mestu ölduhæð sem mælst hefur í grennd við hafnarmannvirki á Íslandi.