Fossfjörður er einn af svokölluðum Suðurfjörðum, sem ganga inn úr Arnarfirði. Suðurfirðirnir eru Bíldudalsvogur, Fossfjörður, Reykjarfjörður, Trostansfjörður og Geirþjófsfjörður. Fossfjörður er þeirra vestastur. í botni Fossfjarðar er bærinn Foss og þar er einnig að finna fallegan foss sem heitir einfaldlega Foss. Í Fossfirði er vinsæll viðkomustaður ferðamanna sem hefur fengið nafnið A-húsið. Húsið er gamalt yfrigefið sem hefur verið vinsælt myndefni ferðalanga fyrir þær sakir að það er afar sérstakt í laginu og stendur á fallegum stað.