Pakhuset, der er det eneste bevarede pakhus fra Norgeshandlen ved den jyske vestkyst, er bygget i 1820’erne.
Huset har haft en ”østre halvdel”, der nu er revet ned. I mange år blev det ejet af Søren Jensen fra Købmandsgården og fætteren Thomas Jensen. I 1857 overtog sønnen Mads Sørensen pakhuset
Da skudehandlen holdt op, blev huset benyttet af stedets fisskere som oplagsplads for redskaber. I 1930 overtages det af Tornby Bjergningslaug, der satte pakhuset i stand og senere fik opført en udstillingsbygning til fladbåden