Toldhuset blev bygget i 1877 og var toldsted og beboelse for tolderne frem til 1899, som var Kongelige embedsmænd med ansvar for opkrævning af told, skat og afgifter, på ladepladsen ved Tornby Strand.

Nogle af Skudehandlens centre lå i Nordvestjylland, som drev handel på Norge, hvorfor der blev stationeret faste toldkontrollører ved kysten, så staten sikrede, at der blev betalt afgift af lasterne til kongen.

Fra Norge importerede man især tjære, salt og tømmer. Ud over at drive skudehandel havde købmændene også butik, hvor de havde en stor omsætning, fordi mange af de bønder, der afsatte deres varer, købte andre varer med hjem igen. Skudehandlergårdene fungerede også ofte som kroer, hvor man kunne få et måltid mad og overnatte.