Tornby Bjerg er en del af landskabsformationen efterladt af isen efter sidste istid, og hvor uanseelig bjerget synes med sine kun 83 meter over havets overflade, så fortæller sagnene at der ligge en konge begravet. 

Tornby Bjerg har til alle tider trukket mennesker og sagn til sig. Skjaldekongen Kong Hjarne skal ligger derpå begravet; og at nær ved Kong Hjarnes grav, sidder selveste Holger Danske og venter i sin vagt. 
”Noget Syd for Hjarnes Høj, Tornby Sogn, ligger en stor flad Sten. Engang vilde Markens Ejer have Stenen bort, da den var Ham i vejen sådan midt på ageren. Han sendte da fire stærke Karle hen med Stålstænger for at vælte stene bort. Endelig fik det væltet Stene bort i det ene Hjørne men så da med skræk, at den hvilede på fire store Hjørnesten og dækkede over en stensat stue, hvori der sad en gammel Mand men langt hvidt Skæg og et stort sværd sad ved et stenbord, som skægget voksede helt ned på. Han så op og sagde: ”Er det det tid nu? Ræk mig din hånd, landsmand, og lad mig føle hvor stærk du er”. Den ene karl rakte ham stålstangen, som han tog i og klemte ganske flad. Da sagde han ”End er der kræfter i den danske arm, end er det ej tid! Hils mine brødre og sig at jeg er Holger Danske, og at jeg kommer til hjælp når Danmark er stedt i den største nød.” Nu kunne de slippe stenen, og ilede hjem og fortalte hvad de havde set og hørt. Stenen ligger endnu urørt på marken.” fra Danske Kongesagn.
Holger Danske kendes af alle, fra gipsfiguren i kassematterne under Kronborg Slot. Men hvem er så denne skjaldekonge Kong Hjarne? Hos Saxo berettes det, at efter Kong Frodes død, og hans arving Fridlev blev troet død, og der ingen arving var, blev der afholdt en skjaldekonkurrance. Hjarne vandt den, og blev gjort til Konge. Men da kom Fridlev hjem, og krævede sit retmæsssige krone. Hjarne var dog ikke til sinds at opgive, og det kom til strid. Hjarne tabte og flygtede. Men han søgte hævn, og for at komme Kongen nær igen, så tog han ansættelse som saltsyder, men blev genkendt. Det kom til tvekamp, og Fridlev fældede Hjarne og begravede ham i den høj, der bærer hans navn.
Ansporet af sagnet om Kong Hjarne blev højen Hjarnestenen udgravet af en sognefoged Niels Nygaard i 1831, og fra beskrivelsen i protokollerne, så fandt han i højen en stendysse. Stendyssen var fra bondestenalderen og var i jernalderen blevet genanvendt til begravelser. I tidsrummet mellem 1924 og 1936 blev højen slutteligt nedrevet og stenene hugget om og kørt bort. Ligesom beskrivelsen af karlenes forsøg på at fjerne stenen på marken, så har der også der været tale en stendysse. Der har faktisk ligget en stendysse syd for Hjarnestene, Brunbakke. Men også den er blevet nedrevet i 1900-tallet.
Sagn om Holger Danske og Kong Hjarnes hvilesteder er utallige. Tornby Bjerg er kun et af adskillige steder hvor de angives at være begravede. Men Vendsyssel Historiske Museum udgravede i september faktisk en kongegrav på Tornby Bjerg fra ca. 1090 efter Kristi fødsel.
For disse knap 2000 år siden blev en lokal konge begravet med to store bronze kar, en kasserolle af bronze og et fad. Og sit sværd og skjold. Med sig i graven fik han også sine smykker, to fingerringe af guld og en dragtnål af guld. Om end denne konges navn for længst er tabt, så havde sagnet dog en hvis ret, at der på Tornby Bjerg ligger en konge begravet.
”Der sad en gammel Mand men langt hvidt Sjæg og et stort sværd sad ved et stenbord, som skjgget voksede helt ned på.” Den hvilende Holger Danske med skæg så langt at det nåede helt ned til stenbordet. En noget anden Holger Danske end den beton kolos, der i dag kan ses under Kronborg.

Udsigten mod Tornby Bjerg fra syd. På Sydsiden har Tornby Bjerg flere ”forbjerge, små mindre toppe. Til højre ligger Møgeldysse, og til venstre under træbevoksningen, ligger Brunbakke.

De historisk interesserede kan gøre ophold på bænken ved Møgeldyssen, der kan dateres tilbage mere end 3.500 år f.Kr. Adskillige konger skulle efter sigende være begravet her.

Der arbejdes på en Tornby-sti med etablering af Dyssestien og Skudestien.