Museet blev stiftet den 20. oktober 1908 af blandt andet hotelejer Degn Brøndum, maleren Michael Ancher, P.S. Krøyer, Laurits Tuxen og apoteker Victor Klæbel.
I 1919 skænkede Degn Brøndum den gamle have ved Brøndums Hotel til Skagens Museum. Her påbegyndtes museumsbyggeriet i 1926 efter tegninger af arkitwekt Ulrik Plesner.  
Byggeriet var finansieret af private og af fonde. De største bidragydere talte Degn Brøndum, Laurits Tuxen og Ny Carlsbergfondet. Den nye museumsbygning blev indviet den 22. september 1928. Museets samling bestod på det tidspunkt af ca. 325 kunstværker. Mange af dem var gaver fra kunstnerne.
 I 1981 blev udstillingslokalerne forøget med en tilbygning tegnet af arkitekt og kongelig bygningsinspektør Jacob Blevad.   Samme arkitekt tegnede også museets seneste tilbygning, som blev indviet i 1990.  Den blev opført med bistand fra Aage V. Jensens Fonde og forbedrede publikumsfaciliteterne i væsentlig grad.

Oplev mere: Skagens Kunstmuseer