Строительство здания началось в 1935 году. Музей строился на деньги жителей Карафуто, то есть на пожертвования. Главным архитектором выступил Ёшио Кайзука, он же являлся и главным прорабом. Занимаясь проектированием музея, архитектор использовал популярный в то время (20-30-е годы XX века) стиль «тейкан дзукури», в переводе с японского «императорская корона».

К наиболее характерным чертам стиля относятся: черепичная крыша в виде японского замка, фонари-окна в потолке, вход-портик, японские украшения-кадзари (хризантемы) на крышах и скатах. Часть цокольного и первого этажей выложена каменной кладкой — как у японских старинных замков. На первом и втором этажах — узкие вытянутые окна — будто смотровые. В японских замках такие окна были очень удобны для лучников, защищавших свою крепость. Надстройка на втором этаже отсылает к смотровой башне. В древности между смотровыми башнями были специальные крытые переходы. Ёшио Кайзука использовал эту стилистику при строительстве музея. Левая и правая части кровли плоские. Помимо своего прямого назначения крыша музея использовалась в качестве смотровой площадки. Там же находятся световые колодцы, поэтому второй этаж здания полностью освещается за счет дневного света.

Ёшио Кайзука к строительству музея подошел со всей душей и использовал много декоративных элементов. Практически на каждом углу есть разного рода металлические накладки, декоративные стилизованные цветы. Архитектурное решение сочетает в себе синтоинские и буддийские традиции в оформлении.

Интересно, что при строительстве музея архитектор контролировал работы практически каждый день. Он приходил со специальной палочкой, постукивая которой проверял качество штукатурки на стенах. Если в какой-то момент она давала трещину — он сдирал всю стену и заставлял рабочих переделывать заново. В целом, здание построили в рекордные сроки, особенно если учесть строжайший контроль со стороны архитектора. На территории музея высадили деревья и разбили клумбы. Перед зданием соорудили фонтан, сзади обошлись небольшим водоемом и сотворили альпийскую горку.

Музей открылся для посетителей 1 августа 1937 года. На цокольном этаже разместили экспозиции, посвященные археологии и геологии. На первом этаже были представлены экспозиции природного мира и этнографии. На втором — выставки о развитии промышленности в период Карафуто, на третьем этаже находилась экспозиция, посвященная метеорологии.

На крыше музея можно увидеть флюгер — ранее сотрудники вели наблюдения за погодой. С момента открытия музея здесь работали специалисты узких отраслей — археолог, ботаник, этнограф и метеоролог.

Вход в музей охраняют две мифологические собаки, похожие на грозных львов. «Комаину» — японское мифическое животное, напоминающая смесь льва и собаки. Первоначально стражи располагались по дороге в храм Гококу Дзинзя в городе Тойохара (территория городской больницы Южно-Сахалинска). По преданию собаки защищали вход в святилище, поэтому их устанавливали у ворот. В конце 1940-х годов собак, перенесли на территорию краеведческого музея.

Спустя два года после освобождения Южного Сахалина от японцев город Александровск-Сахалинский потерял статус областной столицы. 25 октября 1947 года столицу Сахалинской области перенесли в Южно-Сахалинск и первый на острове краеведческий музей, созданный каторжанами на севере Сахалина утратил статус областного. Основные фонды из музея в Александровске – Сахалинском были перевезены в Южно-Сахалинский музей, который с тех пор называется Сахалинским областным краеведческим музеем.

В настоящее время в музее хранится обширный фонд из более 200 тысяч предметов культурного наследия. Это экспонаты археологии и этнографии, предметы естественной истории Сахалина и Курил. К редким коллекциям относятся старинные предметы традиционной культуры сахалинских аборигенов и палеонтологические коллекции.