Pada keseluruhannya, bangunan masjid negeri ini sempurna dibina memakan masa selama kira-kira lima tahun. Kerja asasnya iaitu kerja cerucuknya (piling) telah dimulai pada awal tahun 1970 oleh pemborong, Syarikat Metropolitan Construction, Kota Kinabalu dan siap pada akhir tahun itu juga. Kerja pembinaan bangunan dimulai pada awal tahun 1971 oleh Pemborong Ng Goon Han Construction Company Sdn. Bhd., Semenanjung Malaysia. Rangka bangunan itu keseluruhannya telah dapat disiapkan di akhir tahun 1974. Dari tahun 1974 hingga 1975, kerja-kerja di bahagian dalam dan luar diteruskan. Kerja-kerja ini disempurnakan oleh beberapa pemborong kecil yang masing-masing dengan kepakarannya seperti membuat kerja-kerja mengenai dinding, lantai, mosaik, sistem tenaga letrik, sistem pembesar suara, perabut, permaidani dan sebagainya.

Rekabentuk Masjid Negeri Sabah yang dicipta oleh arkitek Jurubena Bertiga ini mempunyai konsepnya yang tersendiri. Walaupun ia dibina dan dipersiapkan dengan segala peralatan moden, namun sesiapa jua yang melihatnya dari luar masjid itu, dengan sepintas lalu sahaja dapat menggambarkan rekabentuknya adalah merupakan suatu gabungan antara zaman keagungan Islam yang silam dengan zaman moden.