当学会創立以前の我が国の鉱物学者は、主として日本地質学会で活躍していました。しかし、本邦の鉱物学の進歩のため、および世界の同学の士とともに鉱物学の発展向上に貢献するためには、独自の学会の設立が必要という気運が次第に高まりました。
そこで1951年4月、京都で開かれた日本地質学会の折りに夜間小集会を開き、鉱物学者の緊密な連絡のもと、物理学者や化学者とも共同して研究を進め、知見の統一を図ることが話し合われました。しかし、鉱物学は地質学と密接な関係にあるので、日本地質学会の部会として発足するために努力することになり、その発起人として、伊藤貞一、渡辺武男、須藤俊男、片山信夫、柴田秀賢、田久保実太郎、大森啓一、吉村豊文、原田準平の9氏が選ばれました。
同年10月、発起人会が作成した部会としての会則案が日本地質学会評議員会で承認され、翌年4月、大分で開かれた同学会総会で部会として承認されました。そして1952年6月9日、東京大学理学部二号館講堂において、部会としての創立総会が開かれました。ちなみに発足当時の会員数は127名でした。
部会としての発足とともに、会誌の発行が企画され、1952年9月和文誌「鉱物学雑誌」が創刊されました。英文誌は当初「Mineralogia」という名称が考えられていましたが、南米に同一名称の雑誌が既に発行されていたため、「Acta Mineralogica」と変更しましたが、最終的には「MINERALOGICAL JOURNAL」という名称で1953年9月に創刊されました。以後、2誌ともに途絶えることなく刊行され、研究者への貴重な情報源としての役割を果たしてきております。
なお、1955年6月3日の総会において、当学会を日本地質学会の部会ではなく、日本鉱物学会とする決議を行い、以後独立した学会として基礎的テーマはもとより、それぞれの時代における最先端の課題や学際的なテーマに次々と取り組みつつ活発な学術活動を続けております。