冷蔵庫に入れても大丈夫？

問題ありません。
特にラウリン酸という成分が25度以下（早い段階）で固まり始めます。
もし、白く固まらないココナッツオイルと出会ったとしたら、それは化学物質が含まれているか、ラウリン酸が含まれていないことが考えられます。