Semula masjid itu amat sederhana sekali, tidak lebih dari dinding dan atap yang terbuat dari kayu. Namun setelah beberapa lama masjid itu digunakan, lambat laun bangunan itu mengalami kerapuhan. Bahkan suatu ketika bangunan itu hancur porak poranda ditiup angin beliung dengan kencang. Akhirnya KH. Muhammad yang tidak lain adalah kakak ipar KH. Abdul Karim sendiri mempunyai inisiatif untuk membangun kembali masjid yang telah rusak itu dengan bangunan yang lebih permanen. Jalan keluar yang ditempuh KH. Muhammad, beliau menemui KH. Abdul Karim guna meminta pertimbangan dan bermusyawarah. Tidak lama kemudian seraya KH. Abdul Karim mengutus H. Ya’qub yang tidak lain adik iparnya sendiri untuk sowan berkonsultasi dengan KH. Ma’ruf Kedunglo mengenai langkah selanjutnya yang harus ditempuh dalam pelaksanaan pembangunan masjid tersebut.

Dari pertemuan antara H. Ya’qub dengan KH. Ma’ruf Kedunglo itu membuahkan persetujuan, yaitu dana pembangunan masjid dimintakan dari sumbangan para dermawan dan hartawan. Usai pembangunan itu diselesaikan, peresmian dilakukan pada tanggal 15 Rabi’ul Awwal 1347 H. / 1928 M. Acara itu bertepatan dengan acara ngunduh mantu putri KH. Abdul Karim yang kedua , Salamah dengan KH. Manshur Paculgowang.

[ads script=”1″ align=”center”]

Dalam tempo penggarapan yang tidak terlalu lama, masjid itu sudah berdiri tegak dan megah (pada masa itu) dengan mustakanya yang menjulang tinggi, dinding serta lantainya yang terbuat dari batu merah, gaya bangunannya yang bergaya klasik, yang merupakan gaya arsitektur Jawa kuno dengan gaya arsitektur negara Timur Tengah.

Untuk mengenang kembali masa keemasan Islam pada abad pertengahan, maka atas prakarsa KH. Ma’ruf pintu yang semula hanya satu, ditambah lagi menjadi sembilan, mirip kejayaan daulat Fatimiyyah.

Selang beberapa tahun setelah bangunan masjid itu berdiri, santri kian bertambah banyak. Maka sebagai akibatnya masjid yang semula dirasa longgar semakin terasa sempit. Kemudian diadakan perluasan dengan menambah serambi muka, yang sebagian besar dananya dipikul oleh H. Bisyri, dermawan dari Branggahan Kediri. Pembangunan ini dilakukan pada tahun sekitar 1984 M.

Tidak sampai disitu, sekitar tahun 1994 M. ditambahkan bangunan serambi depan masjid. Dengan pembangunan ini diharapkan cukupnya tempat untuk berjama’ah para santri, akan tetapi kenyataan mengatakan lain, jama’ah para santri tetap saja membludak sehingga sebagian harus berjamaah tanpa menggunakan atap. Bahkan sampai kini bila berjama’ah sholat Jum’at banyak santri dan penduduk yang harus beralaskan aspal jalan umum.

Untuk menjaga dan melestarikan amal jariyyah pendahulu serta menghargai dan melestarikan nilai ritual dan histories, sampai sekarang masjid itu tidak mengalami perobahan, hanya saja hampir tiap menjelang akhir tahun dinding-dindingnya dikapur dan sedikit ditambal sulam.