Bangunan itu berbentuk bujur sangkar, luasnya hanya 64 meter persegi. Mungkin belum sempurna untuk disebut bangunan karena bangunan tembok dengan lantai disemen itu belum memiliki atap untuk menahan hujan, bangunan itu ditutup dengan bilik bambu, ditambah dengan sedikit ruang untuk imam dan penerangan lampu 'petromak', jadilah bangunan itu Mushala Mujahidin, cikal bakal Masjid Mujahidin.

"Awal tahun 1971, atas anjuran warga komplek, kita membentuk panitia pembangunan mushala. Waktu itu sponsornya Bapak H. Malidin, dananya swadaya dari masyarakat. Akhirnya, setelah terkumpul 1.500.000 rupiah, pembangunan mushala dimulai". Begitu tutur Pak Syukri Yatim, salah seorang panitia pembangunan Mushala Mujahidin.

Mushala swadaya ini mulai dibangun sekitar akhir tahun 1971 atau awal tahun 1972. Dituturkan oleh Pak Abduh Malik, peletakan batu pertama Mushala Mujahidin diresmikan oleh KH. Jazuli Wangsa Saputra. Saat itu beliau menjabat sebagai Direktur Urusan Agama Depag RI. Mushala tersebut mulai dipergunakan sebagai sarana shalat dalam kurun waktu sekitar 1 tahun setelah peletakan batu pertama.

Sebelum Mushala dibangun, warga komplek melaksanakan shalat berjamaah di rumah bapak H. Malidin di jalan palapa V yang dipinjamkan sebagai mushala sementara. "Waktu itu Pak Malidin mempunyai dua rumah. Beliau menempati rumah yang sebelah utara, yang satu lagi di sebelah selatan (sekarang palapa V no. 30), dipinjamkan untuk mushala sementara. "Bangunannya masih jelek, setengah tembok, setengah gedek, atapnya juga baru setengah yang ada plafon, kalau hujan sering bocor". Demikian tutur Pak Chaeroni mengenang suasana masa itu. Beliau menambahkan, rumah tersebut tidak dipergunakan untuk shalat jum'at. Menurutnya di sekitar kedoya hanya ada dua masjid yaitu Masjid Al-Ukhuwah dan Masjid di Kebon Jeruk. Biasanya warga komplek melaksanakan shalat jum'at di Masjid Al-Ukhuwah.

Bersamaan dengan adanya mushala sementara, diadakan juga "pengajian keliling" warga komplek. Pengajian ini berlangsung dari rumah kerumah untuk meningkatkan tali silaturahmi antar warga komplek. Pengajian keliling ini merupakan salah satu kegiatan yang melahirkan ide pembangunan Masjid Mujahidin. "Dari pengajian keliling ini, tumbuh rasa ukhuwah islamiyah, pengajian ini penting sekali", tutur Pak Abduh Malik sebagai salah satu panitia pembangunan mushala. Selanjutnya Pak Abduh mengatakan bahwa setelah mushala dibangun, pengajian keliling ini hilang karena kegiatannya dipindahkan ke mushala.

Setelah panitia pembangunan terbentuk, warga mulai mengadakan rapat untuk membahas langkah-langkah selanjutnya. Dari rapat-rapat tersebut dicetuskanlah nama Mujahidin. Tidak jelas siapa pencetusnya. Beberapa orang nara sumber menyebutkan sejumlah nama, diantaranya ada yang menyebut Haji Malidin, yang dikatakan sebagai pelopor pembangunan Masjid Mujahidin dalam terjemahan bebasnya berarti pejuang. "Dengan nama Mujahidin, diharapkan jamaah berjuang di jalan kebenaran", tutur Pak Abduh.

Tentang lokasi masjid, pada awalnya Pemda DKI menawarkan tanah di jalan palapa VII (sekarang tanah kosong di depan rumah pak Subandi). Tawaran tersebut ditolak karena warga menginginkan lokasi masjid di tengah komplek. "Kita tidak mau karena masjid sebaiknya posisinya di tengah", tutur Pak Subandi. Kemudian panitia mengajukan permohonan pembebasan tanah untuk pendirian masjid kepada departemen agama. Pengajuan permohonan ini dapat dilakukan karena jumlah warga muslim pada saat itu sudah mencapai sekitar 80 kepala keluarga. Permohonan ini dikabulkan. Biro perlengkapan Departemen Agama membebaskan 1 kavling tanah di Jalan Palapa V untuk pendirian masjid. Selain dari Depag panitia pembangunan Mushala juga mendapatkan wakaf sebesar 1 kavling dari Haji Gani.

Pembangunan mushala ini berhenti sampai tembok selesai dibangun. Terhentinya pembangunan ini karena alasan dana yang tidak mencukupi. Tetapi warga sudah mulai menggunakan mushala tersebut walaupun dengan bangunan seadanya. Bahkan Mushala Mujahidin juga dipergunakan untuk menyelenggarakan shalat jum'at. Dengan pelaksanaan shalat jum'at ini Mushala Mujahidin mulai disebut dengan Masjid Mujahidin. Sekitar tahun 1974 - 1975, pembangunan Masjid Mujahidin mulai dilanjutkan kembali. Pembangunan tahap II ini diselesaikan dengan pemasangan kubah dengan lambang bulan bintang.

Lama kelamaan, Masjid dirasakan semakin sempit karena jumlah jamaah yang bertambah. Untuk itu, terjadi perluasan sedikit demi sedikit secara bertahap. Perluasan ini berlangsung hingga tahun 1996. Pada tahun tersebut, pembangunan masjid tahap III dimulai.

Dari dana swadaya masyarakat dan bantuan dana dari berbagai pihak, pembangunan masjid beserta aulanya selesai pada akhir tahun 1999. Bangunan ini diresmikan oleh Dirjen Bimas Islam dan Urusan Haji Depag RI, H. Mubarok pada tanggal 23 Oktober 1999.