Pesantren yang mengedepankan pembelajaran kitab kuning dan aktivitas zikir ini didirikan pada tanggal 9 Juli 2001 (bertepatan dengan tanggal 17 Rabiul Akhir 1422 H) oleh Kiai Selamet Baharuddin. Dengan bantuan warga sekitar, Kiai Selamet Baharuddin memulai pembangunan pesantren dengan keikhlasan dan fasilitas seadanya di atas tanah pribadi milik beliau yang hanya berukuran 300 meter persegi.

Bangunan pesantren ini awalnya hanya berupa rumah pribadi beliau dan beberapa kamar santri serta ruangan belajar yang seadanya. Sarana dan prasarana yang ada terus berkembang seiring bertambahnya jumlah santri.

Pada saat pertama datang di wilayah Talang Bakung, Kiai Selamet Baharuddin tak cukup dikenal oleh warga. Kebanyakan warga tak mengetahui bahwa beliau yang pada saat itu bekerja sebagai pedagang makanan ringan adalah seorang Kiai. Pak Selamet (panggilan warga sekitar pada saat itu) memulai mengajar ngaji anak-anak setempat hingga perlahan banyak murid yang datang untuk belajar mengaji dengan beliau.

Selain rumah Kiai Selamet, kegiatan pengajian dan aktivitas para murid beliau pada masa-masa awal juga dilaksanakan di masjid Nurussa’adah yang berada di samping rumah beliau. Posisi rumah beliau yang berada di dekat masjid juga sangat mendukung aktivitas dakwah dan pendidikan yang beliau laksanakan. Masjid yang merupakan tempat berkumpul dan beribadah warga sekitar dapat menjadi fasilitas yang sangat efektif guna merangkul warga untuk terlibat aktif dalam aktivitas pendidikan dan keagamaan.

Pondok Pesantren Mambaul ulum kini sudah berkembang pesat dengan memiliki program pendidikan yang tersedia, salah satunya adalah Madrasah Tsanawiyah (MTs). menggunakan sistem program Asrama dan Non Asrama, MTs Mambaul ulum kini semakin berkembang dan maju. mengikuti perkembangan zaman tanpa melupakan Aqidah Islamiyah yaitu Berpegang pada Allah SWT.