Pada awal tahun 1999, Al Habib Sholeh bin Muhammad Al Jufri (Alumni Darul Musthafa Tarim Hadramaut) bertemu dengan Al Habib Abu Bakar bin Zen Al Habsyi (Alumni Al Azhar Mesir).Berangkat dari keprihatinan atas keadaan dan kondisi yang ada, dalam beberapa kali diskusi akhirnya muncul gagasan dan keberanian untuk mengantisipasi dengan mendirikan pondok pesantren.
Gagasan diatas juga sempat dibicarakan dengan Al Habib Muhammad Anis bin Alwi bin Ali Al Habsyi selaku tokoh masyarakat Solo. Atas saran dan restu beliau kami mencari area yang berlokasi di antara Tawangmangu dan karanganyar. Dan kami bertekat akan memulai sekalipun dengan yang kecil terlebih dahulu.
Pada Mei 1999, karena lokasi pondok belum juga didapatkan, maka Al Habib Abu Bakar Al Habsyi yang berencana akan pindah ke Jakarta, merelakan sisa sewa rumahnya selama satu setengah tahun untuk difungsikan sebagai pondok pesantren. Setelah terjadi beberapa pembicaraan dengan para tokoh masyarakat dan mereka yang simpati dengan rencana ini, akhirnya dibentuk kepengurusan.
Dan Pada tanggal 12 Rabiul Awwal 1420 H bertepatan dengan 26 Juni 1999, Pondok Pesantren Darul Musthafa yang beralamat di Jl. Angsana No.1 RT.01 RW.05 Cemani - Grogol - Sukoharjo Jawa Tengah resmi dimulai.
Dua bulan kemudian, pihak pondok menerima tanah wakaf dari Al Habib Alwi Muhammad Assegaf yang berlokasi di Karangpandan (sesuai dengan saran Al Habib Muhammad Anis bin Alwi Al Habsyi sebelumnya) seluas 4.200 M2.
Pada bulan November 1999, rumah sederhana yang terdapat diatas tanah wakaf tersebut direnovasi oleh Al Habib Abu Bakar Al Jufri, hingga dapat difungsikan. Pada tahap awal digunakan sebagai tempat kegiatan TPA, sholat tarawih dan kegiatan lain dengan melibatkan para ustadz dan santri Darul Musthafa dalam pengelolaannya.
Pada awal tahun 2000 terjadi perkembangan baru, bahwa pondok yang berlokasi di Cemani karena satu dan lain hal tidak dapat diteruskan lagi. Karena santri telah ada dan kegiatan belajar-mengajar telah berjalan, maka tidak ada pilihan lain bagi pengurus kecuali memulai pembangunan tanah wakaf di Karangpandan.
Pada tanggal 15 April 2000 M bertepatan dengan 10 Muharram 1420 H, peletakan batu pertama pembangunan pondok dilaksanakan oleh Al Habib Muhammad Anis bin Alwi Al Habsyi (Solo), Al Habib Umar bin Muhammad bin Salim bin Hafidz (Tarim-Hadramaut) dan Habaib, Kyai serta tokoh masyarakat lain.
Sebelas bulan kemudian, pada tanggal 18 Maret 2001 M bertepatan dengan 22 Dzulhijjah 1421 H, peresmian dilakukan oleh nama-nama diatas. Sejak itu, Alhamdulillah semuanya dapat berjalan dengan berbagai kelebihan dan kekurangan yang ada.
Tepatnya pada tanggal 18 Mei 2000, PonPes Darul Musthafa telah memiliki badan hukum dalam bentuk Yayasan dengan Akte Notaris. Dan pada awal 2010, Darul Musthafa meresmikan pondok Putri yang diberi nama Darul Bathul Atthohiroh yang bertempat di Pasar Kliwon Solo.
