Di sisi pendidikan, ia sempat belajar di sekolah diniyah yang dipimpin oleh kakaknya, Zainuddin Labay El Yunusy. Merasa tak puas dengan sistem pendidikan yang mencampuradukan pelajar putra dan putri dalam satu kelas.
Akhirnya ia secara inisiatif menemui beberapa ulama di Minangkabau untuk mendalami agama. Hal yang tidak lazim bagi perempuan di awal abad ke-20.
Ia pun belajar ilmu-ilmu praktis yang nantinya diajarkan kepada murid-muridnya. Rahmah mendapat dukungan dari sang kakak untuk merintis Diniyah Putri dan tercatat pada 1 November 1923 sebagai sekolah Agama Islam khusus perempuan pertama di Indonesia.
Baca Juga: Soeharto Raih Gelar Pahlawan Nasional, Ini Jasanya
Masa Penjajahan Jepang
Sewaktu Jepang menduduki Sumatera Barat, Rahmah menjadi pemimpin Haha No Kai di wilayah Padang Panjang untuk membantu perwira Giyugun.
Ia pun mengerahkan muridnya untuk melawan penjajah sesuai kesanggupannya pada masa perang kemerdekaan, seperti menyediakan makanan dan obat-obatan. Pada 7 Januari 1949, Rahmah ditangkap oleh Belanda dan menjadi tahanan.
Indonesia Merdeka
Setelah Indonesia merdeka, Rahmah turut serta dalam pemilu 1955. Ia terpilih sebagai anggota DPR mewakili Masyumi dan membawa aspirasi tentang pendidikan dan pelajaran Islam.
Pada 15 Agustus 1955, Imam Besar Al-Azhar Abdurrahman Taj berkunjung ke Indonesia dan melihat perkembangan pendidikan Islam Indonesia, termasuk Diniyah Putri.
Abdurrahman Taj pun mengungkapkan kekagumannya terhadap sistem pendidikan tersebut, pasalnya Al-Azhar belum memiliki bagian khusus perempuan.
Kemudian pada Juni 1957, Rahmah pun berangkat ke Timur Tengah usai menunaikan ibadah haji dan mengunjungi mesir dan melakukan kunjungan balasan ke Universitas Al-Azhar. Bahkan dalam kunjungan tersebut, ia mendapat gelar kehormatan “Syekhah” atau gelar untuk syekh perempuan.
Sekembalinya dari kunjungan Timur Tengah itu, Rahmah turut serta bergerilya mendukung Pemerintahan Revolusioner Republik Indonesia (PRRI). Alasan ia bergabung karena merasa Presiden Soekarno telah terbawa arus kuat PKI.
