Ketika masih di Tingkatan Lima, beliau pernah mengarang dan menyampaikan pidato yang agak luar biasa bagi seorang pelajar yang sebaya dengannya. Pidatonya mengenai ‘Diplomasi Ping Pong’ (iaitu mengenai pembuka hubungan diplomasi antara Amerika Syarikat dan China) menarik perhatian guru besarnya. “Suatu hari awak akan jadi ahli politik,” kata guru besar itu. Akhirnya, apabila Hj. Mohamad Sabu bertanding dalam Pilihanraya Umum 1982 di mana bekas guru besarnya itu kebetulan menjadi pegawai pilihanraya, beliau memberitahu Mohamad, “Tengok, betul dak apa yang saya kata dulu!”
Dalam politik, pegangan Hj. Mohamad adalah selaras dengan pemikiran pemimpin yang amat disanjunginya, Imam Khomeini. “Kebenaran (truth) lebih penting dari kemenangan (victory),” itulah yang terus dilaungkan dalam ceramah-ceramahnya. “Kalau mereka tuduh kita gila kuasa, kita mengaku: Ya, memang kita gila kuasa. Sebab, dengan kuasa kita boleh merubah keadaan negara kita yang dicengkam kezaliman. Tetapi yang lebih penting dari kuasa (power) ialah kebenaran (truth)”.
Di awal penglibatannya dengan gerakan Islam, pemikiran Hj. Mohamad banyak dibentuk oleh pemimpin-pemimpin dan pembimbing-pembimbing yang terpengaruh dengan Ikhwan Muslimin. Berikutan pengalamannya berinteraksi dengan beberapa tokoh Ikhwan, Hj. Mohamad meneruskan pencarian dalam membentuk pemikiran politiknya. Beliau membaca dan mengkaji hasil tulisan tokoh-tokoh seperti Imam Khomeini, Ayatullah Mutahhari, Ali Shariati, Kalim Siddiqui, Muhammad Al-Asi, Jalaluddin Rachmat dan banyak lagi tokoh yang lain-lain. Di antara kalangan tokoh-tokoh tempatan pula, pemikiran dan pandangan Syed Naquib Al-Attas dan Tan Sri Musa Hitam menarik perhatian beliau.
Kejayaan Revolusi Islam Iran pada tahun 1979 banyak memberi inspirasi kepada pandangan pemikiran politik Hj. Mohamad. Antara pendirian yang semakin teguh di jiwanya hingga sekarang ialah sikap anti Amerika Syarikat, negara yang disifatkan oleh Imam Khomeini sebagai syaitan besar. Beliau menentang sebarang hubungan yang tidak sewajarnya dengan syaitan besar itu dan sanggup melepaskan apa sahaja bagi mempertahankan sikapnya itu. Beliau juga sering merungut apabila ada suara yang seolah-olah memberi kredit kepada syaitan besar itu.
Selain dari Revolusi Islam, perkembangan-perkembangan yang berlaku di Filipina dan Indonesia di hujung kediktatoran Marcos dan Suharto pula mengukuhkan keyakinan Hj.Mohamad bahawa kezaliman hanya boleh ditumpaskan oeleh kuasa rakyat (people’s power). Meskipun beliau menerima pilihanraya sebagai cara menumpaskan kezaliman, tetapi beliau tidak menolak kebangkitan rakyat untuk menghancurkan kezaliman jika semua saluran lain dinafikan.
Bagi Hj. Mohamad Sabu, tahun 1979 adalah tahun yang penuh kenangan baginya. Selain dari kejayaan Imam Khomeini memimpin Revolusi Islam yang kemudiannya merubah politik dunia dan memartabatkan semula kekuatan politik umat Islam, pada tahun yang sama juga beliau berumahtangga. Isterinya, Hajjah Normah Alwi, juga seorang aktivis PAS yang aktif. Beliau pernah menjadi Ahli Jawatankuasa Kerja Dewan Muslimat PAS Pusat dan juga pernah menjadi Timbalan Pesuruhjaya PAS Wilayah Persekutuan. Mereka dikurniakan empat orang cahaya mata. Dua orang perempuan dan dua orang lelaki.
Penglibatan awal Hj. Mohamad dalam gerakan Islam ialah dengan menyertai Angkatan Belia Islam Malaysia (ABIM) pada tahun 1975 selepas dipecat dari Institut Teknologi Mara (ITM) kerana penglibatannya dalam tunjuk perasaan menentang Akta Universiti. Pada tahun 1978, Hj. Mohamad menyertai Parti Islam Se-Malaysia (PAS). Pada tahun 1981, beliau dilantik sebagai Ahli Jawatankuasa Kerja Dewan Pemuda PAS Pusat.
Pada tahun 1982, ketika baru berumur 28 tahun, beliau meletakkan jawatannya di dalam sebuah syarikat swasta untuk bertanding dalam pilihanraya. Beliau menjadi calon PAS di Kepala Batas menentang Datuk Seri Abdullah Ahmad Badawi dan juga di DUN Penanti. Pada tahun yang sama juga beliau meninggalkan ABIM sebagai memprotes penyertaan presidennya pada masa itu, Datuk Seri Anwar Ibrahim, ke dalam Umno.
Pada tahun 1983, Hj. Mohamad dilantik sebagai Setiausaha Dewan Pemuda PAS Pusat hinggalah tahun 1985. Dalam pilihanraya 1986 pula, Hj. Mohamad bertanding menentang Anwar Ibrahim di Permatang Pauh, yang dianggap oleh banyak pihak sebagai pertandingan “dua seteru politik yang sukar didamaikan” pada ketika itu.
Pada tahun 1989, beliau dipilih sebagai Naib Ketua Dewan Pemuda PAS pusat hinggalah beliau mengambil keputusan untuk tidak bertanding jawatan itu pada tahun 1997. Beliau mula menjadi Ahli Jawatankuasa Kerja PAS Pusat pada tahun 1991. Semasa menjadi Naib Ketua Dewan PAS Pusat, beliau dihantar untuk bertanding di Nilam Puri dalam Pilihanraya Umum 1990 yang penuh bersejarah di mana PAS berjaya menerajui semula kerajaan negeri itu. Dalam pilihanraya itu, beliau mengalahkan Datuk Annuar Musa dengan majoriti hampir 8,000 undi, dan menjadi Ahli Parlimen Nilam Puri pada masa itu.
Dalam Pilihanraya Umum 1995, beliau memenangi kerusi Parlimen Kubang Kerian dengan majoriti lebih 10,000 undi, antara majoriti terbesar di Kelantan pada masa itu.
Dalam Pilihanraya Umum 1999 pula, ketika masih menjadi Yang Dipertua PAS Kawasan Kubang Kerian, beliau menerima tawaran PAS Kedah khususnya Presidan PAS, Ustaz Fadzil Noor sendiri, untuk bertanding di Kuala Kedah. Beliau memenangi kerusi Kuala Kedah dengan majoriti 991 undi, dan menjadi Ahli Parlimen Kuala Kedah untuk terus menyumbang baktinya kepada masyarakat di sana pula.
Manakala dalam Pilihanraya Umum ke 11 , pada tahun 2004 setelah beliau menjadi Ahli Parlimen sebanyak 3 penggal, beliau kalah bertanding di kawasan Parlimen Kuala Kedah dengan kekalahan majoriti sebanyak 10,214 undi.
Tahun 2008 pula, di mana gelombang rakyat yang memenangkan Pakatan Rakyat (dalam gabungan PAS, PKR dan DAP) untuk memerintah di lima buah negeri, iaitu melalui Pilihanraya Umum ke 12 pada bulan Mac 2008 , Hj Mohamad telah mengalami kekalahan sekali lagi ketika bertanding di kawasan Parlimen Kuala Terengganu, dengan kekalahan yang tipis sebanyak 628 undi sahaja.
Perjuangan Hj. Mohamad di dalam PAS menghadapi pelbagai cabaran. Antaranya, beliau ditahan di bawah Akta Keselamatan Dalam Negeri (ISA) pada tahun 1984 semasa beliau menjadi aktivis Dewan Pemuda PAS Pusat. Selepas ditahan selama 60 hari di Kuala Lumpur, beliau dibuang daerah ke Kuala Pilah pada September 1984 hinggalah September 1986 dengan pergerakan terhad selama dua tahun. Sebelum ditahan di bawah ISA, beliau pernah dikurung di dalam lokap selama dua minggu pada tahun 1975 kerana penglibatannya dalam tunjuk perasaan pelajar ITM menentang Akta Universiti.
Dalam tahun 1987 pula, iaitu dalam Operasi Lalang, Hj. Mohamad sekali lagi ditahan di bawah ISA (penahanan kali kedua). Beliau di kurung di Kamunting sehingga Januari 1990. Beliau ditahan bersama ramai anggota pembangkang dari PAS dan DAP di bawah Operasi Lalang. Semasa dalam tahanan beliau berkenalan dengan YAB Lim Guan Eng kini menjadi Ketua Menteri Pulau Pinang. Bagi Mohamad Sabu ketegangan itu berpunca dari memarakkan api perkauman di antara MCA yang melibatkan Tan Sri Lee Kim Sai dan Pemuda UMNO yang melibatkan Datuk Seri Najib Razak kini adalah Perdana Menteri Malaysia, Tan Sri Muhammad Mohd Taib, Menteri Besar Selangor ketika itu berhubung isu tuntutan Timbalan Perdana Menteri yang dimainkan oleh MCA. Walaupun dibebaskan dari Kamunting, beliau terus dikenakan perintah tahanan daerah di Shah Alam hinggalah April 1990. Beliau selalu mengulas penahanannya di bawah Operasi Lalang itu. “Umno berkelahi dengan MCA, aku yang ditangkap,” kata beliau.
Setelah dilantik sebagai Ketua Lujnah Buruh dan Setinggan PAS, Hj. Mohamad mempertingkatkan lagi usahanya untuk membela nasib kaum buruh dan setinggan yang memang menjadi minat beliau. Antara lain, beliau pernah berusaha untuk mendapatkan pam air dan janakuasa elektrik untuk penduduk setinggan Kampung Chubadak di Kuala Lumpur setelah dikenakan tindakan zalim melalui pemotongan bekalan air dan elektrik untuk menghalau mereka. Dalam membela nasib setinggan, beliau sanggup bergaduh dengan pegawai Dewan Bandaraya Kuala Lumpur yang mengambil sikap berlepas tangan dan memimpin rombongan setinggan untuk berhadapan dengan Timbalan Menteri di Jabatan Perdana Menteri.
Beliau juga berusaha membela nasib Orang Asli di Tapah Perak sehingga akhirnya bantuan untuk mereka termasuk pakaian sekolah anak-anak mereka diberikan semula. Pada beliau, kejayaan yang paling manis ialah penglibatannya sebagai salah seorang peneraju utama perhimpunan rakyat untuk menentang pembinaan Jerai International Park yang melibatkan kawasan kira-kira 4,000 hektar termasuk sawah para petani. Perhimpunan itu disertai kira-kira 100,000 rakyat dan akhirnya projek tersebut dibatalkan.
Manakala jawatan tertinggi di dalam di dalam Parti Islam SeMalaysia (PAS) , beliau telah menjadi Naib Presiden selama 2 penggal berturut-turut, iaitu Sessi 2005-2007 dan Sessi 2007-2009.
Sekarang ini juga, beliau memegang jawatan sebagai Pengerusi Badan Penggerak Demokrasi & Mobilisasi (Penggerak Demokrasi) , beliau juga adalah antara salah seorang peneraju utama yang memainkan peranan dalam menggerakkan rakyat dalam himpunan BERSIH pada 10 November 2007 itu, di mana melebihi 100,000 orang hadir di sekitar tengah bandaraya Kuala Lumpur.
Diperingkat antarabangsa, Hj. Mohamad pernah menyertai rombongan lapan Ahli Parlimen Islam dari seluruh dunia yang diketuai oleh bekas Perdana Menteri Turki, Necmettin Erbakan, menemui Setiausaha Agung Pertubuhan Bangsa-Bangsa Bersatu ketika itu, Boutros Boutros Ghali. Beliau juga menyertai pelbagai seminar di peringkat antarabangsa termasuk Seminar Buruh di Pakistan, Seminar Mengenai Bosnia Herzegovina di London dan Seminar Gerakan Islam di Afrika Selatan. Beliau juga pernah menjadi tetamu dan bercakap di Radio 786 di Afrika Selatan. Beliau juga aktif memperjuangkan nasib umat Islam Palestin, Acheh, Pattani, Selatan Filipina, Kashmir dan lain-lain.
Hj.Mohamad juga seorang peminat seni yang aktif semasa di ITM. Beliau amat berminat dalam drama dan lakonan serta pernah menjadi Juara Pantun di ITM Jalan Othman pada tahun 1973.
