اقدامات شهيد مدني در تثبيت اوضاع تبريز، مقابله با اقدامات سازمان مجاهدین خلق(منافقين) و نيز بني صدر و خنثي كردن توطئه هاي دشمنان كشور، كينه ي عميق دشمنان را موجب شده بود. به این دلیل بود كه آنان درصدد ترور و به شهادت رساندن وي برآمدند. منافقين روز 20 شهريور 1360 او را مانند جدش ـ حضرت علي بن ابيطالب ـ در محراب به شهادت رساندند. آيت الله مدني به سان تمام نماز جمعه ها، بعد از خطبه هاي نماز جمعه شروع به نماز خواندن كرد كه در آن لحظه يكي از حضار و نمازگزاران به ايشان نزديك شد. حجت الاسلام والمسلمين اترابي چهرگاني كه اين صحنه را شاهد بود در اين باره مي گويد: «من در نماز جمعه بودم. شايد ده قدم با آيت الله مدني فاصله داشتم ايشان پس از اتمام نمازهاي جمعه، هميشه استحبابات نماز ظهر و عصر را هم مي خواندند. وقتي كه مي خواستند شروع به نماز كنند، ناگهان يكي از افراد كه به ظاهر قصد دادن وجوهات شرعيه به آيت الله مدني را داشت، به ايشان نزديك شد و در يك لحظه با انفجار خود آيت الله مدني را به شهادت رسانيد».