ابتدا در بازار آهن فروشان مشغول به کار شد و به علت سنگینی کار چندی بعد به دستفروشی روی آورد. محمدعلی بعد از دستفروشی دوباره به بازار تهران برگشت و در چند حجره به شا گردی پرداخت در جاهایی که به باورها و اعتقادش اهانت می‌شد کار نمی‌کرد. در سال 1330 نیروی هوایی جوانانی را که مدرک ششم ابتدایی داشتند با درجه‌ی گروهبانی استخدام می‌کرد. رجایی داوطلب خدمت در این نیرو شد. سه ماه از دوره‌ی آموزشی گروهبانی را گذرانده‌ بود که گروه فدائیان اسلام را شناخت و در جلسات این گروه شرکت کرد و همکاریش با اعضای این گروه مبارز آغاز شد. شعار فدائیان اسلام این بود که «همه کار و همه چیز برای خدا» و «اسلام برتر از همه چیز است و هیچ برتر از اسلام نیست». رجایی به فدائیان اسلام پیوست. در کلاس‌های شبانه‌ای که وابسته به «مرکز تعلیمات جامعه‌ی اسلامی» بود شرکت می‌کرد. رجایی پس از طی دوره‌ی آموزشی و دریافت درجه‌ی گروهبانی در کنار کار به تحصیل ادامه داد و درسال 1332 دیپلم گرفت. رجایی چون در شهریور ماه دیپلم گرفته بود نمی‌توانست در آزمون ورودی دانشگاه شرکت کند راهی بیجار شد و در دبیرستانی مشغول تدریس زبان انگلیسی شد. با تمام شدن سال تحصیلی، به تهران بازگشت و در دانشسرای عالی تربیت بدنی معلم به تحصیل پرداخت. بعد به دانشسرای عالی رفت. پس از 2 سال لیسانس ریاضی گرفت و به استخدام آموزش و پرورش درآمد. ابتدا به ملایر رفت اما با رئیس آموزش‌ و پرورش اختلاف پیدا کرد و بعد به خوانسار رفت و مشغول تدریس شد و یک سال را با موفقیت گذراند سال تحصیلی به پایان رسید و رجایی به تهران برگشت ودر دوره‌ی فوق‌لیسانس در رشته‌ی آمار مشغول به تحصیل شد و اوقات بیکاری در مدرسه‌ی کمال تدریس می‌کرد. در سال 1314 تصمیم گرفت با دختر یکی از بستگانش ازدواج کند. در آن موقع 28 ساله بود. این بود که پیشنهاد ازدواج با او را پذیرفت و بعد از 6 ماه زندگی مشترک خود را آغاز کردند. هفت ماه بعد از ازدواجشان به ماجرای دستگیری رجایی در اردیبهشت ماه 1342 اتفاق افتاد. سال 1356 از راه رسید و رجایی هم چنان در سلولهای نمناک و تاریک کمیته‌ی‌ مشترک ضد خرابکاری صبح را به شب و شب را به صبح می‌دوخت. رجایی در زندان به تبیین مفاهیم والایی چون صبر، دعا، تقوا و توبه در قرآن پرداخت و آ‌نها را در اختیار دیگران قرار داد. سرانجام در روز عید غدیر آبان ماه 1357 از زندان آزاد شد. در آن روزها موج مبارزه‌ی مردم علیه رژیم شاه به طرز بی‌سابقه‌ای گسترش یافته بود. همسر و فرزندانش با دیدن او اشک شادی ریختند. رجایی بلافاصله با تأسیس انجمن اسلامی معلمان مبارز، به مبارزه علیه رژیم پرداخت. وقتی شاه از ایران فرار کرد رجایی به عضویت «کمیته استقبال» درآمد، و در کنار دیگر مبارزان مهیای ورود امام شد. و در روز 22 بهمن پایه‌های پوسیده‌ی رژیم توسط امام خمینی(ره) فرو ریخت. پس از گذشت چند ماهی از انقلاب رجایی ابتدا به کفالت وزارت و سپس به سمت وزیر آموزش و پرورش منصوب شد.

در 2 فروردین ماه 1359 با یک میلیون و دویست و نه هزار و دوازده رأی به عنوان نماینده مردم تهران به مجلس شورای اسلامی (به پیشنهاد آقای رفسنجانی) راه یافت. روز یکشنبه 19 مرداد در 32 جلسه مجلس شورای اسلامی، نامه‌ی بنی صدر بر معرفی رجایی به عنوان نخست وزیر قرائت شد و فردای آن روز مجلس با 153 رأی موافق و 24 رأی مخالف و 19 رأی ممتنع به رجایی رأی اعتماد داد. بعد از آن محمد علی رجایی با رأی مردم به ریاست جمهوری برگزیده شد و روز 11 مرداد ماه 1360 حضرت امام خمینی رأی ملت را به ایشان تنفیذ کردند.

رجایی تا آخرین روز عمر خود درخانه‌ای قدیمی که به آن کلنگی می‌گویند زندگی کرد. 2 دست لباس بیشتر نداشت. ساعت 30/2 عصر روز 8 شهریور از اتاق کارش خارج شد. راننده فکر کرد که می‌خواهد به خارج از ساختمان ریاست جمهوری برود به دنبالش رفت. در ساعت 3 عصر صدای انفجار مهیبی از ساختمان نخست‌وزیری برخاست. همه نگران رجایی و باهنر بودند. همسر شهید رجایی به بیمارستان آمد و در سردخانه پیکر سوخته‌ی شهید رجایی را شناسایی کرد. با شنیدن خبر شهادت رجایی و باهنر مردم به خیابان‌ها ریختند و ایران در سوگ رئیس جمهور و نخست وزیر خود فرو رفت و مردم با سر دادن شعار «رجایی، رجایی، راهت ادامه دارد!» پیکر او و شهید باهنر را تا بهشت زهرا مشایعت کردند.