Permulaan Kehidupan Baginda di Madinah.
Ketika Baginda berada di Quba selama 4 hari, Baginda telah bersama-sama membina masjid di Quba. Inilah masjid pertama yang dibina oleh Baginda dan para sahabat. Ali Bin Talib setelah menyelesaikan penyerahan segala barang yang diamanahkan dalam penjagaan Rasulullullah s.a.w oleh para pedagang di Mekah. Maka beliau telah berhijrah dan sempat tiba di Quba ketika Baginda berada di Quba. Ali bersama-sama sempat membina masjid ini sebelum mereka berangkat menuju ke Madinah.
Setibanya Baginda di Madinah masyarakat muslim amat berharap Baginda singgah menetap di rumah mereka kerana mengetahui Baginda masih belum mempunyai tempat tinggal. Golongan Ansar bertemu Baginda dan menawarkan tempat tinggal kepada Baginda. Bahkan mereka telah mengatakan sanggup untuk mempertahankan Baginda. Baginda yang menunggang kenderaannya berkata biarlah binatang tungangannya yang berjalan dan berhenti di mana yang ia mahu dan di situlah Baginda akan berehat.
Akhirnya Baginda berhenti di tapak masjid Nabawi yang berdekatan dengan kabilah Bani An Najar iaitu bapa saudara sebelah ibu Baginda. Tapak itu dimiliki oleh 2 orang anak yatim, lalu Baginda membeli tapak itu dan mendirikan Masjid Nabawi. Sementara masjid Nabawi sedang dibina, Baginda telah menetap di rumah Abu Ayyub al Ansari. Rumah Abu Ayyub mempunyai bahagian atas dan mereka telah menawarkan Baginda untuk tinggal di bahagian atas. Namun Baginda menolaknya dan hanya selesa tinggal di bahagian bawah sedangkan Abu Ayyub merasakan tidak wajar mereka tinggal di bahagian atas seolah-olah tidak memuliakan Baginda. Manakala Baginda berkata ramai tetamu yang akan datang bertemu Baginda agak sukar sekiranya Baginda tinggal di bahagian atas dan akan menyusahkan keluarga Abu Ayyub. Abu Ayyub akur dengan kata-kata Baginda walaupun jiwanya masih tidak merasa tenteram.
Pada malam pertama Baginda tidur di rumah Abu Ayyub keadaan cuaca di Madinah agak sejuk. Abu Ayyub dan isterinya tidak banyak bergerak kerana khuatir akan mengejutkan Baginda yang sedang tidur. Tiba-tiba bekas air di bahagian atas tempat Abu Ayyub dan isterinya berada telah pecah. Mereka segera mengelapnya dengan selimut Abu Ayyb agar air yang tertumpah itu tidak terkena Baginda yang tidur di bahagian bawah. Selimut itulah satu-satunya yang dimiliki oleh Abu Ayyub, namun ianya telah basah dan tidak dapat digunakan. Cuaca yang sejuk pada malam tersebut serta selimut yang basah menyebabkan akhirnya mereka berdua suami isteri tidak tidur.
Pada keesokkan paginya Abu Ayyub menceritakan apa yang berlaku malam tadi dan meminta sekali lagi agar Baginda tinggal di bahagian atas. Akhirnya Baginda akur dan tinggal di bahagian atas rumah Abu Ayyub. Pada waktu pagi Abu Ayyub dan isterinya menyiapkan sarapan untuk Baginda dan hanya akan makan setelah Baginda selesai makan. Bahkan mereka amat gembira sekiranya dapat makan sesuatu yang ditinggalkan Baginda sebagai mengambil berkat.
Pembinaan masjid Nabawi mula dibina oleh penduduk Madinah dan para sahabat yang berhijrah. Baginda sendiri terlibat dalam kerja-kerja membina masjid ini dengan mengangkat batu dan keperluan pembinaan. Sambil bekerja kedengaran nasyid yang dialunkan oleh mereka, “Ya Allah tiadalah kehidupan melainkan kehidupan akhirat. Ampunilah para Ansar dan Muhajirin. Para sahabat yang berhijrah dari Mekah dikenali dengan gelaran Muhajirin. Mereka sama-sama bekerja dengan gembira membina Masjid Nabawi iaitu masjid yang disebut di bina atas dasar taqwa.
