Maka berangkatlah saudaranya itu ke Makkah. Ia mendengar apa yang dikatakan oleh Rasūlullāh s.a.w., setelah itu ia kembali menemui Abū Dzarr dan berkata kepadanya: “Aku lihat dia memerintahkan kepada umat manusia agar berakhlāq mulia, dan ia mengucapkan kalimat yang bukan syair.” Abū Dzarr berkata: “Aku masih belum puas dengan keteranganmu itu.” Lalu Abū Dzarr segera membawa bekal dan sebuah qirbah (kantung kulit tempat air minum) dan berangkat ke Makkah.
Setelah sampai di Makkah, ia langsung menuju Masjid-il-Ḥarām. Ia mencari Nabi s.a.w., tetapi ia masih belum mengenalnya. Ia tidak mau bertanya kepada orang lain karena ia tahu bahwa orang-orang Quraisy membenci orang yang ingin berbicara dengan Rasūlullāh s.a.w. Ketika malam tiba, ia diketahui oleh shahabat ‘Alī bahwa ia adalah orang asing.
Lalu shahabat ‘Alī menerimanya sebagai tamu dan keduanya tidak saling bertanya karena memang demikianlah etika menghormati tamu di kalangan bangsa ‘Arab pada masa itu. Mereka tidak mau menanyakan kepada tamunya tentang maksud kedatangannya kecuali setelah tiga hari ia berada di rumah mereka. Keesokan harinya Abū Dzarr membawa qirbah dan bekalnya lalu menuju Masjid-il-Ḥarām. Pada hari itu ia selalu berada di dalam masjid, tetapi ia juga masih belum bertemu dengan Rasūlullāh s.a.w. hingga sore harinya. Setelah sore menjelang malam, ia kembali ke tempat istirahatnya, tetapi shahabat ‘Alī bertemu lagi dengannya di Masjid. ‘Alī pun bergumam, “Sekarang sudah tiba saatnya bagi tamuku itu untuk tahu akan rumah yang ia singgahi kemarin.” Kemudian ‘Alī membangunkannya dan mengajaknya pergi ke tempat ia menginap tadi malam. Mereka berdua tidak saling bertanya, pada hari ketiganya setelah ‘Alī melakukan hal yang serupa, ia bertanya kepada Abū Dzarr: “Tidakkah sebaiknya engkau ceritakan kepadaku apa maksud kedatanganmu?” Abū Dzarr menjawab: “Jika engkau berjanji bersedia memberikan petunjuk kepadaku, aku bersedia untuk menyampaikan tujuanku kepadamu.” ‘Alī pun bersedia lalu Abī Dzarr menceritakan apa tujuannya. Setelah ‘Alī mendengar tujuannya, segera ia berkata: “Sesungguhnya dia (Muḥammad) memang benarlah utusan Allah. Untuk itu, pagi hari nanti engkau harus mengikutinya, dan jika aku melihat sesuatu yang aku khawatir akan membahayakan dirimu, aku akan melakukan gerakan seolah-olah menuangkan air. Bila aku terus berjalan tanpa rintangan, hendaknya engkau tetap mengikuti sehingga engkau memasuki rumah yang aku masuki.” Kemudian keduanya mengerjakan hal yang telah disepakati itu.
Maka Abū Dzarr mengikuti ‘Alī sampai memasuki rumah tempat Rasūlullāh s.a.w. berada. Setelah memasuki rumah itu, Abū Dzarr langsung bertemu dengan Rasūlullāh s.a.w.dan mendengar langsung daripadanya. Abū Dzarr pun segera masuk Islām.
Sesudah masuk Islām, Rasūlullāh s.a.w. berkata kepadanya: “Sekarang kembalilah kepada kaummu dan sampaikanlah berita ini kepada mereka hingga datang utusanku menemuimu di sana.” Abū Dzarr menjawab: “Demi Dzāt yang jiwaku berada di tangan-Nya, sungguh aku akan menjelaskan secara terang-terangan di hadapan mereka.” Kemudian Abū Dzarr keluar hingga sampai di Masjid-il-Ḥarām lalu ia berseru dengan sekuat suaranya: “Aku bersaksi bahwa tiada ilāh (yang berhak diibadahi) selain Allah, dan Muḥammad adalah utusan Allah.” Semua orang bangkit dan memukulinya hingga ia terkapar. Lalu datanglah al-‘Abbās menelungkupinya dan melindunginya dari pukulan orang banyak seraya berkata: “Celakalah kalian, tidakkah kalian tahu bahwa dia ini dari Bani Ghifār? Tidakkah kalian tahu bahwa jalur perdagangan kalian ke Syām melewati kampung halamannya?” Akhirnya, al-‘Abbās berhasil menyelamatkan Abū Dzarr dari tangan mereka.
Kemudian pada keesokan harinya Abū Dzarr melakukan hal yang serupa, dan semua orang memukulinya lagi, tetapi al-‘Abbās membelanya. (Diriwayatkan oleh al-Bukhārī). Setelah Abū Dzarr masuk Islām, dia terkenal sebagai orang yang paling jujur dalam berbicara dan paling zuhud terhadap dunia.
Akhirnya Khālid bin Sa‘ad masuk Islām, dan sejak saat itu ayahnya marah kepadanya dan menyakitinya sampai menahan makanan untuknya. Lalu ia pergi menemui Rasūlullāh s.a.w. dan tinggal bersama Beliau. Ia meninggalkan ayahnya di pinggiran kota Makkah. Tidak berapa lama kemudian saudara lelakinya yang bernama ‘Amr bin Sa‘īd mengikuti jejak saudaranya masuk Islām.
Demikianlah orang-orang mulia itu masuk Islām. Pada saat itu Rasūlullāh s.a.w. belum memiliki pedang (kekuatan) untuk memerangi mereka (kaum musyrikīn) agar mereka patuh dalam keadaan hina. Rasūlullāh s.a.w. juga tidak memiliki hal-hal yang menyenangkan hati mereka sehingga mereka rela meninggalkan orang tua mereka yang memiliki harta berlimpah untuk mengikuti Rasūlullāh s.a.w. dan memakan kelebihan harta yang dimiliki oleh Rasūlullāh s.a.w. Bahkan banyak dari mereka yang masuk Islām adalah orang-orang yang lebih kaya daripada Rasūlullāh s.a.w. sendiri. Misalnya, Abū Bakar, ‘Utsmān, dan Khālid bin Sa‘īd. Adapun pengikut Rasūlullāh s.a.w. dari kalangan hamba sahaya lebih senang memilih disakiti, lapar, dan hidup susah. Sekiranya mereka mau mengikuti majikan-majikan mereka, niscaya kehidupan mereka di dunia ini lebih nikmat dan menyenangkan bagi mereka. Semua itu tidak lain adalah karena hidāyah dari Allah s.w.t. dan munculnya cahaya Islām dari hati mereka sehingga mereka menyadari kesesatan pada diri mereka dan hidāyah yang ada pada Rasūlullāh s.a.w.