تناقل كبار السن في أزمنة مضت أن من يرتكب مخالفة في الحرمين الشريفين يصيبه مرض لا يعرف له سبب ويلزم بالذهاب إلى المدينة المنورة والمكوث في حفرة التوبة (مسجد التوبة) حتى ينتهي مرضه، ومما روي أن أحد المعتمرين أشار بإصبعه إلى سيدة تطوف، فتورم الإصبع، ولم يتمكن من النوم ليالي عدة، فنصحه أحد أهل العلم بالذهاب إلى حفرة التوبة بالمدينة لأنها موقع مبارك، وذهب ومكث أربعين ليلة حتى تعافى مما أصابه.

ارتبط مسجد التوبة بالمسلمين الأوائل من حي (العصبة) قبل الهجرة النبوية ومنهم مصعب بن عمير وصلى بهم، وروى ابن زبالة عن أفلح بن سعيد وغيره أن رسول الله صلى في مسجد التوبة بالعصبة. ونقل العباسي: مسجد التوبة بالعصبة لبني جحجبا من الأوس بجوار بئرهم المسماة بالهجيم. وقيل إن سالم مولى أبي حذيفة كان يؤم المهاجرين الأولين والصحابة فيه، وفيهم أبو بكر وعمر وغيرهم من الصحابة رضون الله عليهم.

يقع مسجد التوبة بالقرب من مسجد قباء والعصبة غربي مسجد قباء فيها مزارع وآبار كثيرة. وابتنوا أطما يقال له الهجيم عند المسجد الذي صلّى فيه النبي أن بئر هجيم مضافة للأطم المذكور، فيطلب المسجد عند ذلك، والمؤرخون لا يعرفون سبب تسميته مسجد التوبة.

بينما يطلق عليه آخرون مسجد النور وفي الأثر أن موقعه مبارك انتهى إليه أسيد بن حضير وعباد بن بشر، وهما من بني عبد الأشهل، وكانا عند النبي صلى الله عليه وسلم في ليلة ظلماء، فتحدثا عنده حتى إذا خرجا أضاءت لهما عصا أحدهما، فمشيا على ضوئها، فلما تفرق بهما الطريق أضاءت لكل واحد منهما عصاه فمشى في ضوئها، كما أخرجه البخاري.