عرف بنو هلال و سليم في التاريخ على أنهم من سرقة الحجر الأسود سنة 317 هجري و عطلوا الحج 22 سنة و غالبا ما كانت هاتان القبيلتان تنكلان بالحجاج و تعتبران الحج بدعة و إليكم مقطعا من إبن كثير : البداية والنهاية لابن كثير ج11 ص159. (فلما قضى القرمطى لعنه الله امره وفعل ما فعل بالحجيج…, امر ان تدفن القتلى في بئر زمزم، ودفن كثير منهم في أماكن من الحرم وفى المسجد الحرام ,….و هدم قبة زمزم وامر بقلع باب الكعبة ونزع كسوتها عنها، وشققها بين اصحابه ,……….ثم امر بان يقلع الحجر الاسود، فجاءه رجل فضربه بمثقال في يده وقال : اين الطير الابابيل ؟ اين الحجارة من سجيل ؟ ثم قلع الحجر الاسود واخذوه حين راحوا معهم إلى بلادهم، فمكث عندهم اثنين وعشرين سنة حتى ردوه.
و يذكر ابن كثير في كتابه البداية والنهاية ج11 ص161 ان القرامطة بعد أن استولوا على الحجر الأسود قالوا (لم ترمينا طير أبابيل ولا حجارة السجيل). وقد نقل القرامطة الحجر الأسود على عدد من الجمال لأن الحجر كان من ثقل وزنه وحشونة ملمسه الشديدة يجرح أسنمة الجمال، فكانوا يغيرون الجمل بالآخر. كما ورد ذكر واقعة هجوم القرامطة على مكة ومهاجمة الحجيج واستيلائهم على الحجر الأسود في مرجع النجوم الزاهرة في ملوك مصر والقاهرة لجمال الدين أبو المحاسن يوسف بن تغرى.
إتبعت قبائل الجزيرة العربية دعوة القرامطة، مثل بني هلال وبنو سليم وبنو معقل، وبنو كلب وفزارة وأشجع وغيرهم، وكانوا هم عماد جيش القرامطة الذي غزو به أنحاء الجزيرة العربية والعراق والشام ومصر، إلى أن بدأ الفاطميين في استقدام بني هلال وسليم وفزارة وأشجع وبنو معقل للاستقرار بمصر، فنزلت تلك القبائل في بحري وقبلي مصر وإستقرت بصعيد مصر خصوصا لمدة تربو على القرن، ثم شجعها الخليفة الفاطمي المستنصر بمشورة وزيره اليازوري للاستقرار بشمال أفريقيا للقضاء على الحركة الاستقلالية التي قادها عامل الفاطميين في أفريقية (تونس اليوم)، فنزحت بنو هلال وبني سليم وفزارة وأشجع وبنو معقل من صعيد مصر إلى شمال أفريقيا فيما عرف بتغريبة بني هلال، على اسم أكبر قبائل التغريبة، على إنه بقيت بقية لتلك القبائل في مصر.