کعبه بنایی مکعبی شکل است که از سنگ‌های سیاه و سخت است. این سنگ‌ها که از سال 1040 قمری تا به امروز بر جای مانده، از کوه‌های مکه به ویژه جبل الکعبه در محله شُبَیکه گرفته شده است.
سنگ‌ها اندازه‌های مختلف دارند به طوری که بزرگترین آنها با طول و عرض و ارتفاع 190، 50 و 28 سانتیمتر و کوچکترین آنها با طول و عرض 50 و 40 سانتیمتر است.

چهار زاویه کعبه به چهار «رکن» شهرت دارد، هرگاه واژه رکن بدون پسوند به کار رود مقصود از آن رکنی است که حجرالاسود در آن است. مسیر طواف از رکن حجرالاسود آغاز می‌شود سپس به رکن عراقی می‌رسد، پس از آن به رکن شامی و سپس به رکن یمانی و آنگاه باز به رکن حجرالاسود می‌رسد.
در روایتی از امام صادق(ع) آمده است که «رکن یمانی دری از درهای بهشت است و از روزی که گشوده شده، بسته نشده است.» همچنین رکن یمانی از بخشهایی است که دعا در آنجا به اجابت می‌رسد.(اصول کافی)
محلی که برای فاطمه بنت اسد(س) شکافته شد تا به درون کعبه رود و فرزندش علی بن ابی طالب را به دنیا آورد، در کنار رکن یمانی بوده است.
پایه‌ها کعبه از سرب مذاب و مستحکم و استوار ساخته شده است. پیش از تجدید این بنا توسط قریش، کعبه دو در داشته است یکی ناحیه شرقی- محل در فعلی و دیگری در ناحیه غربی، که از یکی وارد و از دیگری خارج می‌شده‌اند. اما قریش تنها در ناحیه شرقی آن دری نصب کرد.
بعدها ابن زبیر در دیگر را گشود که به وسیله حجاج بسته شد و اکنون همان یک در باقی مانده است. این در تا به حال چندین بار عوض شده است.
ساختمان کعبه نیز از سال 1040 تا قرن اخیر تعمیر نشده بود، ولی در سال 1377 قمری و سپس 1417 تعمیراتی در آن صورت گرفت.


بر اساس قرآن کریم، کعبه توسط حضرت ابراهیم (ع) و پسر وی حضرت اسماعیل (ع) ساخته شد.
  
وَإِذْ یَرْفَعُ إِبْرَاهِیمُ الْقَوَاعِدَ مِنَ الْبَیْتِ وَإِسْمَاعِیلُ رَبَّنَا تَقَبَّلْ مِنَّا إِنَّکَ أَنتَ السَّمِیعُ الْعَلِیمُ؛ و هنگامى که ابراهیم و اسماعیل پایه‏هاى خانه [کعبه] را بالا مى‏بردند [مى‏گفتند] اى پروردگار ما از ما بپذیر که در حقیقت تو شنواى دانایى.( سوره بقره، آیه 127)

در زمان حضرت محمد (ص) قبلیه قریش متصدی کعبه بود که در آن زمان معبد بتهای قبایل عربی محسوب می‌شود. عربهای بادیه نشین و ساکنان دیگر شهرها هر سال برای نیایش و داد و ستد به شهر مکه سفر می‌کردند. مکه به عنوان وادی لم یزرع توصیف شده که زندگی در آن دشوار و منابع اندک بود. در حقیقت براساس شواهد مکه مرکز تجارت ملی و نیایش بوده است.
زمانی که پیامبر اسلام به عنوان فاتح از شهر مدینه به مکه بازگشت، کعبه به مکان نیایش مسلمانان تبدیل شد و زیارت سالانه حج به عنوان یکی از فرایض اصلی مسلمانان شکل گرفت.

این بنا تا پیش از فتح مکه به دست حضرت محمد (ص) و پیروانش محل نگهداری و پرستش بت‌ها بود. قریش در اطراف کعبه بت‌های مختلفی قرار داده بودند، مانند: لات، عزی، اسافه، نائله، منات. بزرگ این بت‌ها هبل بود که درون کعبه قرار داشت.
بنا به روایت برخی تاریخ نگاران ساختمان کعبه ده بار بنا شده است: بنیان الملائکه، بنیان آدم، بنیان شیث، بنیان ابراهیم و پسرش اسماعیل، بنیان العمالقه، بنیان جرهم، بنیان مضر، بنیان قریش، بنیان عبدالله ابن زبیر، بنیان حجاج ابن یوسف الثقفی.
بنابر روایت مسلمانان هنگامی که چشمه زمزم از دل زمین جوشید مردم در این منطقه و به سبب آب این چشمه جمع شده شهر مکه را تشکیل دادند و ابراهیم به فرمان خدا ساختمان کعبه را که در اثر طوفان نوح تخریب شده ‌بود بازسازی کرد.