Menurut cerita rakyat, etnis Karo berasal dari India Selatan yang dekat dengan Myanmar. Konon, di sana terdapat seorang maharaja yang kaya, sakti, dan berwibawa. Ia tinggal bersama permaisuri dan anak-anaknya. Adapun salah satu anak perempuannya bernama Miansari. Ia adalah gadis yang sangat cantik.
Maharaja tersebut memiliki seorang panglima yang sangat sakti dan disegani oleh semua orang, ia bernama Karo. Suatu ketika, Maharaja ingin mencari tempat baru dan mendirikan kerajaan di wilayah lain. Ia kemudian memerintahkan seluruh rakyatnya untuk bersiap-siap pergi ke pulau seberang. Ketika akan melaksanakan perjalanan, Miansari ikut dengan kapal rombongannya Karo.
Hal itu disebabkan karena mereka berdua jatuh cinta secara diam-diam. Saat dalam perjalanan rombongan sampai di Pulau Pinang, mereka dipersilahkan oleh Maharaja untuk mempersiapkan bekalnya lagi. Setelah itu, Maharaja memerintahkan untuk berlayar lagi ke pulau yang berada di selatan Penang. Namun, di tengah perjalanan terjadi badai besar yang kemudian memisahkan rombongan Maharaja dengan rombongan Karo.
Miansari yang berada di dalam rombongan Karo kemudian melarikan diri dan tidak berusaha untuk mencari rombongan Maharaja. Karo dan Miansari kemudian menikah lalu mencari tempat yang aman untuk melanjutkan kehidupan mereka. Setelah sekian lama mencari tempat yang bagus, akhirnya mereka sampai di sebuah tempat yang sama dengan negerinya terdahulu.
Daerah tersebut bernama Mulawari yang berseberangan dengan Si Capah (sekarang Seberaya). Dengan demikian, Karo dan Miansari serta rombongannya adalah pendiri kampung di dataran tinggi yang sekarang bernama dataran tinggi Karo (Tanah Karo).
Berikut adalah marga-marga di Tanah Karo, Sumatra Utara:
- Karo
- Ginting
- Sembiring
- Peranginangin
- Tarigan
Marga karo-karo ada berbagai macam jenis :
- Barus
- Bukit
- Gurusinga
- Kaban
- Kacaribu
- Ketaren
- Kemit
- Jung
- Purba
- Sinulingga
- Sinukaban
- Sinubulan
- Sinuraya
- Sitepu
- Sinuhaji
- Surbakti
- Samura
- Sekali
Marga Ginting ada berbagai macam jenis :
- Ajartambun
- Babo
- beras
- Cabap
- Guruputih
- Garamata
- Jandibata
- Jawak
- Manik
- Munte
- Pase
- Seragih
- Suka
- Sugihen
- Sinusinga
- Tumangger
Marga Sembiring ada berbagai macam jenis :
- Berahmana
- Busuk
- Depari
- Colia
- Keloko
- Kembaren
- Muham
- Meliala
- Maha
- Bunuaji
- Gurukinayan
- Pandia
- Keling
- Pelawi
- Pandebayang
- Sinukapur
- Sinulaki
- Sinupayung
- Tekang
Marga Perangin-angin ada berbagai macam jenis :
- Bangun
- Keliat
- Kacinambun
- Namohaji
- Nano
- Menjerang
- Uwir
- Pinem
- Pancawan
- Panggarun
- Ulun Jandi
- Laksa
- Perbesi
- Sukatendel
- Singarimbun
- Sinurat
- Sebayang
- Tanjung
Marga Tarigan ada berbagai macam jenis :
- Bondong
- Gana-gana
- Gersang
- Gerneng
- Jampang
- Purba
- Pekan
- Sibero
- Tua
- Tegur
- Tambak
- Tambun
- Silangit
- Tendang
Dalam adat Karo, istilah nama belakang untuk laki-laki disebut “merga” dan untuk perempuan disebut “beru”.
Tradisi Karo menyatakan bahawa Merga si Lima berasal dari lima kampung, masing-masing didirikan oleh Sibayak, sebuah komuniti pengasas.
Sibayak Suka yang nama keluarganya Ginting Suka telah menubuhkan kampung Suka. Sibayak Lingga yang dipanggil Karo-karo Sinulingga telah menubuhkan kampung Lingga. Sibayak Barusjahe yang nama keluarganya Karo-karo Barus mempelopori kampung Barusjahe.
Sibayak Sarinembah, yang dipanggil Sembiring Meliala telah menubuhkan kampung Sarinembah. Sibayak Kutabuluh bernama Perangin-angin telah menubuhkan kampung Kutabuluh.Setiap satu daripada lima kampung ini mempunyai kampung satelitnya yang didiami oleh keluarga besar penduduk kampung utama.
Kampung-kampung satelit itu ditubuhkan untuk kemudahan penduduk kampung yang sawahnya agak jauh dari kampung-kampung utama. Tujuannya untuk menjimatkan masa mereka berulang alik dari kampung ke sawah.
Kini, kampung-kampung satelit ini telah membangun dan matang untuk bebas daripada kampung-kampung utama. Pada zaman dahulu, kampung-kampung satelit ini pernah meminta bantuan daripada kampung-kampung utama untuk menangani bencana alam, perbalahan suku kaum, penyakit, dan kebuluran.