Periode akhir sejarah klasik Jepang berlangsung dari 794 hingga 1185 yang disebut zaman Heian. Puncak kejayaan istana kekaisaran di bidang puisi dan sastra terjadi pada zaman Heian. Pada awal abad ke-11, Murasaki Shikibu menulis novel Hikayat Genji yang hingga kini merupakan salah satu dari novel tertua di dunia. Pada zaman Heian selesai disusun naskah tertua koleksi puisi Jepang, Man'yōshū dan Kokin Wakashū.

Pada zaman Heian berkembang berbagai macam kebudayaan lokal, misalnya aksara kana yang asli Jepang. Pengaruh budaya Cina surut setelah sampai di puncak keemasan. Pengiriman terakhir utusan Jepang ke Dinasti Tang berlangsung pada tahun 838 sejalan dengan kemunduran Dinasti Tang. Walaupun demikian, Cina dalam terus berlanjut sebagai negara tujuan ekspedisi dagang dan rombongan peziarah agama Buddha.[15]

Kekuasaan politik istana kekaisaran berada di tangan segelintir keluarga bangsawan yang disebut kuge, khususnya klan Fujiwara yang berkuasa dengan gelar Sesshō and Kampaku.

Pada akhir zaman Heian bermunculan berbagai klan samurai. Empat klan samurai yang paling kuat adalah klan Minamoto, klan Taira, klan Fujiwara, dan klan Tachibana. Memasuki akhir abad ke-12, konflik antarklan berubah menjadi berbagai perang saudara seperti Pemberontakan Hōgen dan Pemberontakan Heiji. Setelah berakhirnya Perang Genpei, Jepang berada di bawah pemerintahan militer oleh klan-klan samurai di bawah pimpinan seorang shogun.

Zaman Nara pada abad ke-8 ditandai oleh negara Jepang yang kuat. Pada tahun 710, Kaisar Gemmei mengeluarkan perintah kekaisaran yang memindahkan ibu kota ke Heijō-kyō yang sekarang bernama Nara. Heijō-kyō dibangun dengan mencontoh ibu kota Dinasti Tang di Chang'an (sekarang disebut Xi'an).

Sepanjang zaman Nara, perkembangan politik sangat terbatas. Anggota keluarga kekaisaran berebut kekuasaan dengan biksu dan bangsawan, termasuk dengan klan Fujiwara. Hubungan luar negeri berlangsung dengan Silla dan hubungan formal dengan Dinasti Tang. Pada 784, ibu kota dipindahkan ke Nagaoka-kyō untuk menjauhkan istana dari pengaruh para biksu, sebelum akhirnya dipindahkan ke Heian-kyō (Kyoto).

Penulisan sejarah Jepang berpuncak pada awal abad ke-8 dengan selesainya penyusunan kronik Kojiki (712) dan Nihon Shoki (720). Dalam kedua buku sejarah tersebut dikisahkan sejarah Jepang mulai dari awal sejak zaman mitologi Jepang. Di dalamnya ditulis tentang pendirian Jepang pada tahun 660 SM oleh Kaisar Jimmu yang keturunan langsung dari Amaterasu. Menurut kedua kronik tersebut Kaisar Jimmu merupakan leluhur dari garis keturunan kaisar yang sekarang. Kaisar Jimmu sering dianggap sebagai kaisar mitos karena kaisar pertama berdasarkan bukti-bukti sejarah adalah Kaisar Ōjin yang tahun-tahun masa pemerintahannya tidak diketahui dengan jelas. Sejak zaman Nara, kekuasaan politik tidak selalu berada di tangan kaisar, melainkan di tangan bangsawan istana, shogun, militer, dan sekarang di tangan perdana menteri.

Pada zaman Asuka (538-710), negara Jepang purba Yamato secara bertahap menjadi negara yang tersentralisasi. Negara Jepang purba sudah memiliki undang-undang seperti dinyatakan dalam Undang-Undang Taihō dan butir-butir Reformasi Taika.[11] Masuknya agama Buddha di Jepang mengakibatkan orang tidak lagi membuat makam berbentuk kofun.

Agama Buddha masuk ke Jepang sekitar tahun 538 melalui Baekje yang mendapat dukungan militer dari Jepang.[12] Penyebaran agama Buddha di Jepang dilakukan oleh kalangan penguasa. Pangeran Shōtoku mendedikasikan dirinya dalam penyebaran Buddhisme dan kebudayaan Cina di Jepang. Ia berjasa menyusun Konstitusi 17 Pasal yang membawa perdamaian di Jepang. Konstitusi yang disusunnya dipengaruhi oleh pemikiran Konfusianisme tentang berbagai moral dan kebajikan yang diharapkan masyarakat dari pejabat pemerintah dan abdi kaisar.

Dalam sepucuk surat yang disampaikan duta Kekaisaran Jepang ke Kekaisaran Cina pada tahun 607 ditulis kata-kata, "Kaisar negeri matahari terbit (Jepang) mengirimkan surat kepada kaisar di negeri matahari terbenam (Cina)".[13] Surat tersebut menyebabkan kemarahan kaisar Cina.[14]

Dimulai dengan Perintah Reformasi Taika tahun 645, Jepang semakin giat mengadopsi praktik-praktik budaya Cina, melakukan reorganisasi pemerintahan, serta menyusun undang-undang pidana (Ritsuryō) dengan mengikuti struktur administrasi Cina pada waktu itu. Istilah Nihon (日本?) juga mulai dipakai sebagai nama negara sejak zaman Asuka.