Zaman Kofun dimulai sekitar 250 M. Nama zaman ini berasal dari tradisi orang zaman itu untuk membuat gundukan makam (tumulus) yang disebut kofun. Pada zaman ini sudah terdapat negara-negara militer yang kuat dengan klan-klan berpengaruh sebagai penguasa. Salah satu di antaranya terdapat negara Yamato yang dominan, dan berpusat di Provinsi Yamato dan Provinsi Kawachi. Negara Yamato berlangsung dari abad ke-3 hingga abad ke-7, dan merupakan asal garis keturunan kekaisaran Jepang. Negara Yamato yang berkuasa atas klan-klan lain dan memperoleh lahan-lahan pertanian mempertahankan pengaruh yang kuat di Jepang bagian barat. Jepang mulai mengirimkan utusan ke Kekaisaran Cina pada abad ke-5. Dalam dokumen sejarah Cina ditulis tentang negara Wa yang memiliki lima raja. Sistem pemerintahan di Wa meniru model Cina yang menerapkan sistem administrasi terpusat. Sistem kekaisaran juga mengambil model dari Cina, dan masyarakat dibagi menjadi strata berdasarkan profesi.

Hubungan yang erat antara Jepang dengan Tiga Kerajaan Korea dimulai pertengahan zaman Kofun, sekitar akhir abad ke-4.

Zaman Yayoi berlangsung dari sekitar 400 SM atau 300 SM hingga 250 Masehi. Dari situs arkeologi kota Yayoi, distrik Bunkyō, Tokyo ditemukan artefak asal zaman yang kemudian disebut zaman Yayoi.

Pada awal zaman Yayoi, orang Yayoi sudah mulai dapat menenun, bertanam padi, mengenal perdukunan serta pembuatan perkakas dari besi dan perunggu yang dipelajari dari Korea atau Cina.[5] Sejumlah studi paleoetnobotani menunjukkan teknik menanam padi di sawah dan irigasi sudah dikenal sejak sekitar 8000 SM di Delta Sungai Yangtze dan menyebar ke Jepang sekitar 1000 SM.[6]

Dokumen tertulis yang pertama kali menyebut Jepang adalah Buku Han Akhir[7] asal 57 Masehi. Buku tersebut mengisahkan, "Di seberang lautan dari Distrik Lelang tinggal orang-orang Wa. Mereka ada lebih dari dari 100 suku, mereka sering datang dan membayar upeti." Catatan Sejarah Tiga Negara dari abad ke-3 mencantumkan negara yang terbentuk dari kumpulan 30 suku-suku kecil yang diperintah oleh dukun wanita bernama Himiko dari Yamataikoku.

Semasa Dinasti Han dan Dinasti Wei, pengelana Cina tiba di Kyushu dan mencatat tentang para penduduk yang tinggal di sana. Menurut para pengelana Cina, mereka adalah keturunan dari Paman Agung (Tàibó) dari negara Wu. Penduduk di sana juga menunjukkan ciri-ciri orang Wu pra-Cina yang mengenal tato, tradisi mencabut gigi, dan menggendong bayi. Buku Sanguo Zhi mencatat ciri-ciri fisik yang mirip dengan ciri-ciri fisik orang yang digambarkan dalam boneka haniwa. Laki-laki berambut panjang yang dikepang, tubuh dihiasi tato, dan perempuan mengenakan pakaian terusan berukuran besar.

Situs Yoshinogari adalah situs arkeologi terbesar untuk peninggalan orang zaman Yayoi yang mengungkap adanya permukiman di Kyushu yang sudah didiami orang secara terus menerus selama ratusan tahun. Hasil ekskavasi menunjukkan artefak tertua berasal dari sekitar 400 SM. Di antara artefak yang ditemukan terdapat perkakas besi dan perunggu, termasuk perkakas dari Korea dan Cina.[8][9][10] Dari barang-barang peninggalan diperkirakan orang zaman Yayoi sudah sering melakukan kontak dan berdagang dengan orang dari Daratan Cina.

Zaman Jōmon berlangsung dari sekitar 14.000 SM hingga 300 SM. Tanda-tanda pertama peradaban dan pola hidup stabil manusia muncul sekitar 14.000 SM dengan adanya kebudayaan Jōmon yang bercirikan bercirikan gaya hidup pemburu-pengumpul semi-sedenter Mesolitik hingga Neolitik. Mereka tinggal di rumah-rumah yang dibangun di atas tanah yang digali dan di atasnya didirikan rumah beratap dari kayu. Orang zaman Jōmon sudah mengenal bentuk awal dari pertanian, namun belum mengenal cara menenun kain dan pakaian dibuat dari bulu binatang. Orang zaman Jōmon mulai membuat bejana tanah liat yang dihias dengan pola-pola yang dicetakkan ke atas permukaan bejana sewaktu masih basah dengan menggunakan tongkat kayu atau tali atau simpul tali. Walaupun hasil penelitian menimbulkan keragu-raguan, menurut tes penanggalan radiokarbon, beberapa contoh tembikar tertua di dunia berasal dari Jepang, disertai pisau belati, giok, sisir dari kulit kerang, dan barang-barang keperluan rumah tangga lainnya berasal dari abad ke-11 SM.[4] Boneka tanah liat yang disebut dogū juga ditemukan dari situs ekskavasi. Barang-barang rumah tangga menunjukkan kemungkinan ada rute perdagangan yang jauhnya sampai ke Okinawa[rujukan?]. Analisis DNA menunjukkan bahwa penduduk asli Hokkaido dan bagian utara Pulau Honshu yang disebut suku Ainu adalah keturunan orang zaman Jōmon dan merupakan keturunan dari manusia pertama penghuni Jepang[

Zaman Paleolitik Jepang berlangsung dari sekitar 100.000 hingga 30.000 SM, dimulai dari penggunaan perkakas batu dan berakhir sekitar 12.000 SM pada akhir zaman es terakhir yang sekaligus awal dari periode Mesolitik zaman Jōmon. Bukti-bukti penggalian arkeologi menunjukkan kepulauan Jepang sudah dihuni orang sejak 35.000 SM.[2] Kepulauan Jepang terpisah dari daratan Asia setelah zaman es terakhir sekitar 11.000 SM. Setelah terungkapnya pengelabuan zaman Paleolitik Jepang oleh peneliti amatir Shinichi Fujimura,[3] bukti-bukti asal zaman Paleolitik Bawah dan zaman Paleolitik Tengah yang diklaim oleh Fujimura dan rekan-rekan telah diteliti ulang dan ditolak.