Kemenangan 2-1 Jepun ke atas Sepanyol sah menyingkirkan Jerman, namun, anak buah Hansi Flick memerlukan tiga mata untuk peluang ke pusingan kalah mati.
Juara empat kali itu bagaimanapun menamatkan saingan peringkat kumpulan E di tangga ketiga, dan disingkirkan kerana perbezaan gol.
Jerman mengawal perlawanan sepenuhnya dan meledak gol pertama menerusi tandukan Serge Gnabry pada minit ke-10.
Gol penyamaan Costa Rica hadir pada minit ke-58 diikuti gol sendiri pada minit ke-70.
Jerman jaringkan tiga lagi gol masing-masing pada minit ke-73, minit ke-85 dan minit ke-89.
Kegagalan Jerman dianggap sesuatu yang mengejutkan.
Pasukan itu memulakan kempen Piala Dunia dengan langkah kiri apabila tewas kepada Jepun 2-1 pada aksi pembukaan.
Piala Dunia Qatar: Jepun kekal status pasukan Asia 'pembunuh gergasi' benam Jerman