Mengambil tempat disuatu dunia yang fiksi, Phantom Dust mengambil setting di suatu masa depan dimana dunia telah dipenuhi oleh gurun dan seluruh penghuninya telah mengalami amnesia. Mereka tinggal di bawah tanah untuk menghindari debu misterius yang menyelimuti permukaan. The Espers, sekelompok manusia yang mampu mengontrol debu tersebut untuk membuat berbagai macam variasi keahlian, pergi ke permukaan untuk mencari reruntuhan. Ditemukanlah dua pria yang ternyata juga merupakan seorang Esper dimana salah satunya akan dimainkan pemain selama permainan. Pemain akan berusaha mengungkap kebenaran atas semua hal yang akan ditemukan selama permainan.