Flyktingarna, tre barn och en kvinna, låg och sov i ett tält när de trampades till döds av djuren medan fyra andra skadades och är i kritiskt tillstånd på sjukhuset i staden Co'x Bazar, säger polischefen Afrujul Hoque Totul.
Tält på elefanternas vandringsled
Träden i området har huggits ner för att ge plats åt ett flyktingläger, men tidigare vandrade vilda elefanter under trädkronorna.
En av flyktingarna, 30-årige Abdul Sukoor, klarade sig utan skador trots att även hans familjs tält förstördes av djuren.
-Vi måste vara vaksamma hela tiden under natten, säger han.