Attacken ska ha skett tidigt under tisdagen mot ett bostadshus i Beit Lahia där minst 200 personer sökt skydd, enligt det Hamasstyrda hälsodepartement.
Bilder efter attacken visar dödade människor insvepta i lakan ligga uppradade längs gatan.
Dödssiffrorna från attacken är fortfarande oklara. Hälsodepartementet i Gaza uppger att minst 78 personer dödades, skriver AP. Gazas civilförsvar uppger för AFP att det är minst 93 dödade. Bland de döda var dussintals kvinnor och barn, enligt de palestinska uppgifterna.
Ännu ska ett 40-tal människor finnas kvar under rasmassorna.
– Vi är djupt oroade över förlusterna av civila liv i den här händelsen. Det här var en fruktansvärd händelse med ett fruktansvärt resultat, säger Mathew Miller på det amerikanska utrikesdepartementet.
USA begär förklaring
USA har kontaktat Israel och begärt en förklaring på vad som hände vid attacken, säger Miller. Någon förklaring ska dock ännu inte ha getts.
Den israeliska militären säger i ett uttalande att de är medvetna om uppgifterna att uppemot 100 personer dödats i attacken.
Militären skriver att de utreder händelsen och uppger samtidigt att media bör vara försiktiga med att publicera information som kommer från Hamas, rapporterar Times of Israel.
Sjukhus utsatta för räder
Delar av norra av Gaza, där hundratusentals palestinska flyktingar befinner sig, är under belägring av Israel. Och sedan förra veckan har Israel utfärdat en evakueringsorder gällande Beit Lahia.
”Vi betonar igen att det här är en aktiv stridszon”, skriver den israeliska militären.
Ytterligare 18 människor ska ha dödats i en attack mot Beit Lahia på tisdagskvällen, uppger Hamasstyrda hälsodepartementet i Gaza. Flera sjukhus har även utsatts för israeliska räder där utrustning förstörts och vårdpersonal förts bort, rapporterar Al Jazeera.
Den humanitära situationen befaras förvärras ytterligare, sedan Israel i måndags förbjudit FN:s palestinska flyktingorgan Unrwa från att verka i landet.