Skalvet, som inträffade på fredagskvällen svensk tid, fick bland annat ett 16 våningar högt bostadshus att kollapsa i miljonstaden Tainan.
En av dem som hittades livlös var en tio månader gammal flicka. Över 30 personer befaras fortfarande vara kvar under rasmassorna efter huset som innehöll nästan 100 lägenheter.
Räddningsarbetare jobbar nu febrilt med att rädda överlevande.
Slog sig ut
En kvinna berättar för en lokal tv-kanal hur hon kämpade för att ta sig ut från det kollapsade huset.
– Jag använde en hammare för att slå sönder dörren, som var söndervriden och låst, och lyckades ta mig ut, berättar hon gråtande.
Jordbävningen inträffade fyra mil nordost om Kaohsiung som är öns näst största stad och en viktig hamn. Den inträffade på tio kilometers djup och beräknades först ha en magnitud på 6,7, men nedgraderades sedan till 6,4.
”Vi gör allt”
Taiwans president Ma Ying-Jeou, som begett sig till katastrofplatsen, säger till reportrar att det fortfarande är oklart hur många som drabbats.
– Vi kommer att göra allt för att rädda de överlevande, säger han.
Sammanlagt är över 1 500 personer inblandade i räddningsarbetet.
Taiwan ligger nära den så kallade eldsringen, där kontinentalplattor möts. Det är en av de seismiskt mest aktiva regionerna i världen.
I september 1999 drabbades Taiwan av en förödande jordbävning med magnituden 7,6 som dödade omkring 2 400 personer.
Några av de dödligaste skalven
April 2015: Omkring 9 000 människor omkommer i en jordbävning i Nepal.
Augusti 2012: I iranska Tabriz omkommer 306 personer efter dubbla skalv på 6,3 och 6,4 på Richterskalan.
Mars 2011: Nära 18 900 personer omkommer av tsunamivågorna efter ett skalv på 9,0 i havet utanför Japans nordöstra kust.
Oktober 2011: Östra Turkiet drabbas av ett skalv på 7,2 som dödar över 600 personer.
Januari 2010: Ett skalv på Haiti som uppmäts till 7,0 dödar mellan 250 000 och 300 000 personer.
April 2010: Yushu i nordvästra Kina drabbas av ett skalv på 6,9. 3 000 personer dödas eller saknas efter jordbävningen.
Maj 2008: En jordbävning i Sichuan-provinsen i Kina, uppmätt till 8,0, dödar 87 000 människor.
Maj 2006: 6 000 dödas efter ett kraftigt skalv på Indonesien. 1,5 miljoner människor blir hemlösa.
Oktober 2005: Ett skalv på 7,6 dödar över 75 000 personer i Pakistan.
Mars 2005: På indonesiska Nia-öarna inträffar ett skalv där 900 människor omkommer.
December 2004: En kraftig jordbävning utanför Sumatra skapar tsunamivågor som dödar 220 000 människor i länder kring Indiska oceanen.
December 2003: Iranska staden Bam drabbas av en jordbävning uppmätt till 6,7. Nära 32 000 personer omkommer.
Januari 2001: Indiska delstaten Gujarat drabbas av ett skalv med styrka 7,7 som dödar 25 000 människor.
September 1993: I indiska delstaten Maharashtra dödar ett skalv på 6,3 omkring 7 600 personer.
Oktober 1991: 768 personer dödas i indiska Uttar Pradesh. Styrkan i skalvet är 6,6.
Augusti 1988: Ett skalv på 6,8 i östra Nepal dödar 721 personer i landet och 277 i den indiska delstaten Bihar.