erstens
= firstly, first on a numbered list, needs at least zweitens
If there is no zweitens do not use erstens, e.g.
Erstens müssen wir das Problem defininieren, zweitens Lösungen finden.
zuerst
= firstly, first in a chronological order, first of all
Usually followed by dann or another conjunction/connector expressing the next part of a chronological sequence.
If there is no dann or similar, consider very carefully whether you really need to use zuerst. e.g.
Zuerst putze ich mir die Zähne, dann dusche ich, danach frühstücke ich.
erstmal
= first of all, chronological / very similar in meaning to zuerst but quite informal, not suitable for formal written contexts, e.g.
Lass uns erstmal ein Bier trinken!
erstmals
= for the first time, quite formal
Diese neue Technologie wurde erstmals in Deutschland entwickelt.
also in this category: zum ersten Mal – more frequently used to express for the first time,
e.g. Das mache ich zum ersten Mal.