Ja ok maar dan heb je straks wel een iptables chain van hier tot Tokyo.
Evt. kun je ook password auth. in sshd_config uitzetten .. en alleen via keys laten inloggen geloof ik. Echter, zorg wel dat je een workaround hebt .. zodat je jezelf niet buitensluit.