
Kelly, äldst på plan med sina 35 år, satte 1-0 med en frispark efter en kvart, prickade sedan stolpe och ribba senare i matchen.
2-0 kom en kvart in på andra halvlek genom japanska landslagsspelaren Yakari Kinga.
På tilläggstid var det åter Evertons målställning som räddade från ett tredje baklängesmål.
Det var 13:e gången Arsenal vann FA-cupen.