lógico, mesmo porque sob o termo elfo vc encontra uma quantidade de lendas, inteporetações, etc, muitas das quais diferentes entre si. E, no entanto, é uma das inspirações pro Senhor dos Anéis, sim.
E não, não é isso necessariamente em todos os locais. Vc fez uma salada maior ainda colocando sob essa tripla designação povos diferentes, de épocas diferentes e com lendas ora diferentes, ora parecidas.
Vou tentar colocar meu ponto: uma das fontes pros elfos do SdA é a mitologia nórdica, que tem elfos. E eu vejo similaridades enormes entre ao menos algumas dessas narrativas, e a caracterização que Tolkien dá aos elfos, especialmente a um dos "povos" élficos. Isso já nas partes mais antigas do texto, ainda no começo do século XX.
Agora, ele não copiou esses elfos ou coisa assim. É uma das fontes. Há outras, naturalmente, como as narrativas lendárias celtas sobre uma ilha sagrada no ocidente. Note que eu não falei sobre elfos celtas, ou coisa parecida, mas sobre a ILHA.
Por fim: espíritos brincalhões são, sim, parte dessas narrativas. Agora, se são sempre chamados de elfos, eu tenho dúvidas. Com os nórdicos, por exemplo, há os kobolds, que podem eventualmente atrapalhar. E tem os elfos que moram coim Freyr, do tal do círculos dos elfos. São diferentes. Bem como os "elfos-negros" que vivem no subterrâneo, e são hábeis ferreiros e ourives.
Ambos, os "da luz" e "da sombra" são elfos. Mas o D&D tomou e re-trabalhou isso, criando para os primeiros os elfos "normais" (e, claro, com influências do SdA) e, com os outros, meu palpite é que inspiraram os anões.
Só que na mitologia nórdica a origem deles é comum: vermes do cadáver do primeiro gigante
(ahhh, então essa é a origem dos susk'o... Espero esse Youkai
)