Se eu, com meu valente mago de tamanho médio quiser fazer um Trip num gigante de pedra (que é Large), eu sofro o redutor de -4 no check para confirmar a queda?
Não é o seu personagem que sofre redutores na manobra Trip, pois ele é do tamanho Médio, mas sim, o Gigante de Pedra terá +4 para resistir ao seu Trip, pois ele é Grande.
Como a regra especifica a oposição entre criaturas que estão em combate físico, acho meio estranho que se aplicasse para telekinesis também (afinal, não é o corpo do meu mago que está tentando derrubar o gigante, mas sim a mente, por isso o check dele é Caster Level + INT, não Base Attack + STR).
Como está na descrição de Telekinesis:
Combat Maneuver
Alternatively, once per round, you can use telekinesis to perform a bull rush, disarm, grapple (including pin), or trip. Resolve these attempts as normal, except that they don’t provoke attacks of opportunity, you use your caster level in place of your base attack bonus (for disarm and grapple), you use your Intelligence modifier (if a wizard) or Charisma modifier (if a sorcerer) in place of your Strength or Dexterity modifier, and a failed attempt doesn’t allow a reactive attempt by the target (such as for disarm or trip). No save is allowed against these attempts, but spell resistance applies normally. This version of the spell can last 1 round per caster level, but it ends if you cease concentration.Ou seja, a manobra é resolvida normalmente, a menos que conste nas exceções. E como diferenças de tamanho não aparecem ali nas exceções, os bônus/penalidades de tamanho do alvo são mantidos para resistir ao seu uso de TK.

"Eu não sou católica, mas considero os princípios cristãos - que tem suas raízes no pensamento grego e que, no transcorrer dos séculos, alimentaram todas as nossas civilizações européias - como algo que uma pessoa não pode renunciar sem se aviltar" Simone Weil
When you decide to grant power to government, start by thinking "What powers would I allow the government to have over me if I knew that my worst enemy in the world was going to be in charge of this government?" - Hastings & Rosenberg.