Also ich habe mich damit noch nicht im Detail beschäftigt, aber eine Idee, die mir durch den Kopf geht:
Ein gedrehtes Rechteck könnte man doch unterteilen in ein Rechteck, welches nicht gedreht ist mit jeweils einem rechtwinkligen Dreieck an jeder Seite dran.
Somit kann man prüfen, ob der Mauszeiger in dem inneren Rechteck ist. Ist dies nicht der Fall, prüft man, in welchem Dreieck er evtl. sein könnte um dann da zu prüfen, ob der Mauszeiger in dem Dreieck ist.
Bezüglich Performance kann man sich überlegen, ob man zuerst das äußere Rechteck prüft um schnell zu einem negativen Ergebnis zu kommen. Aber das kann man ja etwas austesten. (Hängt halt davon ab, was öfters vorkommt. Wenn ich z.B. ganz viele Schaltflächen zu prüfen habe, dann wird von n Schaltflächen bei n-1 Schaltflächen dieser Test direkt negativ ausfallen...
Aber das nur als Gedanke, der eine tiefere Betrachtung benötigt.
Prüfung: Punkt in Dreieck - diverse Möglichkeiten:
https://python-programmieren.com/punkt-im-dreieck/
(Vom python im Link erst mal nicht verwirren lassen 
)
