Ich gehe mal davon aus, dass die Koordinaten in EPSG:4326 vorliegen. Wenn es nicht sonderlich genau sein muss, kann man die Erde als Kugel betrachten und für kurze Entfernungen lässt sich Pythagoras heranziehen.
In diesem Fall beträgt der Radius 6.378.137 m. Der Umfang eines Kreises, der durch die Pole verläuft, beträgt 6.378.137 m * 2 * PI. Unterteilt man diesen Kreis in 360 Teile, so entspricht jeder Teil einem Grad geographischer Breite. Ein Grad geographischer Breite entspricht somit konstant 6.378.137 m * PI / 180 also etwa 111.319,49 m.
Unterteilt man einen Kreis, der durch einen Breitengrad verläuft, in 360 Teile, erhält man die Distanz zwischen zwei Längengraden. Allerdings ist der Radius eines solchen Kreises abhängig vom Breitengrad. Während am Äquator (0° Breite) der Radius eben 6.378.137 m beträgt, ist er an den Polen (90° Nord/Süd) 0. Der Radius eines "Breitenkreises" beträgt r(lat) = 6.378.137 m * cos(lat). Die Entfernung zwischen zwei Längengraden somit 111.319,49 m * cos(lat)
Jetzt gibt es mehrere Möglichkeiten, um die Berechnung einfach zu halten. Entweder man bezieht sich auf einen Breitengrad, z. B. für Deutschland 51° Nord und kommt dann etwa auf 70.055,63 m oder man berechnet für gegebene Koordinaten den Mittelwert, also 111.319,49 m * cos((lat1 + lat2)/2).
Insgesamt hat man also: (113.319,49 m * cos((lat1 + lat2)/2) * (lon1 - lon2))² + (113.319,49 * (lat1 - lat2))² = distanz²
, ein wenig umformen 2*(113.319,49 m)² * ((cos((lat1 + lat2)/2) * (lon1 - lon2))² + (lat1 - lat2)²) = distanz²
und somit (cos((lat1 + lat2)/2) * (lon1 - lon2))² + (lat1 - lat2)² = distanz² / (2*(113.319,49 m)²)
Daraus eine Ungleichung gemacht und in den SELECT eingebaut und schon erhält man die betreffenden Händler (Achtung: die Gradangaben müssen in der Regel ins Bogenmaß umgerechnet werden).
Einfacher wäre es, wenn Du den "Umkreis" nicht als Kreis sondern als Rechteck definierst. Dann rechnest Du anhand des "Umkreis" einfach die vier Punkte aus und kannst einfach über das Rechteck abfragen. Auch bietet es sich an, die Grade ganzzahlig zu speichern.