Als kausal denkender Mensch stellt sich mir da die Frage, woher diese spezielle Kraft wohl kommen mag, und warum nur so wenige über sie verfügen sollen. Ich muss wohl weiter greifen...
Real existierende magische Schulen (oh ja, die gibt es tatsächlich

Wenn also in jedem Menschen ein potenzieller Magier steckt, würde eine Institution, welche um diesen Umstand weiß und Interesse an der Weitergabe dieses Wissens hätte an die Öffentlichkeit treten und jeden jungen Menschen nach der Grundschule/dem Beginn der Pubertät zu sich einladen, um diese "wilden Wunderkinder" zu fähigen, selbstverantwortlichen Magiern heranzubilden, allen rationalistischen Spöttern und religiösen Wirrköpfen zum Trotz? Sicher nicht; eine solche Aufgabe wäre schier nicht zu handhaben, selbst wenn sich diese Institution allgemeiner Anerkennung erfreuen würde. Also wählt man aus, im Zweifel aus den Familien in denen bereits seit Generationen Magie praktiziert wird. Da hätten wir also unsere magische Elite.
Dennoch wäre es möglich, dass es Autodidakten gäbe, welche durch irgendein Spontanerlebnis "auf den Dreh" kämen und quasi per Selbstinitation in die Lage versetzt würden, Magie auszuüben. Wahrscheinlich niemals so perfekt wie ein ausgebildeter Zauberer und auch niemals mit so weitreichendem und tieferen Wissen und Verständnis der Sache, doch auf jeden Fall mächtiger als seine unwissenden Zeitgenossen. Zaubernde Muggles wären in Potters Welt ein Kuriosum und bei gewissen Leuten innerhalb der magischen Gesellschaft sicher nicht gut gelitten, aber kein Ding der Unmöglichkeit.