Ich habe ein biometrisches System, das eine Verteilung der Bewertungen ausgibt, die einer Gaußschen Verteilung ähnelt (ähnlich dem Beispieldiagramm im folgenden Link: LINK). Mein Punkt der Verwirrung ist, wie ich die falsche Akzeptanzrate berechne. Wie wirkt sich der Schwellenwert auf das gesamte Problem aus?
Nur um andere Antworten zu ergänzen, hier eine kurze Zusammenfassung der Terminologie.
Für jedes biometrische System oder Klassifizierungssystem ist der Hauptleistungsindikator die Empfängerbetriebscharakteristik ( ROC) -Kurve, die ein Diagramm der wahren Akzeptanzrate (TAR = 1-FRR, die falsche Ablehnungsrate) gegen die falsche Akzeptanzrate (FAR) ist, die als Anzahl falscher Instanzen berechnet wird, die unter allen Eindringlingen als positiv eingestuft wurden und Betrügerfälle . Je näher die Kurve an der oberen linken Ecke liegt, desto besser ist sie (dies entspricht der Maximierung der sogenannten Fläche unter der Kurve oder AUC). Im Allgemeinen werden solche Kurven offline aus einer Datenbank früherer Datensätze generiert. In der biometrischen Literatur wird FAR manchmal so definiert, dass der "Betrüger" keine Anstrengungen unternimmt, um eine Übereinstimmung zu erhalten. Hier zitiere ich grob Biometrics von Boulgouris et al. (Kap. 26).
Sie können Ihren Cutoff also mithilfe von Standard-ROC-Tools auswählen (Suche nach "ROC-Analyse" auf Rseek), um den besten Kompromiss zwischen FAR und TAR zu finden (dies ist nicht unbedingt erforderlich Dieser Grenzwert, der die AUC maximiert, hängt von Ihren Zielen ab.
Nun, wie in anderen Antworten hervorgehoben wurde, führte dieser Kompromiss zwischen FAR und TAR zu einer ähnlichen Interpretation in der Psychophysik, Klassifikation oder biomedizinischen Wissenschaft. Es ist nur eine Frage der Terminologie, und wir sprechen oft von der Trefferquote vs. Falschalarmrate; Sensibilität vs. Spezifität.
Hinweis
Hier sind einige Bilder, die andere Antworten ergänzen, von denen ich hoffe, dass sie Ihnen helfen werden Zeichnen Sie die Parallele zur Entscheidungstheorie und zu statistischen Tests.
Lassen Sie eine Person vor einem Experiment mit zwei Alternativen stehen. Abhängig vom Ort seines internen Kriteriums kann seine Antwort zu einem Treffer oder einem Fehlalarm (Antwort> Kriterium) oder alternativ zu einer korrekten Ablehnung oder einem Fehlschlag (Antwort-<-Kriterium) führen. Die entsprechende probabilistische Antwortkurve ähnelt Ihrer Situation.
Die meisten klassischen Lehrbücher zur Statistik enthalten eine Tabelle ähnlich der folgenden, in der wir die Wahrscheinlichkeiten beschreiben, mit denen eine Nullhypothese ($ \ alpha $) falsch abgelehnt wird, während die Null ($ \ beta $) fälschlicherweise „akzeptiert“ wird Tatsache ist, dass die Alternative wahr ist.
Dies führt zu einem ziemlich gleichen Bild wie beim psychophysischen Schwellenwertmodell:
Ich bin nicht sicher. Ich bin gespannt auf die anderen Antworten, die Sie erhalten. Ich denke jedoch, dass Sie ein wenig klarstellen müssen:
Stellt Ihre Gaußsche Verteilung die Werte für eine Population von Personen dar, die von Ihrem biometrischen System abgelehnt werden sollten?
Wenn ja Dann müssen Sie einfach eine kumulative Wahrscheinlichkeit berechnen - dh den Prozentsatz der Personen, die abgelehnt werden sollten, die aber zufällig über Ihre Schwelle fallen und von Ihrem biometrischen Gerät "fälschlicherweise akzeptiert" werden.
Es könnte also so einfach sein, wie die Anzahl der Personen zu berechnen, die zufällig über Ihren Schwellenwert fallen, geteilt durch die Gesamtzahl der Personen, die abgelehnt werden sollten.
Aber auch hier bin ich mir nicht sicher Antwort und ich denke, Sie müssen klären, was Ihre Annahmen sind, was Ihre Schwelle ist und wie Sie Personen als "fälschlicherweise abgelehnt" klassifizieren möchten.
Es hört sich so an, als ob die folgende vereinfachte Situation die Essenz Ihres Problems erfassen könnte:
Es gibt zwei Populationen von Personen: A = akzeptable Personen und U = nicht akzeptable Personen. Mit jeder Person ist eine 'Punktzahl' $ X $ verbunden. Angenommen, in jeder der beiden Populationen haben die Scores Gaußsche Verteilungen, wobei in A der [wahre] Mittelwert $ \ mu_A $ und in U $ \ mu_U $ ist. Wir können auch annehmen, dass die Distributionen haben die gleiche SD = $ \ sigma $. Alle drei [oder vier] Parameter sind vermutlich bekannt.
Angenommen, $ \ mu_A> \ mu_U $. Daher ist es sinnvoll, eine Person zu akzeptieren, wenn ihre 'Punktzahl' $ X $ über einem bestimmten Schwellenwert $ c $ liegt B.
Es gibt zwei Möglichkeiten, wie diese Regel schief gehen kann:
Ein $ X $ von U kann $ c $ überschreiten, was zu einer falschen Akzeptanz führt
ein $ X $ von A kann unter $ c $ liegen, was zu einer falschen Ablehnung führt.
the Wahrscheinlichkeiten
$$ err_ {falseacc} = P (N (\ mu_U, \ sigma ^ 2)> c) $$
und
$$ err_ {falserej} = P (N (\ mu_A, \ sigma ^ 2) < c) $$
sind die beiden mit der Regel verbundenen Fehlerraten. Sie konzentrieren sich auf $ err_ {falseacc} $.
Es ist nicht schwer zu erkennen, dass bei einer Änderung des Schwellenwerts $ c $ eine Fehlerrate abnimmt und die andere zunimmt. Daher muss $ c $ ausgewählt werden, um Werte für beide Fehlerraten anzugeben, mit denen man leben kann.
Wenn Sie $ c $ auswählen, wie andere bereits bemerkt haben, können die Fehlerraten berechnet werden.
In der Sprache der Statistik testen Sie zwei Hypothesen über die $ \ mu $ der Bevölkerung, aus der die Person mit der beobachteten Punktzahl $ X $ stammt. Eine Hypothese ist H $ _A: \ mu = \ mu_A $ und die andere ist H $ _U: \ mu = \ mu_U $. Der 'Test', um zwischen diesen beiden Hypothesen zu entscheiden, ist die obige Regel, und die oben angegebenen Fehler werden [etwas wenig hilfreich] als Fehler vom Typ I und Typ II oder [ebenso wenig hilfreich] bezeichnet. IMHO] die Sensitivität und die Spezifität oder [ebenso] das Risiko des Herstellers und des Verbrauchers. Welche davon abhängt, welche der beiden Hypothesen als "Nullhypothese" bezeichnet wird, eine Unterscheidung, die in diesem Zusammenhang möglicherweise nicht ganz hilfreich ist.