„5 Sterne bei Wiki-Watch“ – Nach welchen Kriterien vergeben wir unsere formale Bewertung?

Unsere Hauptkriterien sind die Anzahl der Quellen und der Autoren eines Artikels.

1. Vorbemerkung: Die Vergabe der Sterne und die Kategorisierung ist ein automatisches Verfahren anhand formaler Kriterien. Sie kann eine kluge menschliche Bewertung nicht ersetzen, aber wertvolle Hinweise dafür liefern.
Wir sind für fachliche Kritik und Verbesserungsvorschläge dankbar!

2. Vorbemerkung: Wo es Zuverlässigkeitsbewertungen der Wikipedia gibt, wie die Einordnungen als Exzellent oder nicht neutral, geben wir diesen Vorrang. Wo es diese nicht gibt müssen wir diese von statistisch ermittelten Faktoren ableiten.

Die Wiki-Watch-Skala reicht von 0 bis 10. Zwei Punkte ergeben einen Stern, ein Punkt einen halben.

Wir gehen in drei Schritten vor:

  • Zuerst erarbeiten wir eine Grundwertung mit 0 bis 10 Punkten,
  • dann werden Abwertungen vorgenommen und
  • zuletzt werden Mindestkriterien abgeprüft.

Grundwertung

Richtwert ist, ob ein Artikel von Wikipedia als „lesenswert“ oder „exzellent“ eingestuft wurde. Ein exzellenter Artikel müsste im Augenblick dieser Einstufung eigentlich 10 Punkte, also 5 Sterne erhalten. Da wir im Gegensatz zu den meisten Wikipedianern aber einen größeren Schwerpunkt auf Quellen legen, kann das bei uns im Einzelfall anders aussehen. (Wir unterscheiden auch noch nicht, wann das redaktionelle Qualitätskriterium ausgesprochen wurde.)

Ein exzellenter Artikel bekommt grundsätzlich in der Grundwertung 10 Punkte (5 Sterne), ein lesenswerter 8 Punkte.

Für alle anderen Artikel gilt:
Anzahl der echten Autoren (jeder nur 1x gezählt, keine Roboter) relativ zur Textlänge: 4 Punkte je Autor je Texteinheit. Ab 10 Autoren je Texteinheit gibt es die Höchstpunktzahl von 40 Punkten.

Anzahl der Quellennachweise relativ zur Textlänge: 2 Punkte je Quelle je angefangener Texteinheit. Höchstpunktzahl von 40 Punkte bei 10 Quellen je Texteinheit.

2 Bearbeitungen je Texteinheit gibt zwei Punkte. Höchstwert sind 20 Punkte.

Wikipedia-Links auf diese Seite: 1 Punkt je 10 Links, höchstens 10 Punkte

Die Gesamtsumme geteilt durch 12 (gerundet) ergibt die Grundwertung für diese Artikel.

Auf- und Abwertungen:

Artikel mit Einordnung in mindestens 1 der Kategorien „Exzellent“ oder  „Lesenswert“ bekommen mindestens 4 Sterne

Sperrungen: Artikel, die aktuell gesperrt sind bekommen einen halben Punkt Abzug.

Quellennachweise: Artikel mit weniger als 3 Quellennachweisen je Texteinheit bekommen nicht mehr als 4 Sterne. Artikel mit bis zu zwei Quellennachweisen absolut bekommen höchstens 3 Sterne.

Autoren: Artikel mit weniger als 5 Autoren insgesamt bekommen nicht mehr als 3 Sterne.

Warn-Bausteine: Artikel mit den Bausteinen „Neutralität“, „Überarbeitung notwendig“ oder „Belege ergänzen“ bekommen nicht mehr als 2 Sterne – bzw. gar keinen (siehe „Killerargument“ am Schluß).

Bearbeitungen: Artikel mit weniger als 5 Bearbeitungen je Texteinheit bekommen höchstens 3 Sterne.

Artikel mit 1 oder mehr Reverts innerhalb des letzten Monates bekommen 1 Stern Abzug.

Wikipedia-Links und Kategorien: Artikel mit weniger als 2 Wikipedialinks AUF diesen Artikel (von anderen WP-Lemmata) und Einordnung in weniger als 1 Kategorien bekommen höchstens 2 Sterne.

Quellennachweise: Artikel mit nur einer Quelle bekommen höchstens 3 Sterne. Artikel ohne Quellennachweise bekommen höchstens 1 Stern.

Killerargumente

War der Artikel im letzten Monat

  • gesperrt,
  • hat er mindestens ein Revert*,
  • hat er eine Überarbeitungs- oder
  • Neutralitätsflagge

so wird darauf hingewiesen und keine Gesamtwertung (Sterne & verbale Empfehlung) ausgesprochen – egal, wie gut er in den Einzelwertungen ist! Trotzdem kann man dann an den Einzelwertungen die Qualität bzw. Mängel klar erkennen.

*Als Reverts gelten hier nur solche, bei denen Beiträge von sichtungsberechtigten Autoren rückgängig gemacht werden.

Ergänzungen

Seit Dezember 2010 ergänzen wir dieses Verfahren durch WikiTrust, damit können wir mit einem Mausklick aufzeigen, wie eine Passage in den Text gelangt ist und Textteile, die weniger vertrauenswürdig sind, werden orange markiert.

Fragen und Antworten zu zur Artikelbewertung finden Sie in der Sektion FAQ von Wiki-Watch.

Dieser Beitrag wurde unter Allgemein abgelegt und mit , , , , , , , , , verschlagwortet. Setze ein Lesezeichen auf den Permalink.

23 Antworten zu „5 Sterne bei Wiki-Watch“ – Nach welchen Kriterien vergeben wir unsere formale Bewertung?

  1. Heike Seidel sagt:

    Ein komplexes Bewertungs-System, mit dem näher zu beschäftigen sich sicherlich lohnt.
    Was mir zunächst auffällt, ist die quantitative Bewertung in den Bereichen Quellen und Autoren. Ist hier „mehr“ tatsächlich immer gleich „besser“?
    Gerade im Bereich der Quellen scheint mir das fraglich. Es können ja viele Quellen angegeben sein, die aber vielleicht nicht die inhaltlich besten und möglicherweise auch nicht die aktuellsten sind.
    Aber es ist natürlich immer ein Problem, Qualität automatisch/zahlenmäßig zu beurteilen – eine Diskussion, die auch vom Impact Factor her bekannt ist. Insofern ist der Hinweis, dass Wiki-Watch „eine kluge menschliche Bewertung“ nicht ersetzen kann, ausgesprochen wichtig. Hoffentlich wird er von den Nutzer/innen auch beherzigt.
    Hilfreich ist so ein Werkzeug auf jeden Fall und es wird wohl einige Nutzer/innen auch zum eigenen Nachdenken über die Qualität eines Artikels und die dafür herangezogenen Kriterien anregen. Schon damit ist viel gewonnen!

    Link nachgetragen – Admin

  2. Franz Kaiser sagt:

    Diese Probe scheint ja gelungen. Sie sollten vielleicht beachten, dass dies ein Projekt in der Beta-Phase ist. Wie bitte soll man dass Verfahren sinnvoll anderes erproben, als durch diesen Launch in der Betaphase? Sie haben sicher recht, wenn Sie jedes einzelne Kriterium für sich betrachten – das tut ein erfahrener Wikipedianer beispielsweise über die Versionsgeschichte – dann können Sie sehen, zu welchem Ergebnis der Edit-War geführt hat. Wenn der Edit-War zu einem sehr guten Artikel führt, wir er auch mit lesenswert oder exzellent ausgezeichnet was bei der Wertung hier berücksichtigt wird. Aber bevor Sie die Versionsgeschichte gesehen haben, wissen Sie das alles nicht. Diesen Blick – nicht mehr und nicht weniger – hat Wiki-Watch. Wiki-Watch sollte Sie als erfahrenen Schreiber eher ermuntern, Schwächen an bestimmten Artikeln zu erkennen und auszumerzen. Geben Sie doch ein Feedback hier, falls die Bewertung eines Artikels ungerechtfertigt scheint!

  3. Michael sagt:

    Naja all diesen Fragen haben wir uns mit Wikibu.ch bereits vor einem Jahr gewidmet, haben Forschungsergebnisse einbezogen und Dinge wie Editwars oder Reverts gezielt herausgelassen (nicht nur aus den hier angesprochenen Gründen) 🙂

    • admin sagt:

      Sehr geehrter Michael, es ist sehr schön, dass Sie hier ihre Zusammenarbeit anbieten. Wir haben uns unsererseits schon gewundert, warum Sie die genannten Merkmale gerade nicht in WikiBu implementiert und stattdessen ein Kriterium wie die Zahl der Aufrufe einer Seite für die Bewertung gewählt haben. Wir haben uns gefragt, warum Sie Quellen nur so wenig wert schätzen…

      … aber die unterschiedlichen Bewertungen ergeben sich vielleicht schon einfach daraus, dass Sie ihr Tool zu einer anderen Zeit entwickelt haben und die Wikipedia sich seitdem beträchtlich weiter entwickelt hat. So hat sie der Gebrauch von Fußnoten in letzter Zeit stark verbreitet und Archivierungstools wie Archive.org und Webcitation sind über Vorlagen stärker in den Vordergrund gerückt. Auf der anderen Seite ist unter manchen Editoren und teilweise auch Administratoren die oft beklagte Polarisierung eingetreten, ein rüder Umgangston, der – auch wenn es eine Minderheit ist – der Schwarmintelligenz den Zugang zum Editieren erschwert.

      Unsere Herangehensweise ist unter anderem von der These geprägt, dass der von der Wikipedia geforderte NPOV nicht zwangsläufig identisch ist mit der Meinung der Mehrheit der Editoren ist und von daher die Schwarmintelligenz nicht der allein bestimmende Faktor sein kann.

      Wir würden uns sehr freuen, wenn wir gemeinsam einen Vergleich von WikiBu und der Wiki-Watch Artikelbewertung erarbeiten könnten und sie erklären würden, welche damaligen Forschungsergebnisse für ihre Plattform maßgeblich waren und was Sie heute anders machen würden.

      Herzliche Grüße

      Ihr Wiki-Watch Team

  4. Fuchs sagt:

    Zum Beitrag koniferski – Zitat: Im Ergebnis setzt sich dann fast immer Ausgewogenheit voraus(durch?). – Stimmt nach meiner Erfahrung ganz und gar nicht. Wenn ich die Diskussionen um ein Revert oder eine Löschung durchsehe, habe ich eher den Eindruck: Wenn ein Admin erstmal was gelöscht/zurückgesetzt hat, dann BLEIBT DAS SO, wieviel Quellen und Logik seitens des Editors auch immer vorgebracht wird. Lies z.B. die Diskussion um den Löschantrag des Wiki-Watch-Artikels. 2-3 gemässigte Stimmen, der Rest der Diskussion erinnerte an einen Käfig voller Hunderüden, in den man eine Katze geworfen hat. Die Macht der Admin-Kaste von WP scheint mir fast unbegrenzt zu sein. Oder lies die Diskussion um die Artikel, die sich mit Umweltfragen (CO2-Diskusion u.a.) befassen. Da werde neutral argumentierende Forscher als industriehörig diffamiert, da werden dem Admin genehme Meinungsmacher falsche Ehrungen attestiert (lies nach bei zdnet), da ist Meinungsmache, keine Wissenschaft mehr – und Diskussion auf Augenhöhe schon gar nicht!

    • koniferski sagt:

      WIKI-Watch ist letztendlich sachlich begründet gelöscht worden – weil es noch nicht die Relevanzkriterien einer Enzyklopädie erfüllt, trotzdem es einige auch aufgeregt hat, wie man so früh so laut „geklingelt“ hat.
      Es ist ausserdem Unsinn, dass etwas SO BLEIBT, wenn ein admin das löscht oder zurücksetzt. Richtig ist, dass in Auseinandersetzungen (edit wars) man den Artikel selber sperrt, wenn es immer „rein und raus“ geht. Dann sind die streitenden Parteien aber immer aufgefordert, auf der Diskussionsseite (die es bei jedem Artikel gibt) einen Konsens zu suchen – und der wird dann meistens gefunden und reingestellt. Das sind aber nicht die Admins, die sich da streiten, sondern „ganz normale“ Autoren, wo jeder eben wie im normalen Leben Recht haben will und sein Streitpotential entwickelt. Wikipedia ist da nicht mehr als ein Abbild der real existierenden Gesellschaft! :-))

      • admin sagt:

        Wiki-Watch sind Artikel bekannt, die nach so einer Sperrung bis zu einem Jahr einfach brach lagen. Einfach weil kein Nutzer gewusst hätte, wie man einen Konsens mit jemanden herstellt, der nach der Sperrung nicht mehr mitdiskutiert. Wenn die Admins, die Artikel sperren, sich auch für die Moderation eines Konsenses zuständig fühlen würden, wäre das sicher anders. Die Artikel blieben dann nicht einfach wie sie sind. Sie, Herr Fuchs und Wiki-Watch wissen natürlich, was man da tun kann, aber weiß es ein einfacher Editor auch? Weiß er, wen er fragen muss? Traut er sich zu fragen, nachdem der sperrende Admin ihn ermahnt hat? …

  5. wikiling sagt:

    Das „Killerargument“ Revert halte ich für unglücklich gewählt. Revertiert wird ja eben oft im Zuge der Qualitätssicherung, z.B. indem offensichtlicher Vandalismus revertiert wird. Daher würde ich einen Revert binnen des letzten Monats nicht so sehr als Killerargument gewichten.

    • admin sagt:

      Wie stark wir auf lange Sicht die Reverts gewichten werden, steht noch nicht fest. Auch Ihre Meinung werden wir in unsere Erwägungen einfließen lassen, aber bedenken Sie bitte, dass wir Reverts im Moment nur zählen, soweit Beiträge von sichtungsberechtigten Autoren rückgängig gemacht werden!
      Vandalismus wird eigentlich nur von IPs betrieben, oder?

  6. Johann Q sagt:

    Interessanter Ansatz. Ich teile die Ansicht, dass Edits und Reverts Teil der Bewertungskriterien sein sollten. Gerade wenn man sie dann noch in einen Zusammenhang mit dem Traffic auf dem Artikel setzt, ist das ein relevantes Kriterium.

  7. Pingback: Wiki-Watch will Transparenz und Qualität der deutschsprachigen Wikipedia erhöhen (→ Europa-Universität Viadrina) | Neuraltherapie.Blog

  8. watchman sagt:

    Die Vorschusslorbeeren für „Lesenswerte Artikel“ oder „Exzellente Artikel“ sind unbegründet. Ich betreibe seit geraumer Zeit privates Wiki-Watching und habe einige „Lesenswerte Artikel“ auf ihre Gehalt hin untersucht. Mehrere dieser ausgezeichneten Artikel sind inzwischen ihrer Auszeichnung befreit worden, da sie diese nicht verdient hatten.

    Ein Beispiel: ein Artikel zu einem bekannten deutschen Dichter. Der Artikel enthielt zwar jede Menge Fließtext, dieser beschränkte sich aber auf eine Nacherzählung der Bibliographie, nicht der Biographie. Im Artikel wurde jede menge Fachliteratur zur Person genannt, aber es war zu bezweifeln, dass diese jemals von den Artikelautoren gelesen wurde, denn sonst hätte man nicht auf jegliche Fakten zu Leben und Werk verzichtet. Nahm man die chronologische Nacherzählung der Veröffentlichungen heraus, blieb als Biografie letztlich nur „Er wurde im Jahr XXX geboren, erlebte in seiner Jugend ein paar Husarenstücke, schrieb danach viele Werke und starb.“ Jeder Klappentext einer Volksausgabe enhält mehr Informationen. Die über die Artikelprämierung abstimmenden Personen haben sich von den Formalia (lange Literaturliste, Bebilderung, Einzelnachweise zu Erscheinungsjahren) blenden lassen und einen Artikel ohne wirklichen Mehrwert als lesenswert gewählt.

    Nächstes Beispiel: ein lesenswerter Artikel zu einem bekannten deutschen Brückenbauwerk. Mir lag gerade ein fundiertes Fachbuch dazu vor und ich habe den Artikel gegengelesen. Der Artikel war voll mit inhaltlichen Fehlern. Da wurden z.B. Zitate aus Beschreibungen des Bauwerks aus dem 17. Jahrhundert zu Bauinschriften des 15. Jahrhunderts umgedeutet, außerdem wurde das Bauwerk nahezu solitär betrachtet, ohne auf den Kontext der Entwicklung der angrenzenden Straßen und Siedlungen einzugehen. Auch das kein besonders guter Artikel.

    Nächstes Beispiel: Ein Artikel zu einer Forschungseinrichtung. Der Artikel behandelte ursprünglich nur ein einzelnes Gebäude und wurde im Lauf der Zeit um ein paar Details zu der Forschungseinrichtung ergänzt, woraufhin man den Artikel umbenannt hat. Die gesamte Geschichte der Forschungseinrichtung deckte der Artikel nicht ab, die Bebilderung war Augenwischerei, da nur Bilder zum allgemeinen Aufgabengebiet der Forschungseinrichtung zum Einsatz kamen, also so, als ob ein Mathematikbuch zur Kurvendiskussion mit einem Bild aus dem Heimatort des Pythagoras bebildert würde. Der Artikel blieb ein Zwitter zwischen Bauwerks- und Institutionsartikel und hat weder die gesamte Geschichte des Bauwerks noch die der Institution abgedeckt.

    Die Reihe ließe sich noch lange fortsetzen. Wikipedia mangelt es einfach an Redaktionen aus renomierten Fachleuten. Die löschversessene Adminschaft und die wichtigtuerischen Laien dort sind schlichtweg rein fachlich nicht in der Lage,die Spreu vom Weizen zu trennen. Dass man Fachleuten aber keine Redaktionskompetenz einräumt, liegt in der strukturellen Natur der Sache: gäbe es in Wikipedia ein Vorrecht durch Wissen, dann müsste ein Großteil der Adminschaft ihren Hut nehmen oder zumindest einige der eitel besetzten Kompetenzen an andere abtreten, die weniger schnittig auftreten und vielleicht grundsätzlich auch andere Relevanzkriterien anlegen.

  9. Michael M. sagt:

    Die Anzahl der Reverts wäre ein interessantes Kriterium – wäre, wenn es denn eine sinnvolle Definition gäbe, und diese auch angegeben würde. Statt sich über so Feinheiten wie gesichtete oder ungesichtete Reverts Gedanken zu machen, wäre es angebracht, zunächst einmal grundsätzlich zu überlegen, woran man einen Revert erkennt.

    Am Bearbeitungskommentar? Sicher, die meisten schreiben dabei etwas von „rückgängig“, „revertiert“ oder Ähnliches. Doch gerade bei einem Edit-War wird man gern eine unverfänglichere Beschreibung wählen. („entPOVt“ zum Beispiel). Das taugt also nichts als Kriterium.

    Nächster Versuch: Der Inhalt. Das ist schon besser, aber was ist, wenn ich nicht einfach revertiere, sondern noch eine winzige Kleinigkeit verändere. Ein Rechtschreibfehler, ein überflüssiges Leerzeichen und schon kann der Revert nicht mehr automatisch als solcher erkannt werden.

    Somit gilt: Die Idee ist interessant, es scheitert aber an der Umsetzung.

    • admin sagt:

      Sehr geehrter Michael M.

      sicher gibt es einzelne Fälle, in denen man nur sehr schwer einen Revert feststellen kann. Wir fänden es aber wenig nützlich, wenn wir die Fälle, obwohl wo wir es per Bearbeitungskommentar oder Diff-Link schon jetzt herausfiltern können, wegließen. Wir haben uns die gleichen Gedanken gemacht, wie Sie und sind zum Schluss gekommen, dass wir vorerst nur die für uns erkennbaren Reverts erfassen. Für Feinheiten gibt es WikiTrust. Wir arbeiten an solchen Feinheiten.

  10. Veni Vidi Wiki sagt:

    Solange diese Kriterien automatisch überprüft werden, kann man sowieso nicht von einer rellen Bewertung sprechen. Außerdem ist es völliger Humbug, Reverts als Grundlage zu nehmen, sowie die Häufigkeit der Verlinkung zu bewerten. Ein Fachartikel kann hervorragend geschrieben sein, aber wenn er nicht 100x verlinkt ist ist er schlecht? Eine zweifelhafte Methode.

    • admin sagt:

      Dieses Kriterium macht uns ebenfalls Kopfzerbrechen. Allerdings ist es ein Fakt, dass ein guter Artikel mehrfach verlinkt ist. Wir denken darüber nach, dieses Kriterium zu verfeinern, indem wir die Links ebenfalls von der Artikellänge und in Kombination mit der Kategorisierung (die ja auch eine Form von Verlinkung darstellt) zu messen. Weil dieses Kriterium nicht so stark ist, geht es nur mit 1/12 in die Gesamtwertung ein. Sofern das Projekt gut anläuft sind weitere Verfeinerungen geplant. Bestimmte Artikel etwa haben eine festgelegte Mindestanzahl von Kategorien. Dazu gehören Personenartikel. Die werden mindestens eingeordnet in Geburtsjahr, Nationalität, Sachgebiet. Sicher lassen sich die Kriterien für bestimmte Portale, wie etwa Biologie ebenfalls ähnlich präzisieren.

      • Veni Vidi Wiki sagt:

        Nein, auch das Kriterium Kategorisierung ist zu individuell. Ein hervorragend geschriebener und belegter Artikel hat manchmal wesentlich weniger Kategorien. Konrad Adenauer hat die meisten Kategorien und wird bei euch nur mittelmäßig eingestuft. Übrigens ein dringender Tipp: schaltet die Anzeige aus, dass der Artikel im letzten Monat revertiert wurde. Ich empfehle euch stattdessen, euer System dahingehend schlau zu machen, dass es erkennt, wenn 2 User eine Änderung mehrmals rein und raus schalten, denn erst ab 3 Wiederherstellungen kann man von einem Editwar bzw. einer strittigen Stelle sprechen. Dieses System ist absolut unausgereift. Als zusammenfassendes Tool ist das hier schön, aber es gibt hier NICHTS, was man an anderer Stelle nicht auch nachlesen könnte. Aber nur diese Zusammenfassenden Statistiken finde ich gut. Versucht euch lieber nicht an der Bewertung der Artikel.

  11. koniferski sagt:

    Nachdem die Löschprüfung in WP nun so entschieden wurde, dass der Artikel im Benutzernamensraum bleiben kann (mit einer Diskussion die wirklich zeigt, dass es in WP sehr differenziert zugeht – und keinesfalls ein Zeichen für willkürlich handelnde Administratoren ist), seid Ihr nun eigentlich am Zuge:
    * Macht die nötigen Evaluationen, dass Ihr wirklich belegen könnt, dass Euer System den Wahrheitswert verantwortungsvoll genug einschätzbar macht – und dass es nicht nur eine intransparente Maschine ist, die „beeindruckende“Statistiken liefert.
    * Hetzt nicht die Leute innerhalb der WP quasi von aussen auf, sondern nehmt in der WP an den Diskussionen zur Weiterentwicklung der sozialen Strukturen teil. Von aussen geht das schief, weil es immer polarisiert und Reaktanz erzeugt. Diskussionen innerhalb der WP mit der Ernsthaftigkeit, die ich hier als gegeben voraussetze, werden nicht gelöscht. Weil Ihr ja Wissenschaftler seid: Hier laufen Selbstregulationsprozesse sozialer Systeme, die auch implizit, sehr komplex und nur schwer abbildbar sind. Wenn Ihr in die entsprechenden Bücher schaut , wisst Ihr einereits, warum es für vieles nur Approximationen, keine „Lösungen“ gibt und dass eine „Verstörung“ der Systeme selten zur gewünschten Ziel führt.
    http://de.wikipedia.org/wiki/Selbstregulation
    In WP ist die Darstellung zwar nicht falsch, aber leider noch extrem dürftig und einseitig… Der hat bei Euch 3.5 Sterne, verdient aber nur 1-2 😉

    • admin sagt:

      Red.: Die anderen beiden Beiträge haben wir gelöscht 😉
      Gleiches Maß für alle. Bitte belege den Wahrheitswert Deiner 1-2 Sterne und lege die nötige Evaluation vor.

  12. Pingback: Überprüfen von Wikipediaartikeln – Tool „Wiki-Watch“ | Bildungscafe Blog

  13. Schöner Witz das Ganze!

    Aber warum der Artikel EMD F7 eine „zuverlässige Quelle“ sein soll, der ztur EMD F3 aber „keine zuverlässige Quelle“ wissen vielleicht Jesus und das fliegende Spaghettimonster, aber wohl kein Normalsterblicher. Die von mir verwendete Literatur ist bei beiden Artikeln genau gleich, im Fall der EMD F3 ist sogar ein zweites Buch als Quelle angegeben. Einzelnachweise enthalten beide Artikel genau gleich viel, nämlich null. Sie sind auch BTW kurz hintereinander entstanden, so daß ich mir sicherlich zwischenzeitlöich keine gründlichere Arbeitsweise zugelegt habe…
    Zu den „Bewertungskriterien“: Anzahl der echten Autoren (jeder nur 1x gezählt, keine Roboter) relativ zur Textlänge: 4 Punkte je Autor je Texteinheit. Ab 10 Autoren je Texteinheit gibt es die Höchstpunktzahl von 40 Punkten. Auf Deutsch: Der Artikel eines Autors, der nicht in der Lage ist, einen Artikel so zu verfassen, daß nicht mindestens drei Autoren Nachbesserungen an jedem Abschnitt vornehmen müssen, ist zuverlässiger, als ein Autor, der einen so guten Artikel abliefert, daß keine Nacharbeit stattfinden muß. Hallo?!?
    „Autoren: Artikel mit weniger als 5 Autoren insgesamt bekommen nicht mehr als 3 Sterne.“ siehe eins drüber…
    „Bearbeitungen: Artikel mit weniger als 5 Bearbeitungen je Texteinheit bekommen höchstens 3 Sterne.“ siehe zwei drüber…

    Zu den Killerargumenten: Gerade bei Artikeln zu Themen, die auf dem Lehrplan von Schulen stehen, steigt die Wahrscheinlichkeit, daß der Artikeltext durch ein „XXX ist doof.“ zum Zeitpunkt der Behandlung des Lernstoffes signifikant an. Dies macht natürlich einen Revert nötig, ist aber aus meiner Sicht kein Indiz für die Unzuverlässigkeit des Lemmas.

    • admin sagt:

      Sehr geehrter Herr Kircher,

      vielen Dank für Ihre Frage. In der Tat sind das beide zwei sehr schön geschriebene und bebilderte Artikel. Aber in Punkto Zuverlässigkeit sind beide fast gleich schlecht. Keiner von beiden hat Belege (Wir wissen, dass in der Zeit der Entstehung dieses Artikels in der WP allgemein nicht so viel Wert auf die Qualität der Belege gelegt wurde. Es ist inzwischen allgemein als Fehler anerkannt worden, stattdessen die „Hauptquellen“ unter Literatur anzugeben). Der unbedarfte Leser kann nicht überprüfen, woher die behaupteten Fakten stammen und ob sie stimmen. Zwar ist Literatur angegeben, aber keine einzige Fußnote (die dazu notwendig wäre aufzuzeigen, welche Information aus welchem Werk stammt). Es ist also nicht ersichtlich, woher der Inhalt der beiden Artikel kommt. Bei EMD F7 hat Wiki-Watch beide Augen zugedrückt, weil wenigsten bei den Weblinks noch ein externer Verweis erfolgte. Wenn Sie mindestens vier Sterne wollen, arbeiten Sie einfach Fußnoten ein. Wie das geht, steht unter Wikipedia:Einzelnachweise. Dass EMD F3 eine Literaturangabe mehr hat, läßt unsere Automatische Überprüfung außer Betracht, da die Angabe von weiterführender Literatur derzeit noch nicht automatisiert bewertet werden kann und auch wenig Wert hat, da sie ja nicht zwangsläufig bedeutet, dass diese Literatur zum Schreiben des Artikels verwendet worden wäre.

      Zur weiteren Kritik: Ja, Sie haben das richtig erkannt. Die automatisierte Bewertung nach Sternen bewertet im Sinne der Schwarmintelligenz den vom Schwarm nicht kontrollierten Autor geringer als den von Schwarm kontrollierten. Bei dieser Kontrolle werden übrigens Reverts von Vandalismus durch IPs, wie XXX ist doof nicht negativ gewertet, sie werden bei den Reverts nicht mitgezählt. Um den Autoren eine bessere Wertung zu geben, die, wie sie angeben, einen Artikel in einem Stück alleine schreiben, haben wir seit 23. Dezember 2010 probeweise WikiTrust in unsere Bewertung eingebaut. Ein kleines Lob aber lässt sich dessen weiteren automatischen Bewertung entnehmen: WikiTrust hat fast nichts orange gefärbt, dass heißt, die meisten Textteile stammen von zuverlässigen Autoren und sind von anderen zuverlässigen Autoren überprüft worden.

  14. Agathon sagt:

    Guten Tag,

    hier wird überhaupt nicht definiert, was eine Texteinheit ist! Ist eine Texteinheit ein Unterabschnitt, eine A4-Seite oder eine bestimmte Anzahl Kilobyte pro Text? Erst wenn man sich die Bewertung einer Seite ansieht, bekommt man indirekt einen Hinweis. Beispiel zum Artikel Opus Dei : 10 Quellen pro A4-Seite. Der Artikel hat insgesamt nur 19 Quellen. Soll das heißen, das der Artikel (38 Kilobyte) nur 2 A4-Seiten umfasst? Das ist etwas wenig, generiert man den Artikel als PDF kommt man auf circa 9 A4-Seiten Text, was sich auch ungefähr mit dem Ergebnis von wikibu deckt. Das der Artikel bei beiden Bewertungsportalen 4,5 bzw. 4 Sterne für die Quellennachweise bekommt finde ich nicht sehr gut. Die meisten der Quellennachweise konzentrieren sich z.B. auf den Abschnitt „Opus Dei in Spanien“ (11), während viele andere Abschnitte überhaupt nicht bequellt sind. Es sieht so aus, als würde der Bewertungsmechanismus noch erhebliche Schwächen aufweisen.

    Mit freundlichen Grüßen
    Agathon

Kommentare sind geschlossen.