Wikipedia:ORES

Wikipediasta
Siirry navigaatioon Siirry hakuun

Objective Revision Evaluation Service (ORES) on web-palvelu, joka tarjoaa koneoppimiseen perustuvia palveluita Wikimedia-projekteille. ORES on suunniteltu helpottamaan esimerkiksi vandalismin havaitsemista ja poistamista. Se on osana Wikimedia Scoring Platform -projektia.

Tällä hetkellä "advanced support" on kytkettynä päälle ja ORES on beta-ominaisuuksissa käytössä. API-rajapinnasta saa tuloksia ja muokkauksia pystyy luokittelemaan. Osumatarkkuus on vielä heikohko ja vaatisi lisää muokkausten arviointia parantuakseen.

Käyttöönottosivun kohdat

  1. Basic support (phab:T158587) Tehty
  2. Advanced support (mahdollisuus arvioida muokkauksia käyttöliittymän avulla) (phab:T161905) Tehty
  3. Muokkauksen laatu (20k otos) -kampanjan tekeminen (phab:T163013) Tehty
  4. Review tool (tuoreet muutokset lista) (siirryttiin suoraan tuoreiden muutosten uusiin suodattimiin)
  5. Tuoreiden muutosten uudet suodattimet + ORES Tehty
  6. Muokkauksen laatu v2 (5k otos) phab:T166909 (ks. keskustelu) Tehty
  7. Vakautusbotti
    1. Käyttäjätunnus botille (sellainen joka toimii eri kielillä), sille reviewer-käyttöoikeus jotta se voi vakauttaa sivuja (tätä pitää pyytää Ejs-80:ltä), botille botti-käyttöoikeus Tehty
    2. botille käyttäjäsivu jossa kerrotaan mistä siinä on kyse + linkit logeihin (vrt käyttäjä:SeulojaBot) Tehty
    3. linkki github:iin ja github:iin englanninkielinen README [1] (kesken)
    4. Lista IP:stä joiden muokkaukset lähes aina kumotaan Tehty
    5. Lista sivuista joiden muokkaukset lähes aina kumotaan Tehty
    6. Jokin tapa testata bottia siten, että näkee mitä se vakauttaisi ilman, että se tekee mitään (?). Voi olla, että tähän riittää ohjeet siitä miten botin saa ladattua github:sta ja miten sen saa ajettua Tehty
    7. Vakautustilasto botin toiminnan seurantaa varten Tehty
    8. phab:T169457 - FlaggedRevs: Make null-edits optional
    9. Vakautustilastojen läpikäynti ja virheellisten positiivisten vähentäminen
  8. PendingChangesBot
    1. ks. phab:T165848 Tehty
    2. ohjeet englanniksi Tehty
    3. konfiguraatio tulemaan wikisivulta Tehty
    4. Siirrettävä Ores-pistemäärän hakeminen ja version merkityt versiot tila botista pywikibotin-koodiin Tehty
    5. Arviointisäännöt
      1. done: autoreview, bot, formerbot, interwiki, ores, patrolled, reverted, pagecreator, wordtest
      2. Puuttuvia
        1. IP / username whitelist (sivu wikipediassa, mahdollisuus antaa yksi nimi parametrina)
        2. Jeblad: Aggregation of weak classification; if enough users reads a specific version without complaining, should that lead to an automated classification?

Kampanjoita on ollut kaikkiaan kaksi, joista ensimmäinen valmistui 24. huhtikuuta 2017. Otokseen sisältyi 5542 näytettä. Toinen kampanja päätettiin järjestää vain muutama kuukausi ensimmäisen jälkeen, ORES:in tekemien luokituksien tarkkuuden parantamiseksi. Toisen kampanjan otokseen sisältyi 5423 näytettä ja se valmistui 7. huhtikuuta 2019, eli vajaa vuosi sen aloittamisesta.[2][3]

Mitä tällä voi tehdä?

[muokkaa wikitekstiä]
  • Pisteytystä voidaan käyttää yhtenä mittarina, kun listataan potentiaalisia uusia seulojia ja automaattiseulottuja käyttäjiä
  • Pistetystä voidaan käyttää yhtenä sääntönä, jolla botti vakauttaa lyhyeksi ajaksi sivuja
  • Pisteytystä voidaan käyttää yhtenä kriteerinä, jolla botti hyväksyy muokkauksia

Tähän on listattu työkaluja, jotka hyödyntävät ORES:ia ja toimivat suomenkielisessä Wikipediassa.

RTRC – Real-Time Recent Changes
ScoredRevisions
  • Lähdekoodi: https://github.com/he7d3r/mw-gadget-ScoredRevisions
  • Värittää muutokset tuoreet muutokset, linkitettyjen sivujen muutokset, tarkkailulista, käyttäjän muokkaukset ja artikkelin historia -sivuilla ORES-pistemäärän mukaan.
  • Värit ovat aika räikeät, ja CSS-säännöt ovat päällekkäisiä merkittyjen versioiden vastaavien sääntöjen kanssa (molemmat värittävät samoja muokkauksia).
Raun
PatruBOT
  • Espanjankielisessä Wikipediassa toimiva ORES-pisteytykseen perustuva vandalismintorjuntabotti

Toimintosivut

[muokkaa wikitekstiä]
Tietokantataulut ToolLabsissa
  • mw:Extension:ORES/Schema - goodfaith/damaging true -pisteet kopioituvat mw:n tietokantaan (tuoreet muutokset -lista käyttää näitä)
viestiryhmä kääntämättä yhteensä käännetty muuttunut oikoluettu
core  16  3707  3691 5 723
core-0-mostused  1  760  759 1 288
ext-abusefilter  69  570  501 0 51
ext-cite  6  31  25 1 3
ext-cite-visualeditor  16  42  26 1 2
ext-flaggedrevs-0-all  91  450  359 0 67
ext-ores  9  60  51 3 37
wiki-ai  10  103  93 0 87
Amir esittelemässä ORES-palvelua Wikimaniassa 2016.