Wikipedia postprocessing
MEMBER
Hi @bminixhofer ! Parsing WikiMedia is notoriously difficult: this processing used [mwparserfromhell](https://github.com/earwig/mwparserfromhell) which is pretty good but not perfect.

As an alternative, you can also use the Wiki40b dataset which was pre-processed using an un-released Google internal tool
2020-11-10T17:31:06Z
https://github.com/huggingface/datasets/issues/835#issuecomment-724852504
https://api.github.com/repos/huggingface/datasets/issues/835
MDEyOklzc3VlQ29tbWVudDcyNDg1MjUwNA==
https://api.github.com/repos/huggingface/datasets/issues/comments/724852504/reactions
2020-11-10T17:31:06Z
https://api.github.com/repos/huggingface/datasets/issues/comments/724852504
https://avatars.githubusercontent.com/u/10469459?v=4
https://api.github.com/users/yjernite/events{/privacy}
https://api.github.com/users/yjernite/followers
https://api.github.com/users/yjernite/following{/other_user}
https://api.github.com/users/yjernite/gists{/gist_id}
https://github.com/yjernite
yjernite
MDQ6VXNlcjEwNDY5NDU5
https://api.github.com/users/yjernite/orgs
https://api.github.com/users/yjernite/received_events
https://api.github.com/users/yjernite/repos
https://api.github.com/users/yjernite/starred{/owner}{/repo}
https://api.github.com/users/yjernite/subscriptions
User
https://api.github.com/users/yjernite
public
NONE
Ok, thanks! I'll try the Wiki40b dataset.
2020-11-10T17:49:21Z
https://github.com/huggingface/datasets/issues/835#issuecomment-724862958
https://api.github.com/repos/huggingface/datasets/issues/835
MDEyOklzc3VlQ29tbWVudDcyNDg2Mjk1OA==
https://api.github.com/repos/huggingface/datasets/issues/comments/724862958/reactions
2020-11-10T17:49:21Z
https://api.github.com/repos/huggingface/datasets/issues/comments/724862958
https://avatars.githubusercontent.com/u/13353204?v=4
https://api.github.com/users/bminixhofer/events{/privacy}
https://api.github.com/users/bminixhofer/followers
https://api.github.com/users/bminixhofer/following{/other_user}
https://api.github.com/users/bminixhofer/gists{/gist_id}
https://github.com/bminixhofer
bminixhofer
MDQ6VXNlcjEzMzUzMjA0
https://api.github.com/users/bminixhofer/orgs
https://api.github.com/users/bminixhofer/received_events
https://api.github.com/users/bminixhofer/repos
https://api.github.com/users/bminixhofer/starred{/owner}{/repo}
https://api.github.com/users/bminixhofer/subscriptions
User
https://api.github.com/users/bminixhofer
public
NONE
If anyone else is concerned about this, `wiki40b` does indeed seem very well cleaned.
2020-11-10T18:23:20Z
https://github.com/huggingface/datasets/issues/835#issuecomment-724881304
https://api.github.com/repos/huggingface/datasets/issues/835
MDEyOklzc3VlQ29tbWVudDcyNDg4MTMwNA==
https://api.github.com/repos/huggingface/datasets/issues/comments/724881304/reactions
2020-11-10T18:23:20Z
https://api.github.com/repos/huggingface/datasets/issues/comments/724881304
https://avatars.githubusercontent.com/u/13353204?v=4
https://api.github.com/users/bminixhofer/events{/privacy}
https://api.github.com/users/bminixhofer/followers
https://api.github.com/users/bminixhofer/following{/other_user}
https://api.github.com/users/bminixhofer/gists{/gist_id}
https://github.com/bminixhofer
bminixhofer
MDQ6VXNlcjEzMzUzMjA0
https://api.github.com/users/bminixhofer/orgs
https://api.github.com/users/bminixhofer/received_events
https://api.github.com/users/bminixhofer/repos
https://api.github.com/users/bminixhofer/starred{/owner}{/repo}
https://api.github.com/users/bminixhofer/subscriptions
User
https://api.github.com/users/bminixhofer
public
Hi, thanks for this library!

Running this code:

```py
import datasets
wikipedia = datasets.load_dataset("wikipedia", "20200501.de")
print(wikipedia['train']['text'][0])
```

I get:

```
mini|Ricardo Flores Magón
mini|Mexikanische Revolutionäre, Magón in der Mitte anführend, gegen die Diktatur von Porfirio Diaz, Ausschnitt des Gemälde „Tierra y Libertad“ von Idelfonso Carrara (?) von 1930.

Ricardo Flores Magón (* 16. September 1874 in San Antonio Eloxochitlán im mexikanischen Bundesstaat Oaxaca; † 22. November 1922 im Bundesgefängnis Leavenworth im US-amerikanischen Bundesstaat Kansas) war als Journalist, Gewerkschafter und Literat ein führender anarchistischer Theoretiker und Aktivist, der die revolutionäre mexikanische Bewegung radikal beeinflusste. Magón war Gründer der Partido Liberal Mexicano und Mitglied der Industrial Workers of the World.

Politische Biografie 
Journalistisch und politisch kämpfte er und sein Bruder sehr kompromisslos gegen die Diktatur Porfirio Diaz. Philosophisch und politisch orientiert an radikal anarchistischen Idealen und den Erfahrungen seiner indigenen Vorfahren bei der gemeinschaftlichen Bewirtschaftung des Gemeindelandes, machte er die Forderung „Land und Freiheit“ (Tierra y Libertad) populär. Besonders Francisco Villa und Emiliano Zapata griffen die Forderung Land und Freiheit auf. Seine Philosophie hatte großen Einfluss auf die Landarbeiter. 1904 floh er in die USA und gründete 1906 die Partido Liberal Mexicano. Im Exil lernte er u. a. Emma Goldman kennen. Er verbrachte die meiste Zeit seines Lebens in Gefängnissen und im Exil und wurde 1918 in den USA wegen „Behinderung der Kriegsanstrengungen“ zu zwanzig Jahren Gefängnis verurteilt. Zu seinem Tod gibt es drei verschiedene Theorien. Offiziell starb er an Herzversagen. Librado Rivera, der die Leiche mit eigenen Augen gesehen hat, geht davon aus, dass Magón von einem Mitgefangenen erdrosselt wurde. Die staatstreue Gewerkschaftszeitung CROM veröffentlichte 1923 einen Beitrag, nachdem Magón von einem Gefängniswärter erschlagen wurde.
mini|Die Brüder Ricardo (links) und Enrique Flores Magón (rechts) vor dem Los Angeles County Jail, 1917

[...]
```

so some Markup like `mini|` is still left. Should I run another parser on this text before feeding it to an ML model or is this a known imperfection of parsing Wiki markup?

Apologies if this has been asked before.