Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

SPARQL container #10

Closed
salgo60 opened this issue Dec 16, 2023 · 20 comments
Closed

SPARQL container #10

salgo60 opened this issue Dec 16, 2023 · 20 comments
Assignees
@salgo60

Comments

@salgo60
Copy link
Collaborator

salgo60 commented Dec 16, 2023 •
edited by perrohdin
Loading

image image

Exempel där SPA är inblandade
@salgo60 salgo60 self-assigned this Dec 16, 2023
@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 16, 2023 •
edited
Loading

@perrohdin
Copy link
Owner

Magnus, tack för att du vill hjälpa oss. Jag skulle vilja ha hjälp med följande 2 saker

  • UPPGIFT 1: Förra året fick vi från Alicia en lista på svenska och historiska skolor. Dock glömde vi att inkludera platsen i den SPARQLen. Dock har vi ju Q-koder på alla skolor. Jag skulle vilja kunna skicka in en lista på Q-nummer (via CSV?) (tex http://www.wikidata.org/entity/Q89904128 och http://www.wikidata.org/entity/Q90132258). För var och en av dessa Q-nummer skulle jag vilja få tillbaka följande kolumner:

  • Q-nummer på skolan (dvs det jag skickat in)

  • Namnet på skolan

  • Platsens namn - de flesta skolor har nog kommun-namn [located in the administrative territorial entity], men det kan kanske även förekomma städer eller liknande.

  • Platsens Q nummer

  • Platsens Wikipedia-sida Svenska (om sådan finns)

  • Platsens Wikipedia-sida Engelska (om sådan finns)

bild

UPPGIFT 2: WIKI-KOPPLING TILL BILDHISTORIAS ORGANISATIONER. Jag har en lista på ca 15 000 aktiva och historiska Företag, Idrottföreningar, Scoutkårer, Myndigheter, Frikyrkor, Fackföreningar. Listan består av namnet i fritext och i vissa fall året när den bildades och upplöstes. Majoriteten består av företagen i RAs lista på aktiebolag 1901-1935 (https://riksarkivet.se/psidata/aktiebolag). Jag skulle vilja skicka in en lista med följande kolumner:

  • Bildhistorias Organisations-GUID (finns på alla poster)
  • Organisationens namn (fritext) (finns på alla poster)
  • Organisationens grundades-datum (tex 1945 eller 1945-06-23) (finns på vissa poster)
  • Organisationens upplöstes-datum (tex 1945 eller 1945-06-23) (finns på vissa poster)
  • Bildhistorias organisationstyp (tex Företag, Offentlig Förvaltning, Idrottsförening, Fackförening) (finns på alla poster)
  • Plats för verksamhet i fritext (finns på vissa poster)

Vi kan använda oss av följande lista: https://portrattarkiv.sharepoint.com/:x:/s/Bildhistoriaarbetsfiler/ERCZ7YxT4TxMomQgzHnN_scBWFAnTEFPyL8KhPB46HBu8g?e=a1Uv4z

Baserat på ovanstående skulle jag vilja få reda på om organisationen finns i Wikidata eller Wikipedia, enligt följande kolumner:

  • Bildhistorias Organisations-GUID (dvs det som skickades in)
  • Organisationens namn (fritext) (dvs det som skickades in)
  • Wikidata Q-nummer (om den hittats)
  • Organisationens namn i Wikidata (om den hittats)
  • Wikpedia SE sida (om sådan finns)
  • Wikipedia EN sida (om sådan finns)

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 17, 2023 •
edited
Loading

@perrohdin känns bäst om vi pratar. Detta är inte SparQL funktioner du vill ha, vilka programmerings kunskaper har ni?

image

Fråga 1: Hur ser bildhistorias datamodell ut.... är den dynamisk så ni kan lägga till nya egenskaper/fält

  • UPPGIFT 2: WIKI-KOPPLING TILL BILDHISTORIAS ORGANISATIONER
  • Jag skulle vilja skicka in en lista med följande kolumner.....

SVAR Uppgift 2: det är bara att ladda upp listan på denna GITHUB Issues

Det är troligen ett jättejobb

  1. Riksarkivets data är enormt grisigt se min Riksarkivet skuggbacklog och dom saknar egen backlog och rättar sällan det man skickar in
  2. För att göra detta som jag kallar reconciliation använder jag verktyg som Open Refine och du måste säkert skapa nya Wikidata objekt
  3. Finns hos NAD ett nytt GUID som vi har i Wikidata men inte mycket använt i WD och Riksarkivet har som sahr dålig data... finns ett TORA projekt som var bra men tror det dött = WD Property:P4820
    3-1. gamla NAD id Property:P5324 - exempel P5324
    3-2. nya NAD id = Property:P9713 - exempel P9713

@perrohdin
Copy link
Owner

Uppgift 1: P131 kommer att vara den vanligaste tror jag så vi kan ju börja med den. Kan du skapa en SPARQL där jag kan skicka upp en lång lista på skolornas Q-nummer?

Uppgift2: Vi skall inte skapa nya Wikidata-objekt. Vi skall bara kartlägga vad som redan finns i Wikidata/Wikipedia med hjälp av organisationsnamnet.

Vi kan prata under dagen. Kanske bäst vi delar skärm. Kan Google Meets passa? Jag finns tillgänglig.

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 17, 2023 •
edited
Loading

Kan du skapa en SPARQL där jag kan skicka upp en lång lista på skolornas Q-nummer?

  1. enklare om du loppar runt er lista och använder URL och hämtar json namnet som jag visar ovan då kan ni göra det från alla programmeringsspråk
image
  1. SPARQL - kod - resultat se video
image

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 17, 2023 •
edited
Loading

Vi kan prata under dagen. Kanske bäst vi delar skärm. Kan Google Meets passa? Jag finns tillgänglig.

Jag är borta under dagen annars funkar 0735152802 eller dela skärm på https://meet.jit.si/Wikidata-SV

vill du snacka Wikidata med flera har du idag 14:00 träff med svenskar dom kör https://meet.jit.si/Wikidata-SV

det är bara hoppa med ofta är det några entusiastiska Wikidata entusiaster… tyvärr räknas inte Wikimedia Sverige in i den samlingen…

image

@perrohdin
Copy link
Owner

Om du är borta idag, vilken tid kan passa imorgon att dela skärm? Jag är tillgänglig hela förmiddagen och på eftermiddagen fram till kl 15.

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 17, 2023 •
edited
Loading

Jag kan nog när som helst efter 9:00 men prata gärna med andra 14:00 idag och förklara dina tankar idéer kanske kan du få någon att starta med koppla ”samma som” Riksarkivet <-> Wikidata eller om dom lär er använda Open Refine

  • snyggast är nog att ni precis som Open Street Map enkelt kopplar ”samma som” Wikidata så har ni detta i ert UI plus att ni har API och tidstämplar

TODO

  1. ladda upp den Riksarkiv fil du har så kan vi se om den har NAD identifierare - är bara att bifoga din kommentar

  2. testa dom 2 lösningar jag visar ovan om dom funkar så är uppgift 1 löst

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 17, 2023

Kolla in diskussionen kring identifierare och tombstone sidor så ni designar er app på ett bra sätt

@perrohdin
Copy link
Owner

perrohdin commented Dec 17, 2023 •
edited
Loading

Uppgift1: Ser bra ut! Snabbt jobbat! Jag laddade upp en lista på ca 200 Q-nummer enligt nedanstående bild men fick bara 34 träffar. Vad betyder det? Är det sökningen som fastnar eller visas bara de rader som får en träff?

bild

bild

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 18, 2023 •
edited
Loading

@perrohdin

Property:P131 = inom det administrativa området

se även Property:P3842 = inom nuvarande administrativt område

image image image image
  • klickar man till höger kan man filtrera på det som finns i P131
image
  • klickar man till höger kan man ladda ned detta till en csv fil
image

Exempel csv fil WD skolor Sverige med P131.csv

den ser ut enl. nedan och där P131 ligger i sista kolumnen som jag kalla layer (för att kunna visa upp den som filter i kartan)

item,itemLabel,admin,adminLabel,coord,bild,adminP131,layer
http://www.wikidata.org/entity/Q167920,Kungliga Akademien för de fria konsterna,,,Point(18.064419 59.328672),http://commons.wikimedia.org/wiki/Special:FilePath/Konstakademien%20Stockholm.jpg,,
http://www.wikidata.org/entity/Q1064735,Handelshögskolan vid Göteborgs universitet,,,Point(11.961111111 57.697222222),,,
http://www.wikidata.org/entity/Q1541450,Kungliga Musikaliska Akademien,,,Point(18.075819 59.33065),http://commons.wikimedia.org/wiki/Special:FilePath/KMA%20hus.fr%20Nybroviken.jpg,,
http://www.wikidata.org/entity/Q1792159,Kungliga Vitterhetsakademien,,,Point(18.0725 59.341667),http://commons.wikimedia.org/wiki/Special:FilePath/Villagatan%203%2C%20Stockholm.JPG,,
image ----

Skolenhetskod - SCB länkröta

  • Alla skolor i Sverige skall ha en unik kod som Skolverket och SCB skapat

  • den finns som Property:P7894 i Wikidata men verkar ha flyttats/tagits bort och ger länkröta

  • SPARQL

image image

SKALL detta fungera skall man ha

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 18, 2023 •
edited
Loading

Wikidata cache

det vi gör med Wikipedia och wikicommons är att cacha data som hämtas från Wikidata som sedan kan hämtas igen se video dvs, ändras datat i wikidata så slär det igenom då cachen uppdateras

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 20, 2023

@perrohdin

756 matchade

Exempel där kolumn 4:a har wkidata nummer

GUID_Bildhistoria,MainName,Lsv,Wikidata,OrganisationType,FoundedDate,DissolvedDate,PlaceOfBusiness1_Name_FullName,PlaceOfBusiness2_Name_FullName,PlaceOfBusiness3_Name_FullName,Source1_Name,SourceId1,SourceText1,SourceId2,SourceText2,SourceId3,SourceText3,WikiData,WikipediaSE,WikipediaEN,DigitaltMuseum,Riksarkivet
f5c2f591-2ab6-4414-9fdf-2fa798af5f5b,Lokala säkerhetsnämnden vid Forsmark,Lokala säkerhetsnämnden vid Forsmark,Q80207112,Offentlig Förvaltning,1981,,"Östhammar, Östhammar, Uppsala län",,,Wikipedia,f5bf0de9-dc69-47d3-82da-0a359e9d7a40,,,,,,,,,,
8187b431-67f7-4f46-b667-e49503441898,Clarion Hotel Grand Östersund,,Q111410023,Företag,1935,,"Östersund, Östersund, Jämtlands län",,,Riksarkivet Aktiebolag 1901-1935,81fc68d8-418f-4206-b132-b7491a0dc1d4,8902,,,,,,,,,
00e21ffc-a853-4fa7-8bef-426115136840,Länsstyrelsen i Jämtlands län,Länsstyrelsen i Jämtlands län,Q28797491,Offentlig Förvaltning,1810,,"Östersund, Östersund, Jämtlands län",,,Wikipedia,f5bf0de9-dc69-47d3-82da-0a359e9d7a40,,,,,,,,,,
482b53dd-1089-412b-acd6-8ababbcd34f4,Myndigheten för tillväxtpolitiska utvärderingar och analyser,Myndigheten för tillväxtpolitiska utvärderingar och analyser,Q10591753,Offentlig Förvaltning,2009,,"Östersund, Östersund, Jämtlands län",,,Wikipedia,f5bf0de9-dc69-47d3-82da-0a359e9d7a40,,,,,,,,,,

ORGANISATIONER-wiki-Dec2023-xlsx.csv

@salgo60 salgo60 closed this as completed Dec 20, 2023
@perrohdin
Copy link
Owner

Grymt! Jag hade förväntat mig fler men det här är fantastiskt. Via ChatGPT, lyckades jag sedan köra en query som hittade matchande Wikipedia sidor på svenska och engelska. Tack igen!

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 21, 2023 •
edited
Loading

Det är mycket "gegga" som scoutkårer och det är lite för lite bra info hos Riksarkivet

  1. jag körde Open Refine automatch
image

  1. sedan gick igenom 800 stycken för hand och kolla när flera alternativ var föreslagna

  2. tar du exempel Torpshamra så finns det massa Torpshamra i Wikidata men ofta är det orter, museer som gar artikel....

image
  1. att modulera organisationer över tid dvs. koncern / vilka namn byten som sker och vilka som köps upp kan vara svårt och tror wikipedia folk mer leker med influencers och adel gubbar....

Lesson learned

att koppla "samma som" är även för enkla saker som personer/bolag kostsamt. DIGG tittar nu lite på detta men jag känner inte att dom tar höjd för att verkligen koppla ihop eftersom mitt förslag att skapa ett ekosystem avslogs som utanför projektets scope...

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 21, 2023 •
edited
Loading

@perrohdin Du visade mig aldrig er datamodell men att ha organisationsnummer kan vara en ide även Riksarkivet NAD har ett agent id i wikidata (är nog mest jag som sätter den)...

bifogar fil med dessa värden för listan ovan

ORGANISATIONER-wiki-Dec2023 orgnr NADagent.csv

exempel

GUID_Bildhistoria,MainName,Nationell arkivdatabas agent-id,organisationsnummer (Sverige),Lsv,Wikidata
f5c2f591-2ab6-4414-9fdf-2fa798af5f5b,Lokala säkerhetsnämnden vid Forsmark,,202100-6735,Lokala säkerhetsnämnden vid Forsmark,Q80207112
8187b431-67f7-4f46-b667-e49503441898,Clarion Hotel Grand Östersund,,,,Q111410023
00e21ffc-a853-4fa7-8bef-426115136840,Länsstyrelsen i Jämtlands län,,202100-2452,Länsstyrelsen i Jämtlands län,Q28797491
482b53dd-1089-412b-acd6-8ababbcd34f4,Myndigheten för tillväxtpolitiska utvärderingar och analyser,,202100-6164,Myndigheten för tillväxtpolitiska utvärderingar och analyser,Q10591753
image image

@perrohdin
Copy link
Owner

Jag kikar just nu på https://openrefine.org/docs/manual/reconciling - och försöker köra Reconciling på våra Organisationer, Platser, Källor och Personer. Tack för tipset!

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 21, 2023

@perrohdin skrik till om vi skall dela skärm några minuter det är ett kraftfullt verktyg men inte helt lätt jag drar 15:00 på julbord till Sthlm Fisk

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 21, 2023 •
edited
Loading

SPA har en begränsning på att man kan bara hämta 10 000 poster i api.et men vi har tagit ned det vi kunnat så det finns i en speciell katalog innan wikidata som heter mix-and-match

image image image image image image

@salgo60
Copy link
Collaborator Author

salgo60 commented Dec 21, 2023 •
edited
Loading

Ortsnamn Isof

FYI; @perrohdin

@dpriskorn frågade - ISOF om vilka som använ der deras ortsnamns data och fick en maskad lista vilka som frågar.... kanske kan ge dig ledtrådar vilka som har lite action

ÖD4.pdf

edit verkar vara bara Dennis... som skriver under uppenbar pseudonym...

@salgo60 salgo60 mentioned this issue Jun 27, 2024
Closed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@salgo60 salgo60

Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@salgo60 @perrohdin