Colby (May 13 2023 at 13:22): Colby (May 13 2023 at 13:22):http://resultmaps.neis-one.org/osm-notes-country?c=Latvia
https://resultmaps.neis-one.org/newestosm?c=Latvia
RSS feed uz zulip topic? būtu vieglāk sekot līdzi jaunumiem
HellMap (May 13 2023 at 13:28):Es jau tagad redzu notes kanālu: HellMap HellMap HellMap HellMap HellMap HellMap HellMap HellMap HellMap HellMap HellMap
HellMap (May 13 2023 at 13:30):Bet jā, ja Zulips mācētu integrēt kaut kādus RSS veida feedus, drošvien jau varētu padomāt, kurus gribētos. No otras puses, te būtu ļoti maz info - tik un tā es labāk skatos konkrētā saitā. Bet to var ar linkiem.
i-ky (May 13 2023 at 20:03):Eksistē oficiāls risinājums priekš RSS, bet, cik saprotu, tas prasa serveri, kur tas risinājums grieztos. Mums tādas infrastruktūras nav, un es šaubos, ka to risinājumu var laist ar GitHub Actions.
Bet droši vien ar GitHub Actions var dabūt OSM Notes jaunumus un aizsūtīt to uz Zulip, ja tas ir vēlamais rezultāts.
i-ky (May 17 2023 at 20:42):Colby said:
http://resultmaps.neis-one.org/osm-notes-country?c=Latvia
https://resultmaps.neis-one.org/newestosm?c=Latvia
RSS feed uz zulip topic?
Vai tie linki tiešām ir RSS? Es pamēģināju sakonfigurēt to Zulip'a oficiālo risinājumu uz sava datora un tas neko nesūta uz Zulip. Tas viņu skripts izmanto feedparser moduli, un pēc print-debug izskatās, ka tas modulis "neredz" nekādus entries.
Full disclosure: es nekad iepriekš neesmu neko darījis ar RSS un ļoti miglaini zinu, kas tas tāds ir.
HellMap (May 17 2023 at 21:09):RSS ir tipa speciāli formatēts xml. Browseri to atverot, tev piedāvātu kaut kā to RSS ielikt bookmarkos vai feedos, atkarībā no browsera. Es nezinu, kāpēc to viņu linku neatpazīst un neparsē uzreiz.
HellMap (May 17 2023 at 21:13):Tajā viņu failā nav <entries> elementa, uzreiz <entry>
HellMap (May 17 2023 at 21:14):Un jā, tehniski tas ir Atom nevis RSS, bet viņi līdzīgi un tā feedparser lapa ir par Atom.
Colby (May 18 2023 at 04:47):i-ky said:
Colby said:
http://resultmaps.neis-one.org/osm-notes-country?c=Latvia
https://resultmaps.neis-one.org/newestosm?c=Latvia
RSS feed uz zulip topic?Vai tie linki tiešām ir RSS? Es pamēģināju sakonfigurēt to Zulip'a oficiālo risinājumu uz sava datora un tas neko nesūta uz Zulip. Tas viņu skripts izmanto feedparser moduli, un pēc print-debug izskatās, ka tas modulis "neredz" nekādus entries.
Full disclosure: es nekad iepriekš neesmu neko darījis ar RSS un ļoti miglaini zinu, kas tas tāds ir.
http://resultmaps.neis-one.org/newestosmcountryfeed?c=Latvia
https://resultmaps.neis-one.org/osm-notes-country-feed?c=Latvia&a=opened
i-ky (May 18 2023 at 15:41):Colby said:
i-ky said:
Colby said:
http://resultmaps.neis-one.org/osm-notes-country?c=Latvia
https://resultmaps.neis-one.org/newestosm?c=Latvia
RSS feed uz zulip topic?Vai tie linki tiešām ir RSS? Es pamēģināju sakonfigurēt to Zulip'a oficiālo risinājumu uz sava datora un tas neko nesūta uz Zulip. Tas viņu skripts izmanto feedparser moduli, un pēc print-debug izskatās, ka tas modulis "neredz" nekādus entries.
Full disclosure: es nekad iepriekš neesmu neko darījis ar RSS un ļoti miglaini zinu, kas tas tāds ir.
http://resultmaps.neis-one.org/newestosmcountryfeed?c=Latvia
https://resultmaps.neis-one.org/osm-notes-country-feed?c=Latvia&a=opened
O, tagad ir! Var apskatīt #RSS stream'ā uz izteikt viedokļus.
i-ky (May 18 2023 at 19:15):Varbūt mēs gribētu katrai note savu topic'u?
HellMap (May 18 2023 at 19:20):Es domāju, ka vajag katram savu message, lai var iznest topikā, ja vajag apsriest. Bet katram topiku būs krietni pa daudz.
i-ky (May 18 2023 at 19:26):Varbūt tam Neisa kungam ir "notes per country" kaut kādā machine-readable formātā?
HellMap (May 18 2023 at 19:29):Pilnais saraksts ir šeit, kuru es parasti skatos http://resultmaps.neis-one.org/osm-notes-country?c=Latvia
HellMap (May 18 2023 at 19:30):Ir visiem note aktivitātem feedi, bet tas tos vajag vienā streamā
i-ky (May 18 2023 at 19:34):Es vairāk par to <content> domāju. Ja mums vajag tikai opened, tad priekš kam katrā Zulip message'ā "Action: opened"? Ja būtu machine-readable <content>, tad mēs paši varētu noformatēt, kā gribam...
i-ky (May 30 2023 at 08:25):Kad/cik bieži tiek atjaunoti tie RSS feeds?
i-ky (May 31 2023 at 07:02):Par RSS tagad atbild https://github.com/OSMLatvija/zulip-rss
i-ky (Jun 16 2023 at 15:25):Vai mēs gribam kaut ko darīt ar to, ka dažreiz title nerenderējas pareizi (piemērs)?
Cik es saprotu, tas notiek, ja note teksts sastāv no vairākām rindām. Tas viss ir iebāzts iekš title, un kad Zulip RSS skripts vēl pa virsu cenšas uzlikt saiti, Zulip Markdown rendered saka: "Nē, nebūs".
Rihards Olups (Jun 16 2023 at 15:53):Heh, funkcionāli laikam pie visa var tikt, tik kā tas paskats.
Lai gan... citās ziņās links uz piezīmi ir dubultā. Viens links gandrīz vai padara pārskatāmāku.
i-ky (Jun 16 2023 at 16:11):Rihards Olups said:
Lai gan... citās ziņās links uz piezīmi ir dubultā.
Kur?
Rihards Olups (Jun 16 2023 at 18:50):Augšā un apakšā ir identiski linki.
links galore
i-ky (Jun 16 2023 at 19:21):Jā, nezinu, kāpēc tā uztaisīja. :shrug:
i-ky (Jun 16 2023 at 19:23):Es jau zinu, kā ar pip instalēt zulip moduli no git, tā kā varam noforkoties un uztaisīt, kā vajag.
Rihards Olups (Jun 16 2023 at 20:20):Issue / pull request?
Rihards Olups (Jun 16 2023 at 20:22):Forkot šķiet biš ekstra pūles - principā tās notes kaut kad varētu dzīt iekšā gandrīz vai kādā issue sistēmā, līdzīgi kā lietuvieši ir uztaisījuši.
Tik varbūt ne pilnīgi jaunu custom rakstīt :)
i-ky (Jun 17 2023 at 03:20):Priekš pull request'a tāpat jā'fork'o, kādas extra pūles? :D
Un man ir šaubas, ka fix būs tik universāls, ka to pieņems.
HellMap (Aug 06 2023 at 13:14):https://www.openstreetmap.org/note/3817837 - nav sarakstā, laikam šķība Latvijas kontūra neisam
i-ky (Aug 06 2023 at 16:34):HellMap said:
https://www.openstreetmap.org/note/3817837 - nav sarakstā, laikam šķība Latvijas kontūra neisam
Itkā nav tuvu robežai, varbūt arī kaut kas cits kaut kur nofeiloja. Laikam būtu labi paziņot Neisam, bet es nezinu, kur to izdarīt.
Rihards Olups (Aug 07 2023 at 08:19):Biš necroposting, bet dažreiz par kļūdām ziņo komentāros pie bloga postiem - piem., https://neis-one.org/2013/05/osm-notes/ .
HellMap (Nov 08 2023 at 11:49):Vai mēs varētu pielikt arī https://resultmaps.neis-one.org/osm-discussions changesetu komentāriem?
i-ky (Nov 08 2023 at 11:54):HellMap said:
Vai mēs varētu pielikt arī https://resultmaps.neis-one.org/osm-discussions changesetu komentāriem?
HellMap (Nov 08 2023 at 12:17):Man jau pirksti kasās uzrakstīt kaut kādu post-processing to RSS->message formātam, lai normāli izskatās...
i-ky (Nov 08 2023 at 12:48):HellMap said:
Man jau pirksti kasās uzrakstīt kaut kādu post-processing to RSS->message formātam, lai normāli izskatās...
Kas tieši nepatīk? Principā var no'fork'ot https://github.com/zulip/python-zulip-api un parediģēt https://github.com/zulip/python-zulip-api/blob/main/zulip/integrations/rss/rss-bot kā vajag.
HellMap (Nov 08 2023 at 12:54):Nu kaut vai augtākminētais notes divas reizes vienu un to pašu raksta un salūzt pie jebkādas ne-sintakses
HellMap (Nov 08 2023 at 12:57):Hmm, viņš pa taisno no RSS uz Zulipu... Workflowā tad papildsoli neiebāzt. Jāforko un jāmaina pythona kods un tad vēl viens maintenance projekts. Jāraksta Zulipa b0tu, kas izlasīt RSS b0ta messagu, izdzēsīs un iekopēs izlabotu :melting_face:
i-ky (Nov 08 2023 at 13:01):HellMap said:
Jāforko un jāmaina pythona kods un tad vēl viens maintenance projekts.
Ja labojums nav specifiski priekš mums, tad to labojumu var ie'push'ot upstream'ā, nevajadzēs maintain'ot pašiem.
HellMap (Nov 08 2023 at 13:15):Tur jau tā problema, ka tas ir tā NEIS RSS komentārs šķībs - gan title gan content ar atkārtotu info. Sintaksi, kas konfliktē ar Zulipu, varbūt var arī labot plugina ietvaros.
i-ky (Nov 08 2023 at 13:19):HellMap said:
Tur jau tā problema, ka tas ir tā NEIS RSS komentārs šķībs - gan title gan content ar atkārtotu info.
Kur var pieteikt issue? Laikam tikai bloga komentāros?
HellMap (Nov 08 2023 at 13:20):Varbūtība, ka izlabos jau nav liela. To, ka Zulipā slikti izskatās, diez vai uzskatīs par problēmu.
i-ky (Nov 08 2023 at 13:36):HellMap said:
Varbūtība, ka izlabos jau nav liela. To, ka Zulipā slikti izskatās, diez vai uzskatīs par problēmu.
Diez vai tikai Zulip'ā. Taisnība, ka rss-bot padara to nesmukāku, dzēšot ārā HTML tagus, bet, teiksim, datumi nelasāmā formātā un pie tam kaut kādā maģiskajā laika zonā nāk pa taisno no RSS.
i-ky (Nov 08 2023 at 13:58):Varbūt jādomā par to, lai visu to ņemt pa taisno no OSM API bez RSS starpniecības?
HellMap (Nov 08 2023 at 14:03):Filtrēt būs grūti. Tas NEIS tomēr apstrādā datus pa reģioniem un filtriem. Piemēram, viņš nespamo visus tos vandalisma revertus.
i-ky (Nov 08 2023 at 21:30):i-ky said:
HellMap said:
Varbūtība, ka izlabos jau nav liela. To, ka Zulipā slikti izskatās, diez vai uzskatīs par problēmu.
rss-bot padara to nesmukāku, dzēšot ārā HTML tagus
Uztaisīju, lai mēģina konvertēt HTML uz Markdown. Palika labāk?
HellMap (Nov 08 2023 at 21:49):It kā izskatās nedaudz labāk. Galvenā problēma gan ir atkārtota informācija, nevajadzīgs teksts, slikti formatēts teksts (datums, linki) un prezentācija nevajadzīgi mašīnveidīgi nevis normāli lasāmi.
HellMap (Nov 08 2023 at 21:56):For reference, tādu es to (personīgi) gribētu:
image.png
HellMap (Nov 08 2023 at 21:57):Bet to nepāks bez manuālas reformatēšanas konkrēti šitam RSS un tam vajag kaut ko pa vidu starp "nolasīju RSS" un "sūtu message".
i-ky (Nov 09 2023 at 13:14):Kā piemērs. Šo:
Note 3979686 by richlv: "Braukt Games not observed here. Where is it if it exists?"
Contributor: richlv
Action: opened
Comment: Braukt Games not observed here. Where is it if it exists?
https://www.openstreetmap.org/note/3979686
...var noformatēt šādi:
HellMap (Nov 09 2023 at 13:18):Tikai tas salūzt ar linkiem
HellMap (Nov 09 2023 at 13:20):Changeset commentiem tas nestrādās, jo title nav paša komenta
i-ky (Nov 09 2023 at 13:22):Piemērs ar šo:
Changeset 143527825 (Comment no. 1) by richlv
Contributor: richlv
Discussion Comment No.: 1
Comment: Šī laikam nav oficiāla adrese, jo nav VZD datos?
Date: 2023-11-08T14:07:14+01:00
http://www.openstreetmap.org/changeset/143527825
i-ky (Nov 09 2023 at 13:24):Piemērs ar šo:
New Contributor: Osis_(00==[||][||]==00)
Contributor: Osis\_(00==[||][||]==00)
Mapper since: 2023-11-08 12:05:31
Registration: 2023-11-08 12:03:02
UID: 20571233
First active near: Šampēteris (1.20 km) (Latvia)
First Changeset: 143777095
Editor used: StreetComplete 55.0
How did contribute to OpenStreetMap?
https://osm.org/user/Osis_%2800%3D%3D%5B%7C%7C%5D%5B%7C%7C%5D%3D%3D00%29
i-ky (Nov 09 2023 at 13:25):HellMap said:
Changeset commentiem tas nestrādās, jo title nav paša komenta
Vai vajag?
HellMap (Nov 09 2023 at 13:26):Bet tas jau pats galvenais, ko personīgi skatos. New contributor tā vispār noslēpj visu. Tagad uz katru jāspiež atsevišķi.
HellMap (Nov 09 2023 at 13:30):Citiem vārdiem - (mana personīgā) problēma jau nav tas, ka datu par daudz (es pat gribētu vēl papildus citus datus (piemēram changset autors)), bet tas, ka slikta prezentācija.
i-ky (Nov 09 2023 at 13:36):Vari uztaisīt template (priekš katra topic: #RSS > Latest OpenStreetMap Contributors (last 7 Days) - Feed fo..., #RSS > Latest OpenStreetMap OSM Changeset Discussions - Feed for..., #RSS > Opened OpenStreetMap notes (past 7 Days) - Feed for Latvia) ar tādu prezentāciju, kuru Tu nosauktu par nesliktu?
HellMap (Nov 09 2023 at 13:41):Drošvien jau varētu, bet vai to varēs implementēt?
i-ky (Nov 09 2023 at 13:43):HellMap said:
Drošvien jau varētu, bet vai to varēs implementēt?
Tad domāsim. Bet man liekas, ka jā. Man tagad ir ideja izlaist RSS body caur regexp un tad rezultātu iebāzt format stringā.
HellMap (Nov 09 2023 at 13:45):Tu domā pirms tas RSS nonāk pie plugina?
i-ky (Nov 09 2023 at 13:46):HellMap said:
Tu domā pirms tas RSS nonāk pie plugina?
Tie būs argumenti rss-bot skriptam:
rss-bot --body-regexp=... --custom-format=... ...
Man liekas, ka kaut ko tādu varētu pieņemt upstream'ā kā PR.
HellMap (Nov 09 2023 at 13:51):Tad vajadzētu gan input'am gan output'am to - jo gan ienākošais RSS ar tiem "Contributor:" sadalījumiem un plugina content = f"**[{entry.title}]({entry.link})**\n{strip_tags(body)}\n{entry.link}" kopā sataisa to visu
HellMap (Nov 09 2023 at 13:51):Es uztaisīšu vizuālus piemērus biški vēlāk. Varbūt regexus vēlāk, ja turpināsies.
i-ky (Nov 09 2023 at 13:54):HellMap said:
Tad vajadzētu gan input'am gan output'am to - jo gan ienākošais RSS ar tiem "Contributor:" sadalījumiem un plugina
content = f"**[{entry.title}]({entry.link})**\n{strip_tags(body)}\n{entry.link}"kopā sataisa to visu
Mana ideja ir tāda, ka --custom-format būs f"..." vietā, un tur būs pieejami ne tikai entry.title, entry.link, body, utt., bet arī tas, ko --body-regexp capture'os no body.
i-ky (Nov 09 2023 at 14:09):HellMap said:
slikti formatēts teksts (datums, ...)
Par datumiem iemetu ideju Zulip izstrādātājiem - https://chat.zulip.org/#narrow/stream/137-feedback/topic/Automaticaly.20render.20dates.20as.20Global.20times/near/1678923.
HellMap (Nov 09 2023 at 17:17):image.png
image.png
Kaut kā tā iedomātos. Spoiler rāmī varētu iebāzt visu pārējo/pa laukiem sadalīto.
i-ky (Nov 10 2023 at 11:04):Varbūt tomēr sākumā sazināties ar Pascal Neis un pajautāt, vai viņš būtu ar mieru uzlabot feed lasamību?
HellMap (Nov 10 2023 at 11:16):Nē, nu protams tu vari ar visiem sazināties un cerēt, ka izmainīs pirms heat death of the universe :upside_down: Bet es šaubos, ka salauzīs visiem RSS sintaksi, jo mums te gribās. Tam NEIS visi RSS ir līdzīgi formatēti. Es tāpēc uzreiz teicu, ka kasās uzrakstīt pašam nevis iesaistīt citus. Bet tikai apskatoties, pēc tam sapratu, ka plugins nevar ērti izlaist ne ienākošo ne izejošo caur kaut kādu regexu vai custom workflow.
i-ky (Nov 10 2023 at 11:40):HellMap said:
plugins nevar ērti izlaist ne ienākošo ne izejošo caur kaut kādu regexu vai custom workflow.
Nu var esošo rss-bot risinājumu, kas dara visu uzreiz, sadalīt divās daļās - lasīt RSS ar kādu no šiem, sūtīt uz Zulip ar šo - ar custom darbībām pa vidu.
HellMap (Nov 10 2023 at 11:49):Tas izklausās labāk. Pa vidu starp RSS un Zulip drošvien var regex actionu. Es neesmu neko lasījis, kā tas zulip b0ts vispār strādā. Bet ja eksistē "send zulip message", tad jau tikai credentials jāieliek?
i-ky (Nov 10 2023 at 14:52):i-ky said:
lasīt RSS ar kādu no šiem
Short-list:
i-ky (Nov 14 2023 at 13:22):i-ky said:
Varbūt tomēr sākumā sazināties ar Pascal Neis un pajautāt, vai viņš būtu ar mieru uzlabot feed lasamību?
Pamanīju, ka newline vietā Pascal izmanto </br>. Tas nav HTML. Tādu es paciest nevaru, tāpēc uzrakstīju viņam :love_letter:
HellMap (Nov 14 2023 at 13:37):Nu jā, tas nav pareizi.</br></br>Īpaši, jo tur norādīts <content type="html">
HellMap (Nov 14 2023 at 13:39):Bet nu visi modernie browseri/parseri jau sen nemēģina tādas kietas par kļudām uzskatīt. Kaut kāds XML vēl cītīgi sūdzās par visu ko. Bet (X)HTML parseri jau sen padevušies.
i-ky (Nov 14 2023 at 14:13):Hm, interesanti... https://github.com/matthewwithanm/python-markdownify/issues/58#issuecomment-1275703664
HellMap (Nov 14 2023 at 14:23):Tas ir tas, ko tas plugins izmanto?
HellMap (Nov 14 2023 at 14:25):<p>1<br/>2<br/>3<br>4<br/>5</br></p> is that a stroke you're having?
i-ky (Nov 14 2023 at 14:37):HellMap said:
Tas ir tas, ko tas plugins izmanto?
Par "plugin" Tu sauc rss-bot skriptu? Upstream'ā viņš vienkārši dzēš visus HTML tagus. Manejā fork'ā (kas tagad tiek izmantots workflow'ā, kas sūta uz #RSS) es izmantoju markdownify, kuram apakšā ir Beautiful Soup, kuram apakšā var būt html.parser (ko markdownify izmanto pēc noklusējuma) vai html5lib (ko es mēģināšu izmantot turpmāk, jo tas "saprot" </br>).
HellMap (Nov 15 2023 at 09:18):Links apēda nākamo vārdu: https://osmlatvija.zulipchat.com/#narrow/stream/388728-RSS/topic/Latest.20OpenStreetMap.20OSM.20Changeset.20Discussions.20-.20Feed.20for.2E.2E.2E/near/402098719 (arī pirms tam)
i-ky (Nov 15 2023 at 09:33):</br> fix nenostrādāja... :(
HellMap (Nov 15 2023 at 09:36):Ā, tas arī bija dēļ tā </\br\\ />. Es nepamanīju vakar RSS linkus.
i-ky (Nov 15 2023 at 11:02):i-ky said:
</br>fix nenostrādāja... :(
...un nenostrādāja tāpēc, ka nekādi </br> pat netiek līdz Beautiful Soup, tos nogriež feedparser.
Last updated: May 20 2024 at 01:52 UTC