Java grafieken voor Opendata

Weerman · 6 januari 2017 om 21:36

Alleen source code voor de RCS- ‘suite’ van HT toch?

Hacking Team Spyware Leaked Onto GitHub, And It Looks Like It’s Going To Stay There

Advanced spyware used by some of the world’s most repressive governments suddenly went open source last weekend. A 400GB cache of internal files from Hacking Team, a contractor that sold “offensive technology to the worldwide law enforcement and intelligence communites,” was uploaded to the Internet Sunday and included source code.

Of course, that source code – for software that can be called a cyberweapon – was soon uploaded to GitHub, the primary service programmers use to host code online.

De veroverde mail werd bij Wikileaks gedeponeerd. De bulk van de ontvoerde bestanden inclusief de lijstjes met wachtwoorden van Pozzi werd in eerste instantie zo gepubliceerd:

Waarna “internet” het overnam:

Massive leak reveals Hacking Team’s most private moments in messy detail

The spoils of the Hacking Team compromise go on an on, and also purportedly include the now-compromised GPG key Hacking Team engineer Christian Pozzi. The document dump—said to be 400 gigabytes in size by the person who made them public—originally came in the form of a BitTorrent download. Since then, the leak has been mirrored on sites here and here.

The privacy consultant who set up the latter site has reported receiving a legal notice demanding he remove the leaked documents. Even if the mirror sites remove the content, there’s little chance of containing the damage to the reputation of Hacking Team and its many customers. Expect this story to stick around for at least the next week or two and possibly much, much longer.

De tweede link loopt inderdaad weer dood maar het is net waar ze voor waarschuwen, het kan elders opduiken. Dan bijvoorbeeld zoeken op index of / c.pozzi/.

alkema_jm · 7 januari 2017 om 06:55

Hoi Weerman,

Alleen source code voor de RCS- ‘suite’ van HT toch?

Zaten ook executable van agents in.

The HackedTeam page doesn’t appear to violate any of GitHub’s terms of service, although there is an item that says “you may not use the service for any illegal or unauthorized purpose.” Although the Hacking Team software can be used for illegal purposes, disseminating the source code for study shouldn’t be illegal. Hacking Team might have violated international law by selling its software to repressive regimes, but its code theoretically is protected free speech.

Belangrijk bij source code is blijkbaar “free speech”. In Nederlands vrijheid om je mening te uiten.

Hacking Team could potentially request to have its code taken off GitHub by filing a Digital Millenium Copyright Act takedown request since its code presumably is copyrighted. Companies like Sony and Microsoft have used DMCA to get private code off GitHub in the past. GitHub, however, publishes all DMCA takedown notices it receives, and it does not appear Hacking Team has made a request yet. A Hacking Team spokesperson confirmed to Vice Motherboard Tuesday the 400 GB dump is legitimate.

Je ziet wel eens dat bedrijven op grond van auteursrecht een verzoek aan github doen om source distributie die iemand geupload heeft “offline te halen”. Ik geloof dat Microsoft dat heeft gedaan voor een open source Skype variant.

Wat mij van de hacker bij blijft is dat “powershell” een erg goede tool is (op Windows) om allerlei zaken uit te voeren.

De hartelijke groet Jan Marco

Weerman · 7 januari 2017 om 16:26

Jurk. Nou dan maar scannen:

MILANO

Hacking Team Malware Detection Utility

Run Milano (milano.exe, under the win32 folder) as administrator.

Scan date: 01/07/17 16:32:48
Scan duration: 25.162 minutes (1509.731 seconds)

Files requiring review as they match Hacking Team MD5 signatures
  Category (A=Detected via VirusTotal  B=Detected via manual analysis
            C=From malicious project   D=Undetermined)
-------------------------------------------------------------------------------
No files found that require review

Jan Marco, zo is het:

How can I dump emails from an Outlook .pst file into a MySQL database?

Powershell could be good for this? Eg enum emails in a folder, create sql insert for each, append insert to batch sql script:
$olApp = New-Object -com Outlook.Application
$namespace = $olApp.GetNamespace("MAPI")
$folder = $namespace.GetDefaultFolder(1)
$folder.Items  | %{ 
"insert into MyTable (MyCol1, MyCol2, etc) values ($_.Subject, $_.body, etc)"
} | out-file "outfile.sql" -Append

Lijkt op wat Share Lab deed, verwijzing van De Correspondent:

Metadata Investigation: Inside Hacking Team

We were given this pile of data and soon we realised there was another gem hidden in it. We were able to extract a substantial amount of metadata – headers from hundreds of thousands emails from their database. We got our own little portion of Big data and that is where our research began.

Do It Yourself Metadata Investigation

The concept behind data-mining and analysis operation performed by the government agencies around the world is that metadata can be analysed to reveal connections between people, and these links can generate significant investigative leads.

This is not exclusively done by government agencies, our metadata is constantly collected and examined by major Internet companies such as Google and Facebook, but for the purpose of profiling of users and transforming our behavior into profit, which reaches tens of billions US dollars per annum.

Dus doende verschenen er allerlei inzichten in de verknoopte relaties, uitermate geschikt voor de onderhavige ‘thread’ in dit forum, Java grafieken voor Opendata. Ooit door jou begonnen, weer een puntje d’r bij

Zou nog kunnen helpen bij onze verlate amateur-mini-analyse van de operatie destijds op genoemde patiënt:

Hacking Team zou via lek in netwerkapparaat zijn gehackt

Hij besloot voor de laatste optie te kiezen. Na twee weken van reverse engineering had hij naar eigen zeggen een kwetsbaarheid gevonden waarmee het apparaat op afstand kon worden overgenomen. De hacker zou vervolgens zijn exploit bij verschillende andere bedrijven hebben getest om te voorkomen dat er iets mis zou gaan en Hacking Team de aanval zou ontdekken. Om welke bedrijven en welk netwerkapparaat het gaat heeft de hacker niet laten weten, aangezien het probleem nog steeds niet is opgelost.

Een van de probeersels was namelijk alle bevestigingen per mail van bestellingen van HT bij Amazon in de metadata isoleren:

Een stuk of vijf, zes van mogelijk zo aangeschafte ‘devices’ voor de fysieke beveiliging van HT zijn hier te zien:

Cyberwar for Sale - The New York Times Magazine - Jan. 4, 2017

After a maker of surveillance software was hacked, its leaked documents shed light on a shadowy global industry that has turned email theft into a terrifying — and lucrative — political weapon.

Maar, observatie van onze held:

Hacker ‘Phineas Fisher’ Speaks on Camera for the First Time—Through a Puppet

Back before everything was on hard drives and you could hack them in your pajamas, it was in filing cabinets and you had to physically break in …

In dat geval, wat van Amazon kwam dekt natuurlijk niet het geheel af van alle hardware die HT zoal nodig had. Dus dat onderzoek zou je nog over kunnen doen en kijken of je zou kunnen nagaan welk “netwerkapparaat” het dan geweest zou kunnen zijn met hulp waarvan de indringer zich toegang kon verschaffen tot het netwerk van HT?

Zoeken op "order details" ~2 in die meegenomen bestanden:

To: vince@hackingteam.it
Hello vincenzetti david, 
Thank you for shopping with us.

Levert allerlei details op waar je je vanwege de inbreuk op de privacy snel ongemakkelijk bij voelt. In dit geval een inkijkje in de voorkeuren van de CEO van HackingTeam waar het gaat over kennisoverdracht, e-books:

- Hard Thing About Hard Things: Building a Business When There Are No Easy Answers
- The Rise of the Superman: Decoding the Mysteries of the Ultimate Human Performance
- Carry On: Sound Advice from Schneier on Security
- The Changing Face of War
- Hagakure: The Book of the Samurai
- Flow: The Psychology of Happiness
- Traders, Guns and Money: Knowns and unknowns in the dazzling world of derivatives
- The Lucifer Effect: How Good People Turn Evil
- The Rootkit Arsenal: Escape and Evasion in the Dark Corners of the System
- Scientific American - Chemistry Goes to War

Of hij daar zelf last van heeft, zich ongemakkelijk voelen bij wat klanten op hun beurt aan inbreuk kunnen maken op andermans privacy? De NYT in het hierboven aangehaalde artikel over hun indruk van de man:

Vincenzetti, now 48, is a familiar type — a ferociously competitive, driven entrepreneur whose existence is organized around his work. He has a wife, who was born in Morocco, and no children. His small, heavy-lidded eyes can make him seem sleepily blasé. On the morning we met at Hacking Team’s offices, he wore jeans, a navy-blue cardigan and a striped shirt, unbuttoned to midchest. He seemed more comfortable on his feet than sitting down. As we talked in a conference room, he periodically leapt to his feet and stalked around the table, considering in turn the espresso machine, the view from the window, a case of bottled water.

alkema_jm · 8 januari 2017 om 16:05

Hoi Weerman,

Run Milano (milano.exe, under the win32 folder) as administrator.
No files found that require review

Heb niet goed bestudeerd maar mijn virusscanner gaf op een file welke geen extensie had aan (denk dat het een Linux executable was) dat het verwijderd moest worden.

hacker-phineas-fisher gaf in zijn beschrijving van het hacken van Hackingteam wel aan dat je met Tor moet uitkijken, wat ze doen analyse op de metadata.

De hartelijke groet Jan Marco

Weerman · 8 januari 2017 om 19:04

Misschien waarvoor door Rook Security gewaarschuwd werd destijds:

Note: It is expected behavior for this file to be flagged by some AV vendors as malicious.

Het was eigenlijk maar een geintje, ik deed alsof ze mij moesten hebben.

Veel zou ik er verder niet van verwachten, dat ding vergelijkt immers een lijst ‘hashes’ uit dat HT-rampjaar, 2015, met die van de bestanden die bij jou staan. Wie zou die narigheid nu nog ongewijzigd gaan gebruiken?

Plus dat ze daarna een aantal van die gaten waardoor het kon werken in de loop van de tijd zijn gaan dichten, weer een gunstige bijwerking van al die ellende.

Weerman · 10 januari 2017 om 22:14

Derde en laatste deel komende zondag:

Riphagen

Nu de oorlog voorbij is en Jan overtuigd is van Riphagens dood, sluit hij zich aan bij de net opgerichte Bureau Nationale Veiligheid onder leiding van Louis Einthoven. Deze dienst concurreert met die van Wim Sanders en Einthoven gebruikt Jan om Sanders in te kapselen in zijn nieuwe organisatie.

Intussen keert Riphagen in het geheim terug naar zijn vrouw en kind in Amsterdam. Hij is bang om als verrader opgepakt te worden en verzint een plan om de vete tussen Sanders en Einthoven voor eigen gewin te gebruiken. Maar dan mag Jan niet te weten komen dat hij nog leeft…

Jan? Heel Holland Bakt er een potje van, de regisseur:

Riphagen: meeleven met een gehate jodenjager

Alle belangrijke personages in de film zijn historisch, behalve de nieuwe protagonist, de fictieve Amsterdamse rechercheur Jan van Liempd, die op Riphagen jaagt om hem achter de tralies te krijgen.

Het mooie van deze opzet is dat je een ‘empathie-fucker’ introduceert, volgens Kuijpers: “Onwillekeurig ga je als toeschouwer toch hopen dat Riphagen, de prooi, uit handen blijft van de jager.”

Voor een keer allemaal zonder de destijds kennelijk verplichte hoed, in volgorde van al dan niet overlijden, Riphagen (1973), Einthoven (1979), Sanders (1995), Koningsbrugge (----):

Einthoven figureerde al in dat AIVD-onderwerp vorige week. Voor hem niet van toepassing:

We zoeken verschillende typen figuranten tussen de 20 en 80 jaar oud met zeer specifieke kenmerken

De reden hiervoor is dat we kleding gebruiken die echt uit de Tweede Wereldoorlog komt en we hebben alleen kleding in bepaalde maten. Je kan alleen mee doen als je voldoet aan de eisen qua lengte en maten, omdat je anders niet in de kleding past.

Je bent tussen de 1.65 en 1.85 meter lang

Je hebt confectiemaat 48, 50 of 52

GEEN zichtbare tatoeages of piercings

Je bent eventueel bereid om jouw haar aan te laten passen (bijv. je haar iets korter te laten knippen).

Je bent bereid baard of snor af te scheren

Wat biedt Pupkin?

Een vergoeding van 37,50 euro p/dag. Ook is er een beperkte vergoeding voor de kleding doorpas.
Reis- en parkeerkosten kunnen helaas niet worden vergoed.

Aanstaande zondag dan de ontknoping, Productietype: Speelfilm, Genre: Drama:

“Alle belangrijke personages in de film zijn historisch” … Zonder een Jan het toch spannend maken:

De affaire-Sanders. Spionages en intriges in herrijzend Nederland

Het zal geen verbazing wekken dat Wim Sanders, de man die - volgens menigeen té - veel wist, centraal kwam te staan in geruchtmakende affaires als de affaire King Kong (1986) en de affaire Sanders (1995).

W.F. Hermans in 1962, ‘Destijds putte ik veel van mijn stof uit de rapporten van de Parlementaire Enquêtecommissie, die jarenlang mijn dagelijkse lectuur zijn geweest. Een onuitputtelijke bron van inspiratie’:

Boekverslag Nederlands - King Kong door Willem Frederik Hermans

Motivatie: Ik heb dit boek gekozen omdat ik dringend op zoek was naar een 2e boek van Hermans en dit boek stond toevallig thuis in onze boekenkast. Ook spraken de titel en de dikte van het boek mij aan.

Samenvatting: Het verhaal begint als een willekeurig zoontje, type boekenwurm, aan zijn vader vraagt: ‘Wat is nou eigenlijk een democratie?’ Waarop de vader antwoord: ‘Dat is als de waarheid voor iedereen is.’ Hierop volgt een discussie waar de vader probeert uit te leggen wat een democratie is en waarom de waarheid niet altijd boven tafel komt. Het zoontje vraagt om een voorbeeld waarbij de waarheid niet boven tafel is gekomen.

Op het vierde toneel: In het begin staan Mr. Einthoven, van het hoofdbureau nationale veiligheid, en Klaas de Graaf wat te speculeren over data waar King Kong geweest zou moeten zijn en waar hij gevangen gehouden werd. In dit stuk worden niet echt dingen verteld die van groot belang zijn voor de verhaallijn. Als laatste komt Prins Bernhard op het toneel. Hij vertelt dat King Kong voor de Engelsen werkte maar ook voor de Duitsers toen zijn broer gepakt was door de nazi’s. Hij zegt dat ze dachten dat King Kong ‘in orde’ was.

Eigen mening: Ik ben met goede moed aan dit boek begonnen maar dit heb ik helaas niet het hele boek vol kunnen houden. Het boek is voor mij veel te documentair geschreven. Hermans had er wat mij betreft wel een duidelijke eigen interpretatie aan mogen geven.

Bedriegers en bedrogenen, over het werk van Willem Frederik Hermans:

Waarheid en dromen - Over King Kong

Hij uit kritiek op het werk van de Enquêtecommissie en wijst erop dat er een belangentegenstelling bestond tussen de Nederlanders en de Engelsen.

De Nederlanders hadden er belang bij aan te tonen dat het vaderlandse verzet en het militaire bevel (met name de persoon van Prins Bernhard waar King Kong mee in contact gestaan had) niet beticht konden worden van stommiteiten en verraad waardoor de vijand de plannen voor de luchtlandingen bij Arnhem in handen kon krijgen.

De Engelsen hadden er belang bij de schuld van het militaire fiasco van het Arnhem-offensief van hun militaire bevelhebbers (Montgomery!) af te schuiven en ondersteunden daarom graag de verraadtheorie.

Duitse Wikipedia:

Nach Kriegsende

Nach dem Krieg wurde Dries Riphagen wegen des Verrates von Juden gesucht und von der Staatsanwaltschaft als verantwortlich für den Tod von mindestens 200 Menschen angesehen.

Riphagen nahm Kontakt mit dem ehemaligen Widerstandskämpfer und Polizeichef von Enschede auf, Willem Evert Sanders, der mit ihm einen Handel machen wollte. Riphagen wurde nicht an die offiziellen Behörden übergeben, sondern im Austausch von Informationen über Kollaborateure und deutschgesinnte Netzwerke als „Privathäftling“ unter Hausarrest gestellt.

Im Februar 1946 entkam er; Gerüchten zufolge wurde er von seinen Unterweltfreunden in einem Leichenwagen über die Grenze gebracht. Nach neueren Erkenntnissen wurde die Flucht mit dem Leichenwagen von zwei Mitarbeitern des niederländischen Geheimdienstes Bureau Nationale Veiligheid, Frits und Piet Kerkhoven, organisiert. Von Belgien aus fuhr er nach späteren Aussagen seines Sohnes Rob in drei Monaten mit dem Fahrrad nach Spanien.

Voeg toe aan winkelwagen:

Goed en fout na de oorlog

Wat Middelburg en Ter Steege ook duidelijk maken is dat Riphagen schokkend genoeg hulp kreeg van de Nederlandse veiligheidsdienst om naar het buitenland te vluchten. Hij sterft in 1973 zonder ooit te zijn gestraft.

Rechercheur Kerkhoven had nog een andere reden om Dries Riphagen het land uit te werken. Hij had een oogje op Riphagens vrouw en kreeg later ook een relatie met haar, die duurde tot zijn dood.

Bart Middelburg en René ter Steege - Riphagen; de Amsterdamse onderwereld 1940-1945
Levensbeschrijving van de Nederlandse (oorlogs)misdadiger Dries Riphagen (1909-1973)
Uitgeverij De Arbeiderspers, Amsterdam (1990)

alkema_jm · 11 januari 2017 om 05:11

Hoi Weerman,

Ik hoorde op mijn werk ook dat AIVD elk jaar een kerstpuzzel heeft. Je hebt nog paar dagen (uiterlijk 16 jan) om hem op te lossen.

Ik heb zelf ook minder moeilijke puzzel voor jou

Ik neem remoteaccestool pagina even als voorbeeld. Hierin staat tekst en op eind staan verwijzing naar verschillende bronnen. De eerste link verwijzing is deze.. De vierde linkverwijzing werkt niet meer. Ik ga dus liever voor een hashcode die specifiek de file identificeert, dan voor een harde URL link naar file die eigenlijk van alles kan zijn/worden. Indien een hacker de file heeft geupdatet.

Ik zie zo´n remoteaccestool pagina als een pagina in onze lokale wikipedia sql structuur.

Ik zou graag deze pagina in versiebeheertool Fossil formaat zetten. De links naar de bronnen in een hashcode omzetten en document er bij gaan halen en in de wikipedia sql structuur onderbrengen.

Je hebt blobveld die een fossil file bevat. In deze fossil file zitten 1 of meerder pagina´s maar ook source code en andere documenten. N.B. De fossil file is eigen een SQLite database file.

De oude foondump.nl website bevatte een paar pagina´s met uitleg en een paar download links naar source code/executables. Deze pagina´s en alle source code en executables kan je m.i. gewoon in 1 file in 1 blobveld onderbrengen. Je moet alleen een viewer maken die deze logica begrijpt en op de juiste manier de pagina´s weer op scherm tovert.

Ik ben ook bezig om categoriesysteem bijelkaar te sprokkelen, de remoteaccestool pagina kan je dan ook categoriseren. Die ook naar wikipedia remoteaccestool kan laten wijzen.

Om pagina´s te maken wil ik graag Scribus gebruiken. Het slaat document wel in XML op. Microsoft Word doet dat ook. Je kan met Scribus ook pagina in PDF formaat omzetten. Ik heb Scribus nog niet echt gebruikt, dus moet nog ervaren wat het allemaal kan.

Weerman, Zie jij net als mij de mogelijkheid om Scribus te gebruiken om de wiki pagina´s mee te bewerken. Scribus is in C gebouwd, echter gebruikt ook Python om script uit te voeren.

N.B. Je kan gesprokkelde categoriesysteem ook weer in Scribus inbouwen om artikelen/paginas direct onder juiste categorie te gaan hangen. Je vrienden van platform kunnen de nieuws artikelen dan weer op de verschillende categorieën ´abonneren´.

De hartelijke groet Jan Marco

Weerman · 11 januari 2017 om 18:49

Antwoord, Interplanetary Fle System:

IPFS

It’s not enough to organize the world’s information—we need to store it in a way the world can remember it. IPFS provides deduplication, high performance, and clustered persistence.

IPFS and the Blockchain are a perfect match! You can address large amounts of data with IPFS, and place the immutable, permanent IPFS links into a blockchain transaction. This timestamps and secures your content, without having to put the data on the chain itself.

Each file and all of the blocks within it are given a unique fingerprint called a cryptographic hash.

IPFS removes duplications across the network and tracks version history for every file.

Each network node stores only content it is interested in, and some indexing information that helps figure out who is storing what.

When looking up files, you’re asking the network to find nodes storing the content behind a unique hash.

Every file can be found by human-readable names using a decentralized naming system called IPNS.

Waren wij niet gebleven bij “inlichtingendiensten, de mensen van” … Zal ik een bruggetje zoeken, gisteren daarover geciteerd maar Hermans schreef met zijn achtergrond van (fysisch) geograaf ook over “puin uit de ruimte”:

Nooit Meer Slapen - Willem Frederik Hermans (1966)

Ik wil geen stenen vinden die een ander al in een doosje gedaan heeft. Nog sterker: ik wil geen stenen vinden die al eerder op aarde zijn geweest. Ik zou het liefst een meteoriet vinden, een brok afkomstig uit de kosmos en ik zou willen dat het uit een materiaal bestond, dat op aarde nog nooit was aangetroffen. De steen der wijzen, of minstens een mineraal dat naar mij zou worden genoemd: Issendorjiet.

Alfred Issendorf is een 25-jarige student geologie die een expeditie naar Noors Lapland (Finnmarken) onderneemt voor zijn promotieonderzoek. Doel van het onderzoek en zijn voettocht is om de hypothese van zijn promotor, professor Sibbelee, te bewijzen, die inhoudt dat de ronde gaten die ter plekke overal in de bodem te vinden zijn, veroorzaakt zijn door meteorietinslagen.

Voor deze objecten is eveneens een nummer- en naamsysteem ontworpen:

Internationale Astronomische Unie

De Internationale Astronomische Unie (IAU) houdt zich onder andere bezig met de naamgeving van astronomische objecten. Iedereen kan daartoe voorstellen indienen, astronomen maar ook leken. Voordat de naam van een persoon kan worden gegeven aan een object, moet hij of zij minstens drie jaar zijn overleden.

Hermans overleed in 1995, in 2010 kan het dan:

12175: Wimhermans (3197 T-3)

Discovered 1977 Oct. 16 by C. J. van Houten and I. van Houten-Groeneveld on Palomar Schmidt plates taken by T. Gehrels.

Dutch author Willem Frederik Hermans (1921-1995) was considered one of the most important writers in the Netherlands in the postwar period. His oeuvre includes novels, short stories, plays, along with poetry and essays, as well as philosophical and scientific works. The name was suggested by F. Israel.

Het betreffende overzicht telt 357 planetoïden met namen die op de een of andere manier verband houden met Nederland. Vele zijn vernoemd naar sterrenkundigen (en enkele van hun familieleden), maar ook andere wetenschappers, musici, schrijvers en geografische namen komen aan bod.

alkema_jm · 14 januari 2017 om 11:33

Hoi Weerman,

IPFS1: It’s not enough to organize the world’s information—we need to store it in a way the world can remember it. IPFS provides deduplication, high performance, and clustered persistence.

IPFS and the Blockchain are a perfect match! You can address large amounts of data with IPFS, and place the immutable, permanent IPFS links into a blockchain transaction. This timestamps and secures your content, without having to put the data on the chain itself.

Lijkt mij goed plan ook daar goed naar te kijken.

Als je pagina in Scribus opslaat, dan staat er XML in de het bestand. Deze bestanden wil ik in een blob veld in MySQL opslaan:

Ik ga nog kijken of ik Wikipedia pagina’s in Scribus kan laden. Laden zag m.i. wel lukken maar zal er ook een beetje moeten uitzien.

Je kan master page’s maken (zie tijdstip 14:36) van Scriber youtube filmpje.

Denk trant: Je maakt alle pink cdfoon records een ‘wiki-pagina’ aan in MySQL, welke je gedetineerd hebt met een “masterpage company”. In elke pagina de Icons en cdfoon subscriber record info er bij laden.

Je kan ook ‘wiki-pages’ aanmaken voor white, afgeleid van master page “white”.

De hartelijke groet Jan Marco

Weerman · 14 januari 2017 om 23:30

JM, wat sjiek van je om nog even door te gaan op W.F. Hermans.

In jullie beider bewondering voor Multatuli en diens Max Havelaar natuurlijk:

En daarin sta je ook weer niet alleen, nog iemand met de vraag wie was hier eigenlijk de kommaneuker:

In een stuk van in dit geval Piet Grijs, schreef onder verscheidene (zeker 60) pseudoniemen, zoals Battus:

Vrijdag? Dit moet cultuur zijn! - Hugo Brandt Corstius - Querido - Singel Uitgeverijen - 2013

Piet Grijs: `Jonge Nederlanders weten niet beter, maar toch is het een godswonder: elke vrijdag, lente, zomer, winter en herfst, geeft de Volkskrant en geeft ook NRC Handelsblad een heel cultureel bijvoegsel aan de krant mee. Voor niks.

Joh, jij, dat je dat zag, zo bedoel je:

SELECT   white_subscriber.streetname
FROM     white_subscriber
GROUP BY white_subscriber.streetname
HAVING   white_subscriber.streetname Like 'multatuli*' 
OR       white_subscriber.streetname Like 'max havelaar*' 
OR       white_subscriber.streetname Like 'douwes dekker*';

Ja hoor, is zo, in veel gemeenten staken ze de koppen bij elkaar:

streetname
Douwes Dekkerlaan
Douwes Dekkerstraat
Max Havelaarburg
Max Havelaardreef
Max Havelaarlaan
Max Havelaarstraat
Max Havelaarweg
Multatulihof
Multatulihove
Multatulilaan
Multatulipad
Multatuliplantsoen
Multatuliplein
Multatulistraat
Multatuliweg

alkema_jm · 15 januari 2017 om 09:37

Hoi Weerman,

Ik denk aan dat je volgende pagina in ‘1 take’ in Scribus zou moeten kunnen laden:

Rechterkant bevat m.i. de subcriber (o.a. cdfoon) data. Wat je m.i. zou kunnen aanvullen met Linkedin en Facebook info.

Ik denk aan drie pagina’s voor Ancilla. Namelijk publieke pagina (door blockchain geupdatet) , pagina voor haar vrienden (door haar gemodereerd) en een persoonlijke pagina (door haar zelf aangepast).

Als ik pagina in Scribus inlaadt ziet het er (nog) niet uit. Mischien moeten we over gaan naar vector (bijvoorbeeld SVG) formaat.

Een ander project Orange vind ik ook wel leuk. Vooral de grafisch interface vind ik mooi. Programma is gemaakt in Python.

Op Youtube Orange filmpje wordt beetje uitgelegd wat het kan.

Persoonlijk ga voor de onderkant liever voor R (in C++). Echter interface is best wel inspiratiebron voor mij.

De hartelijke groet Jan Marco

alkema_jm · 21 januari 2017 om 09:04

Hoi Weerman,

Ik ben momenteel veel met verschillende zaken bezig. Probeer vandaag te beginnen om de MaidSafe (Rust) omgeving op te bouwen. Ik zie dat Clang ook compiler is om mee te nemen. Clang is m.i. nog niet de vervanger van Microsoft cl.exe, maar ze timmeren hard aan de weg.

Elke dag probeer ik (een ander) QT programma te compileren. Loop ieder keer vast in iets anders.

Ik ben ook op zoek naar programma die naast Scribus gezet zou kunnen worden. Ben nu ook Bluefish gestuit. Ik wil graag wikipedia pagina in zo’n programma laden.

Wat ik leuk vind is dat BlueFish ook Facebook en Wikipedia pagina heeft naast hun officiële website. Ik zie de koppeling met de Cdfoon als je ze zou willen opzoeken en/of bellen. Bluefish heeft wel een GTK GUI:

De hartelijke groet Jan Marco

P.S. Ik zie wel integratie van MoneyManagerEx (wxwidgets) en KeePass (heeft een QT en een MFC variant). Bank transacties en Passwords kluis in een programma integreren. Database is een ge-encrypte SQLite database.

Weerman · 21 januari 2017 om 17:13

Hoi Jan Marco. Jouw laatste bijdrage bestaat minus verwijzingen uit pak 'em beet, 200 woorden? Geen verwijt, je staat er alleen van te kijken hoeveel straatnamen daar uit komen:

Term    Suffix  Straatnaam    Vanpc   Totpc   Woonplaats
--------------------------------------------------------
alkema  straat  Alkemastraat  9865BC  9865BD  Opende
bank    ven     Bankven       5052BA  5052BD  Goirle
groet   straat  Groetstraat   1024TV  1024VG  Amsterdam
hard    veld    Hardveld      5482DG  5482DH  Schijndel
keer    end     Keerend       6171VR  6171VV  Stein
kluis           Kluis         6165EL  6165EN  Geleen
maar    land    Maarland      3075JS  3075JW  Rotterdam
rust    weg     Rustweg       7608RJ  7608RM  Almelo
veel    akker   Veelakker     5625WJ  5625WK  Eindhoven

Door Naam-in-Straatnaam = Term te doen. Met InStr(Naam, Term) krijg ik er nog meer, 5500:

alkema  heerd   Galkemaheerd    9736BE  9736BJ  Groningen
alkema  pad     Wobbe Alkemapad      -  9791DH  Ten Boer
alkema  straat  Willem Balkemastraat -  9628CX  Siddeburen

En doe ik ook weer mee:

weerman	straat	Zweermanstraat	7582AM	7582AN	Losser

Die suffix er niet zomaar met de haren bij slepen:

Achtervoegsel     N
akker...........567
end.............138
heerd............63
land............640
pad............6135
straat........30964
veld............927
ven.............358

N = frequentie van voorkomen naar gelang aantal wegvakken met unieke naam (144500) in NWB - Wegen.

Meer dan idem in openbareruimtenamen (129000) ontleend aan nummeraanduiding in BAG-Adressen.

Maar weer minder dan de unieke namen (158500) in 9999OPR08122016.zip, “Naamgeving uitgegeven”.

“Wegvakken” gelooft niet zo in bruggen, heeft daar veel minder van, bijvoorbeeld geen “Alkemadebrug” waar de Basisregistratie Adressen die wel heeft, ook al wordt daar niet op gewoond:

identificatieopenbareruimte          0546300000001839
aanduidingrecordinactief             N
aanduidingrecordcorrectie            0
openbareruimtenaam                   Alkemadebrug
verkorteopenbareruimtenaam
officieel                            N
begindatumtijdvakgeldigheid          2010010500000000
einddatumtijdvakgeldigheid
inonderzoek	                     N
openbareruimtetype                   Kunstwerk
documentdatum                        20100105
documentnummer                       BW 09.1546
openbareruimtestatus                 Naamgeving uitgegeven
identificatiegerelateerdewoonplaats  2088

Als “Pioenroos” op is zullen overleden schrijvers van die “openbare ruimtes” naar hen vernoemd zien worden:

Max Havelaardreef
4906 HA Oosterhout Nb
Verkocht onder voorbehoud

€ 595.000 k.k. Maandlasten berekenen

Omschrijving: Dit statige pand in de jaren 30 stijl, bouwperiode 1991-2000, onder architectuur gebouwde vrijstaande herenhuis met zadeldak ligt op de gewilde locatie in Vrachelen 2.

Met gemengde gevoelens. E. Douwes Dekker: “Onder architectuur gebouwd vrijstaand herenhuis?”.

De jongens van “Wegvakken” bij Rijkswaterstaat:

Dat er maar geen kennis verloren gaat:

'[B23].Formula = "IF(MAX($C$2:$C$26)=C23;$E$14;"""")"    
'[C23].Formula = "=doGelijkenis(A23;$E$14)"
'
'http://www.accessmvp.com/tomvanstiphout/simil.htm
'
Function doGelijkenis(s1 As String, s2 As String)
  For Each t In Range("Achtervoegsel")
    If Right$(s1, Len(t)) = t Then
      naamzonderachtervoegsel = Left$(s1, Len(s1) - Len(t))
      Exit For
    End If
  Next
  doGelijkenis = fnSimil_w(naamzonderachtervoegsel, s2)
End Function

Mossel Makelaardij:

Willem Frederik Hermansstraat
1011 DG Amsterdam

€ 800.000 k.k. Maandlasten berekenen

Vanuit de woonkamer ziet u cruiseschepen, binnenvaartschepen en het pontje voorbij varen. Op ieder moment weer een ander uitzicht. Door de goede isolatie is dit appartement een rustpunt in dynamisch Amsterdam, met je auto veilig in de garage, CS naast de deur en 1001 terrassen en winkels die op je wachten.

alkema_jm · 23 januari 2017 om 17:45

Hoi Weerman,

Erg bedankt voor je vorige post. Heb net nieuwe ppc gekocht met twee interne harddisken. 250 Gb SSD en 1 Terabyte gewone harddisk, dus krijg weer beetje lucht om programma’s/data te ‘installeren’.

Hoe de KvK een privacyhel creëert voor zzp’ers. Heb je jezelf ooit ingeschreven bij de Kamer van Koophandel? Grote kans dat je privégegevens voor iedereen vindbaar zijn, en dat altijd blijven.

Veel zzp’ers schrijven zich bij het Handelsregister van de KvK in met hun woonadres en privénummer. Daar is een belangrijke reden voor: het is gemakkelijk. Zo kun je direct met je eigen bedrijfje aan de slag, vanuit huis en met je oude vertrouwde telefoonnummer.

Eigenlijk geeft RTL-Z aan dat je als ZZp-er je beter kan verhullen wie je bent. Indien jij een zeer goed gerespecteerd ondernemer bent zou daar misschien wel iets in kunnen zitten, maar als je (ook wel, ‘waar gehakt worden vallen spaanders’) minder goed werk levert dan wil je m.i. wel weten wie persoon is:

Dus ik ga voor Wikipedia pagina voor elk persoon 1 die the crowd kan gaan (aan)vullen.

De hartelijke groet Jan Marco

Weerman · 23 januari 2017 om 22:57

In dat geval, jij wilt verder met “hodoniemen”, straatnamen, ik deed daar iets te makkelijk over.

Bijvoorbeeld dat met die ‘suffix’, achtervoegsels, dat is wel een ding:

Veel straatnamen hebben de vorm van een samenstelling: bepalend element + grondwoord (Schipholweg, Steenstraat).

Ik had binnen de kortste keren 350 verschillende achtervoegsels verzameld die honderd- of duizendvoudig in de weg zaten als ik een schrijver uit een straatnaam probeerde te halen. In het genoemde “Wegvakken” komt “-straat” 244000 keer voor en “-weg” 185000 keer.

Anders dan ik vanwege de eenvoud liet zien, bij het isoleren van zo’n grondwoord, bijv. “straat” uit zo’n straatnaam moet ook gelet worden op de lengte van de string:

Loop ze in aflopende volgorde van aantal posities af bij het bepalen van de aanwezigheid van zo’n term, anders eindig je met “Eerste Bloemdwars” in plaats van het gewenste “Eerste Bloem”.

Gaat het zoals ik het deed ook goed als je van achteren komt bij hem van “De avonturen van Pinkeltje”? Ja:

openbareruimtenaam	postcode	woonplaats
Dick Laanplein          1521HT          Wormerveer

Namen van andere overleden coryfeeën als Peter van Straaten en de Boudewijn Buchbrug, geen probleem.

Lijkt wel vergeefse moeite, uitdrukkelijk op naam-in-een-straatnaam zoeken, zonder het “straat”-deel?

Hier met behulp van ‘SimMetrics’ voor schrijver “Willem Frederik Hermans”, eerst met “straat”:

JaroWinklerSimilarity: Willem F. Hermansstraat (0,8990622)
LevensteinSimilarity:  W Frederik Hermansstr (0,6521739)
MongeElkanSimilarity:  W F Hermanszijde (1)

En dan zonder:

JaroWinklerSimilarity: Willem F. Hermansstraat (Willem F. Hermans, 0,9349105)
LevensteinSimilarity:  W Frederik Hermansstr (W Frederik Hermans, 0,7826087)
MongeElkanSimilarity:  W F Hermanszijde (W F Hermans, 1)

De uitkomst van de drie algoritmes verschilt onderling meer dan dat het “grondwoord” invloed lijkt te hebben.

Een van de ‘methods’ in deze ‘SimMetrics_Wrapper’ is ‘LevensteinSimilarity’. Levenstein?

Detecting Twitter bots

For example, using the Levensthein distance between tweets to identify bots, aiming to classify bots quickly with minimum information.

Levensthein?

Levenstein - About 6,470 results (0.62 seconds)

Levensthein - About 2,710 results (0.49 seconds)

Google: Did you mean: “Levenshtein”?

Levenshtein - About 344,000 results (0.45 seconds)

Showing results for “Levenshtein distance”, demo:

Uitleg en demonstratie bij www.let.rug.nl:

Levenshtein

Levenshtein distance is obtained by finding the cheapest way to transform one string into another. Transformations are the one-step operations of (single-phone) insertion, deletion and substitution. In the simplest versions substitutions cost two units except when the source and target are identical, in which case the cost is zero. Insertions and deletions costs half that of substitutions.

Maar om terug te komen op het nut van straatnamen ontleden in “bepalend element” en “grondwoord”, het kan helpen bij het gebruik van weer andere methoden dan de drie bovengenoemde en die in de vorige post, LCS (longest common substring-search):

Op het terrein van ‘Inexact Pattern Matching’ wordt genoeg onderzoek gedaan naar geschikte principes:

Test Similarity

String 1: W Frederik Hermansstr
String 2: Willem Frederik Hermans

The results are then:

Levenshtein 65
Needleman-Wunch 74
Smith-Waterman 81
Smith-Waterman Gotoh 81
Smith-Waterman Gotoh Windowed Affine 81
Jaro 75
Jaro Winkler 78
QGrams Distance 67
Block Distance 33
Cosine Similarity 33
Euclidean Distance 18
Chapman Length Deviation 91
Overlap Coefficient 33

Net als bij “Levenshtein” ook hier woordblindheid onder professoren. Boven de pagina niet “Similarity” maar:

<title>String simularity</title>

Weerman · 28 januari 2017 om 10:59

Jan Marco, “Wegvakken”, bis! Jij zegt saai maar iemand moet het doen?

Want hoe komt een gemeentelijke straatnamencommissie aan namen van schrijvers en dichters? Van Nederlandse schrijvers en dichters maar ook uit het buitenland:

straatnaam             postcode   woonplaats
-----------------------------------------------
Agatha Christiesingel   1102VT    Amsterdam
Ernest Hemingwaypark    2553DC    's-Gravenhage
Franz Kafkaweg          3446ZK    Woerden
Hermann Hesse-erf       3315BJ    Dordrecht
Virginia Woolflaan      5629MT    Eindhoven

Van deze lijst geprikt, ik dan, om mijn voorbeelden te zoeken:

- 1001 Books You Must Read Before You Die

Overlappende opsomming bij Wikipedia:

- Canon van de Nederlandse letterkunde

- Lijst van Nederlandstalige schrijvers (proza)

- Lijst van Nederlandstalige dichters

- Auteurs Negentiende, Twintigste en Eenentwintigste Eeuw bij DBNL raadplegen:

Over DBNL

De Digitale Bibliotheek voor de Nederlandse Letteren (DBNL) is een digitale collectie van teksten die behoren tot de Nederlandse letterkunde, taalkunde en cultuurgeschiedenis van de vroegste tijd tot heden.

Uitbesteed aan de Koninklijke Bibliotheek door de Maatschappij der Nederlandse Letterkunde:

De digitale bibliotheek

De activiteiten van de DBNL werden door de Nederlandse en Vlaamse overheid gezamenlijk bekostigd via de begroting van de Nederlandse Taalunie.

Al bekostigd, dan zullen NL-ingezetenen toch wel een deel van de lijst van deze website mogen schillen?

Als alleen overleden schrijvers een kans maken op hun naam als straatnaam, sorteer optie s dan niet g=geboren maar o=overleden, voor aflopend overlijden &s=o_r doen en met deze instelling het systeem met p max=235 terug afvragen tot aan 1817:

Set d = CreateObject("Scripting.Dictionary")
With CreateObject("InternetExplorer.Application")
  For i = 1 To 235
    .Navigate "http://www.dbnl.org/auteurs/index.php?t=l&s=o_r&p=" & i
    Do Until .ReadyState >= 4
      DoEvents
    Loop
    r = Split(.Document.body.innerHTML, "<tr class=""linked"">")
    ' <td><a href="/auteurs/auteur.php?id=????###">Achternaam, Voornaam</a>
    For j = 1 To UBound(r)
      s = Split(r(j), "</a>")(0)
      d(Mid$(s, 37, 7)) = Mid$(s, 46)
    Next
  Next
End With
[A1].Resize(d.Count, 1).Value = Application.Transpose(d.Keys)
[B1].Resize(d.Count, 1).Value = Application.Transpose(d.Items)

Levert - onhandig voor straatnamen - achternaam, voornaam. Maar goed, bij het Kommaverkeerdplein gaat u rechtsaf en ik heb nu 23500 schrijversnamen in Excel. Waarvan 1% dubbel, wel steeds met een unieke sleutel; sukkels zijn het, die Alpha’s, toch:

stra004   Straaten, Peter van
wisp002   Wispelaere, Paul de
well007   Welling, Jules
aich001   Aichinger, Ilse
rueb001   Ruebsamen, Helga

Kenmerkende ‘id’ behouden voor eventueel later nog eens teruglinken naar detailinformatie:

http://www.dbnl.org/auteurs/auteur.php?id=stra004

Kunnen schrijvers zichzelf ook op deze manier vinden? Mits niet overleden voor de introductie van de computer, was zo iemand wel eens handig met dat ding? Van rekenmachine tot taalautomaat:

Icoon van de computerlinguïstiek

Brandt Corstius begon zijn carrière als computationeel taalkundige in de volle overtuiging dat hij persoonlijk het levenslicht zou schenken aan machinaal vertalen. “Dat varkentje zou ik wel eens wassen.”

Volledige helderheid over de totstandkoming van resultaten wordt maar op één manier bereikt: als de volledige broncode wordt meegeleverd. En zo worden vele pagina’s van Brandt Corstius’ proefschrift gevuld met de code van zijn programma’s.

Schrijver en dichter Gerrit Krol schreef “60.000 uur; Een autobiografie” over zijn werk als automatiseerder:

Alles voor elkaar

Zijn werk voor de NAM werd ingehaald door software van SAP. Krol in 2001 daarover: ‘Wij hadden alles voor elkaar, en toen kwam SAP. Blij dat ik wegga, dacht ik toen. Leuk is het niet als je je eigen programmatuur vervangen ziet worden door iets anders. Over SAP was men erg enthousiast.’

Weten we niet, of daar al SEQUEL aan te pas kwam, Structured Query Language (SQL), computertaal voor het opvragen van gegevens in een relationele databank, befobbeld:

-- 
-- Dumping data for table `lyrics`
-- 

INSERT INTO `lyrics` VALUES (57489,'Klapvee','De Heideroosjes','Fifi', ' ... <br>\n');

Zie hier. SQL, zonder omwegen ook direct inzetbaar door de onderhavige beroepsgroep:

UPDATE HAIKU SET SYLLABLES = 7 WHERE LINE = 2;

Terug naar straatnamen geven, zo iemand als Krol hoeft alleen maar te overlijden en dan wordt het wel wat?

identificatieopenbareruimte            0014300010785099
aanduidingrecordinactief               N
aanduidingrecordcorrectie              0
openbareruimtenaam                     Gerrit Krolbrug
verkorteopenbareruimtenaam
officieel                              N
begindatumtijdvakgeldigheid            2010032300000000
einddatumtijdvakgeldigheid
inonderzoek                            N
openbareruimtetype                     Kunstwerk
documentdatum                          20100323
documentnummer                         2194072
openbareruimtestatus                   Naamgeving uitgegeven
identificatiegerelateerdewoonplaats    1070

1070 is Groningen stad en wat is-ie lelijk o/o

Overlijden helpt maar gezien de administratieve “begindatumtijdvakgeldigheid” strikt genomen niet vereist:

Volledige naam  Gerrit Krol 
Geboren         1 augustus 1934, Groningen 
Overleden       24 november 2013, Groningen

Proza-isch, de ponton- of schipbrug die zijn naam draagt was versleten en inmiddels aan vervanging toe:

Nieuwe Gerrit Krolbrug – Klaar in 2020

Het gaat om een zogenaamde ‘tafelbrug’ met twee rijbanen, twee fietspaden en voetpaden. De nieuwe brug vergt een investering van 17,7 miljoen euro, maar de bijdrage van de gemeente Groningen blijft beperkt tot een half miljoen euro.

De beweegbare brug krijgt in geheven stand een hoogte van negen meter. De doorvaarthoogte op de vaarweg tussen Lemmer en Delfzijl moet zo hoog worden in verband met de steeds groter wordende beroepsvaart.

Weerman · 3 februari 2017 om 17:23

Foto, PTT-Postkantoor (1936):

↑
Achter de balie een tweevoudige voorgeïnstalleerde lege netwerkaansluiting.

Middenboven in de foto ook dubbelzijdig promotiemateriaal voor de KLM-verbinding Amsterdam-Batavia.

Gedempte Amsterdamsche Gracht, Waterlooplein, Utrechtsche straat … Waar ben ik?

In Nederlands-Indië, straatnamen-index bij een “Plattegrond van Batavia” in 1947:

Een enorm wingewest en in het moederland daarom de band met de archipel laten terugkomen in de naamgeving van hele wijken. Bijvoorbeeld de veelheid aan “Java”-straten, hier op evenzovele foto’s.

De tirannie voorbij? Neen:

De dominante invloed van het Staatsbedrijf der PTT

Op basis van de hier en daar al voorkomende conventies, bereikte men volledige overeenstemming met betrekking tot de conventies voor de uniforme schrijfwijze van adressen, en dus ook straatnamen.

Deze standaard (de PTT-conventies) werd ontwikkeld voor de uniformering van ongeveer 15,5 miljoen adressen en als bindend voorgeschreven voor het totale PTT-bedrijf, inclusief Rijkspostspaarbank, Postcheque- en Girodienst, Dienst Luister- en Kijkgelden (later Dienst Omroepbijdragen) en het Telefoonincassobestand.

Een van deze “PTT-conventies”:

Schrijfwijze van straatnamen

Mede omdat de geheugenruimte van de toenmalige computers nogal duur was, koos men ervoor om de fysieke werkelijkheid zoveel mogelijk te verkleinen. Coderen en inkorten, dat was de opgave. In het persoonsgegeven ‘adres’, vraagt de straatnaam nogal eens om betrekkelijk veel geheugenruimte in de computer.

Voor de langste Nederlandse straatnaam zijn - inclusief de spaties - 46 posities nodig. En ook al vormen de straatnamen een belangrijk cultuurbezit, dat een volledige bescherming waard is, toch eiste de opkomende automatisering haar tol.

Zo:

Het inkorten van straatnamen

Maximaal 17 posities voor de veldlengte van straatnamen. Dit ten behoeve van de kleinste destijds bekende adresdragers: cheshire-etiket, 5 per baan.

Alle inkortingen worden toegepast ongeacht de lengte van de straatnaam. Hierdoor hoeft de gebruiker niet het aantal posities van iedere straatnaam te tellen. Maar mede hierdoor blijft ook bijna niets over van het Nederlandse cultuurbezit aan straatnamen.

Alle letters ‘IJ’ worden vervangen door ‘Y’

De verkorte straatnamen worden altijd in KAPITALE letters vermeld.

Ingekorte straatnamen:

V T V KL POORTJE
V W VD GRACHTSTR
F MEERBURG SR KD

Al slaat u mij dood? Oplossing:

Terug naar de rode draad van schrijvers met straatnamen … die de dans niet ontspringen:

A R HOLSTLN             Adriaan Roland Holstlaan
A VD MOERSTR            Ank Van Der Moerstraat
A BLAMANPLN             Anna Blamanplein
A FRANKPK               Anne Frankpark
A ROMEIN VERS KD        Annie Romein-Verschoorkade

We schrijven 1966, wel een LP van Frank Zappa maar nog geen postcode te zien.

1976, nog geen postcodesysteem maar wel een ‘Ad hoc-werkgroep Standaardisering Adressering’:

Straatnamen en ICT

In haar derde vergadering op 9 juni 1976 wordt stilgestaan bij esthetische aspecten en de irritatie graad bij de burger. Betreft gevoeligheid bij het publiek ten opzichte van:

een juiste naamstelling in straten, vernoemd naar personen door:
• betrokkenheid bij vernoemde personen (familieleden etc)
• betrokkenheid bij het referentiekader waarin de vernoemde persoon een rol heeft gespeeld (verzetshelden etc)

een juiste volledige spelling, maar nu omdat het geadresseerde document “gevoelige” inhoud bevat waardoor het irritatieniveau snel bereikt wordt (belastingdocumenten)

Is-tie dan:

Het postcodeboek

In 1978 verscheen de eerste uitgave van het Postcodeboek met de postcodes van alle Nederlandse adressen, bijgewerkt tot 1 oktober 1977. Hierin zijn de straatnamen ingekort volgens de regels van de PTT en daardoor nogal eens niet meer te herkennen.

Toch waren in 1978 al ongeveer 30 miljoen adressen volgens de PTT-conventies vastgelegd. Bij de PTT zèlf, inclusief de Rijkspostspaarbank, Postcheque- en Girodienst, Telefoondiensten en de Dienst Omroepbijdragen. Bovendien bij verzekeringsmaatschappijen, pensioenfondsen, openbare nutsbedrijven, banken, postorderbedrijven, diverse overheidsinstanties, bonden en verenigingen.

Hoe werkt het. Het werkt goed:

Toevoeging van twee letters aan de woonplaatscode

Hiervoor kunnen ten minste 20 letters zonder verwarring worden gebruikt (alleen de letters F,I,O,Q,U en Y komen in de postcode nog steeds niet voor), waardoor ongeveer 400 combinaties mogelijk zijn. Ter herinnering: de postcode bestaat uit vier cijfers en twee letters. De cijfers geven aan een woonplaats of een wijk in een woonplaats. De letters hebben betrekking op een groep van 17 tot 25 afgiftepunten: de hoeveelheid post die een postbezorger in één hand kan houden.

De eerste twee cijfers geven de regio aan. Te beginnen bij Amsterdam met 10, via Haarlem met 20, ’s-Gravenhage 25, Rotterdam 30, Utrecht 35, Middelburg 43, ’s-Hertogenbosch 52, Maastricht 62, Arnhem 68, Zwolle 80, Leeuwarden 89, Assen 94, tot en met de meest noordelijke regio boven Groningen met 99. Ongeveer 30 grotere woonplaatsen zijn in districten verdeeld. Deze worden aangegeven met het derde cijfer. Ongeveer 180 woonplaatsen zijn in wijken verdeeld. Deze worden aangegeven door het vierde cijfer.

Schrijver met niet zijn eigen straatnaam klaagt niet:

Wat ik graag mag lezen

Niets dan lof - Hoe dan ook, Postcode PTT Post uitgave 1978 is een bewonderenswaardige turf, 1366 bladzijden groot, elke pagina in vijf kolommen en gauw erin uitgelezen raak ik niet.

Menigeen zal met dit boek voor het eerst een volledige lijst in handen krijgen van alle steden, dorpen, gehuchten en vlekken die er in Nederland bestaan. Heerlijke ontdekkingen vallen hier te doen.

Nooit had ik geweten dat er een Niesoord bestond. Evenmin had ik ooit vernomen van Hintham, Rotstergaast, Ropta of Broekhuizenvorst (deze laatste gemeente prijkt zelfs met een Hermansstraat en zo hoort het.)

W. F. HERMANS

NRC Handelsblad - Cultureel Supplement - 30-06-1978

Weerman · 13 februari 2017 om 00:32

JM, jij vraagt of het wil lukken met Willem Frederik, W F of W.F. Hermans?

Dit deed ik, gestelde vraag opdelen in de onderscheidende woorden WILLEM, FREDERIK en HERMANS:

Schrijversnaam             Term        Straatnaam                  TermFreq   TermIDF
Willem Frederik Hermans <- HERMANS --> W F Hermanszijde                  29    6,9694
Willem Frederik Hermans <- HERMANS --> W.F. Hermanshof                   29    6,9694
Willem Frederik Hermans <- HERMANS --> W.F. Hermanslaan                  29    6,9694
Willem Frederik Hermans <- HERMANS --> W.F. Hermansstraat                29    6,9694
Willem Frederik Hermans <- WILLEM  --> Willem F. Hermansstraat          450    4,2276
Willem Frederik Hermans <- HERMANS --> Willem F. Hermansstraat           29    6,9694
Willem Frederik Hermans <- WILLEM ---> Willem Frederik Hermanslaan      450    4,2276
Willem Frederik Hermans <- FREDERIK -> Willem Frederik Hermanslaan       42    6,5992
Willem Frederik Hermans <- HERMANS --> Willem Frederik Hermanslaan       29    6,9694
Willem Frederik Hermans <- WILLEM ---> Willem Frederik Hermansstraat    450    4,2276
Willem Frederik Hermans <- FREDERIK -> Willem Frederik Hermansstraat     42    6,5992
Willem Frederik Hermans <- HERMANS --> Willem Frederik Hermansstraat     29    6,9694

Hetgeen alleen maar werkt voor straatnamen met WILLEM, FREDERIK en HERMANS:

Straatnaam                       TermIDF
Willem Frederik Hermanslaan      17,7964
Willem Frederik Hermansstraat    17,7964

Zelfs als je alle leestekens wegneemt hebben andere straten dan toch al met te weinig stemmen afgehaakt. Middels een lijst afkortingen WILLEM is ook W en FREDERIK is ook F kan ik ‘query expansion’ introduceren:

Schrijversnaam             Term        Straatnaam                  TermFreq   TermIDF
Willem Frederik Hermans <- W --------> W F Hermanszijde                 240    4,8562
Willem Frederik Hermans <- F --------> W F Hermanszijde                 136    5,4242
Willem Frederik Hermans <- HERMANS --> W F Hermanszijde                  29    6,9696
Willem Frederik Hermans <- W --------> W.F. Hermanshof                  240    4,8562
Willem Frederik Hermans <- F --------> W.F. Hermanshof                  136    5,4242
Willem Frederik Hermans <- HERMANS --> W.F. Hermanshof                   29    6,9696
Willem Frederik Hermans <- W --------> W.F. Hermanslaan                 240    4,8562
Willem Frederik Hermans <- F --------> W.F. Hermanslaan                 136    5,4242
Willem Frederik Hermans <- HERMANS --> W.F. Hermanslaan                  29    6,9696
Willem Frederik Hermans <- W --------> W.F. Hermansstraat               240    4,8562
Willem Frederik Hermans <- F --------> W.F. Hermansstraat               136    5,4242
Willem Frederik Hermans <- HERMANS --> W.F. Hermansstraat                29    6,9696
Willem Frederik Hermans <- WILLEM ---> Willem F. Hermansstraat          450    4,2276
Willem Frederik Hermans <- F --------> Willem F. Hermansstraat          136    5,4242
Willem Frederik Hermans <- HERMANS --> Willem F. Hermansstraat           29    6,9696
Willem Frederik Hermans <- WILLEM ---> Willem Frederik Hermanslaan      450    4,2276
Willem Frederik Hermans <- FREDERIK -> Willem Frederik Hermanslaan       42    6,5992
Willem Frederik Hermans <- HERMANS --> Willem Frederik Hermanslaan       29    6,9696
Willem Frederik Hermans <- WILLEM ---> Willem Frederik Hermansstraat    450    4,2276
Willem Frederik Hermans <- FREDERIK -> Willem Frederik Hermansstraat     42    6,5992
Willem Frederik Hermans <- HERMANS --> Willem Frederik Hermansstraat     29    6,9696

Voor ‘query’ “Willem Frederik Hermans” resulteert dat in:

Straatnaam                       TermIDF
W F Hermanszijde                 17,2500
W.F. Hermanshof                  17,2500
W.F. Hermanslaan                 17,2500
W.F. Hermansstraat               17,2500
Willem F. Hermansstraat          16,6214
Willem Frederik Hermanslaan      17,7964
Willem Frederik Hermansstraat    17,7964

Als je tenminste uitgevonden had waar je de ‘cutoff’ moet aanbrengen want Willem Frederikstraat, Dr. Hermanslaan, Toon Hermanssingel en -straat alsmede Gebroeders Hermansstraat zitten WFH op de hielen.

Andersom blijkt lastiger want mijn inderhaast samengestelde referentielijst heeft ook:

Viruly, A.

Spieken, mijn stratenlijst heeft voor iemand die begint met een A alleen maar:

Adriaan Virulystraat

Genoemde afkortingenlijst heeft in de omgekeerde stand veel meer voornamen met A in de aanbieding dan het gewenste ADRIAAN. En er is nog een hindernis …

Aanname, naar schrijvers genoemde straatnamen zullen vanwege de combinatie van voorletter/voornaam en achternaam een spatie bevatten en daarom niet beginnen met iets numerieks? Vergeet dat maar jongeman:

straat                  woonplaats
1e Virulystraat	        Rotterdam
2e Virulystraat	        Rotterdam
Adriaan Virulystraat	Westkapelle
Pad van Viruly          Delft
Virulyhof               Sassenheim
Virulylaan	        Leidschendam
Virulylaan	        's-Gravenhage
Virulypad	        Leiden
Virulyplein	        Rotterdam
Virulystraat	        Groningen
Virulystraat	        Woubrugge
Virulyweg	        Almelo

Drie keer getrouwd, over de derde echtgenote:

Dresselhuys is drie keer getrouwd geweest.
- Van 1929 tot 1933 met de acteur Joan Remmelts;
- Van 1934 tot 1946 met acteur Cees Laseur;
- Van 1955 tot diens dood in 1986 met vlieger-auteur Adriaan Viruly (“Jons”).

Na zijn dood schreef zij een boekje “Jons” over hem. Naast actrice dus ook op lijst schrijvers? Gaan we weer:

straat                  woonplaats
Dresselhuijsweg         Culemborg
Dresselhuysstraat       Dordrecht
Dresselhuysstraat       Rotterdam
Mary Dresselhuysstraat	Rijen
Mary Dresselhuysweg	Berkel en Rodenrijs

Een van haar exen:

Cees Laseurlaan         's-Gravenhage
Cees Laseurstraat       Hengelo
Laseurpad               Schiedam

Die vlieger gaat dus niet op, het aantal straatnaam-kandidaten op die manier drastisch reduceren. Jammer want het grote aantal straatnamen filteren op het hebben van een of meer spaties scheelt de hele wereld.

Daarbij wordt de kans dat je bij de verkeerde bekende persoon uitkomt ook groter, er is bijvoorbeeld een verzetsheld-met-straat: Dresselhuisstraat in Bad Nieuweschans … Mama, help!

Ja jongen? Als je ADRIAAN al hebt dan kan je dat toch online verifieren, komt deze schrijver misschien voor bij Pica, de gemeenschappelijke catalogus van de (universiteits-)bibliotheken?

Of je zou dit voor niet eenduidige gevallen per keer kunnen gaan opvragen bij de Wikipedia-API:

<?xml version="1.0"?>
<SearchSuggestion xmlns="http://opensearch.org/searchsuggest2" version="2.0">
  <Query xml:space="preserve">a viruly</Query>
  <Section>
    <Item>
      <Text xml:space="preserve">Adriaan Viruly</Text>
      <Url xml:space="preserve">https://nl.wikipedia.org/wiki/Adriaan_Viruly</Url>
      <Description xml:space="preserve">
        Adriaan Viruly (Breda, 5 januari 1905 – Amsterdam, 13 augustus 1986),
        bijgenaamd "Jons", was een Nederlandse vlieger, schrijver en Engelandvaarder.
      </Description>
      <Image height="37" width="50"
        source="https://upload.wikimedia.org/wikipedia/commons/thumb/1/1b/
        Adriaan_Viruly_%281946%29.jpg/50pxAdriaan_Viruly_%281946%29.jpg"/>
    </Item>
  </Section>
</SearchSuggestion>

Die samenvatting is in dit geval toereikend, al mis je zo het incident met het uitgeklapte landingsgestel dat hem zijn baan kostte.

Als er al om te beginnen niet voldoende informatie is wat dan? Die Virulystraat in Woubrugge, is hij dat? Zou mooi zijn als die in een Literatuurwijkje lag, proberen:

  1 Vertrek               Vertrek in zuidelijke richting
  2 Gerbrand Swartlaan    Ga na 40 m linksaf de Gerbrand Swartlaan op
  3 Bateweg               Ga na 250 m rechtsaf de Bateweg op
  4 Bateweg               Houd na 50 m rechts aan op de Bateweg
  5 Kerkweg               Neem na 25 m de derde afslag op de rotonde richting Ter Aar
  6 Kruisweg              Ga rechtdoor de Kruisweg op (na 250 m) richting Ter Aar
  7 Vierambachtsweg       Neem na 150 m de derde afslag op de rotonde Vierambachtsweg
  8 Kruisweg              Ga na 100 m linksaf de Kruisweg op
  9 Boddens Hosangweg     Ga na 60 m rechtsaf de Boddens Hosangweg op
 10 Aankomst              Na 175 m bent u gearriveerd (Boddens Hosangweg Woubrugge)

Gerbrand Swart? Boddens Hosang? Opvragen bij Wikipedia werkt alleen als je ook al weet dat je naar Jacob Eliza Boddens Hosang moet vragen anders krijg je geen antwoord. Maar zo heet die weg in Woubrugge weer niet. Was ooit burgemeester van die plaats dus wat ene Viruly daar dan moet mag Joost weten.

alkema_jm · 19 februari 2017 om 06:21

Hoi Weerman,

Als ik jouw post lees, denk ik direct dat ik meer aan data moet gaan doen. Momenteel veel met source code (tools) bezig. Best leuk om naar Splunk opbouw te kijken. Welke programma´s hebben zij gedefinieerd.

Facebook groepeert ook informatie van een film bij elkaar. Mogelijk dat de Facebook gebruikers deze informatie hebben zelf hebben aangegeven. Ook info van Wikipedia wordt gebruikt.

Ik zie ook belangrijk filmattributen: Directed by,Written by, Music By en the Cast.

Indien je deze personen zou mappen op Cdfoon, dan kan je ook deze personen ook gaan mappen op de andere films. SQL query die aangeeft in welke filmp “Scarlett Johansson” nog meer heeft gespeeld, etc.

Indien er hele goede spelers in de cast zitten met goede regisseur dan moet film wel goed zijn. Andersom geforumuleerd: Indien film tegenvalt heb je wel wat uit te leggen. Paul Verhoeven wordt nog steeds nagedragen zijn film “Showgirls”.

Showgirls is een Amerikaanse erotische dramafilm uit 1995 onder regie van Paul Verhoeven. De critici bombardeerden de productie tot één van de slechtste films uit zijn tijdperk. Wikipedia

De hartelijke groet Jan Marco

Weerman · 19 februari 2017 om 19:07

Ook in de naam van dit forum toch. De wereld ligt dan aan iemands voeten? Hier, vorige keer al even terug van weggeweest, TMC:

  ts = Split(Filter(geo_postalcoords, "2481XP")(0), "|")
  td = Split(Filter(geo_postalcoords, "2481KW")(0), "|")
  
  With New RoutePlanner
    
    .StartPoint = Array(ts(1), ts(2))
    .Destination = Array(td(1), td(2))
    
    .PlanMode = pm_Shortest  ' pm_Cheapest
    .Plan
    
    For i = 0 To .NumRouteDescriptionLines - 1
      Debug.Print i + 1; .RouteDescriptionRow(i)(2); Tab(30);
      Debug.Print Replace(.RouteDescriptionRow(i)(9), "  ", " ")
    Next
    
  End With

Vanaf Virulystraat in Scharwoude, nee, niet, het was Woubrugge, postcode 2481 XP, kijken of daar ook straten naar andere schrijvers genoemd werden. M.a.w. deze “Viruly” zonder voorletter of voornaam is wel de schrijver Viruly want om hem heen zijn andere straten ook naar schrijvers vernoemd? Niet dus.

Dat door gewoon in Excel gebruik te maken van het genoemde TMC (Travel Manager Components). Zit als halffabricaat in de software bij de digitale uitgave “Telefoongegevens van Nederland”, courtesy of Falkplan BV.

Beter dan zo maar wat ronddarren is direct gebruik maken van het netwerk van TMC.

Nodig zijn, een referentie naar die TravelmanagerComponents.dll op de DTG Professioneel-cdrom van vorig jaar:

TravelmanagerComponents Library (4.4.552.0)

Pad naar idem meegeleverde data, stand 201601

With New Configuration
  .DataPath = "..\TMC\gbd\"
End With

Een of meer RD-coordinaten uit het eveneens aan Falkplan ontfutselde 6PPC-geolokalisatiebestand:

'1011DG|122356|487689|52.37610140|4.90781314

TMC vervolgens blijven voeren met steeds een nieuwe RD-x en RD-y die het net zelf gevonden heeft:

 With New Geo
   c.Add Array(122356, 487689)
   Do
     For Each cid In .FindChains(c(1), 100)
       With .GetChainInfo(cid)
         For i = 0 To .NumVertices - 1
           If Not d.Exists(.Name & i) Then
             c.Add Array(.Vertex(i)(0), .Vertex(i)(1))
             d(.Name & i) = vbNullString
             Debug.Print .Name, .Vertex(i)(0); .Vertex(i)(1)
           End If
         Next
       End With
     Next
     c.Remove 1
   Loop Until c.Count = 0
 End With

Namen en coördinaten van het netwerk van knopen en verbindingen van straten opzij van CS Amsterdam:

Willem Frederik Hermansstraat    122360  487640
Willem Frederik Hermansstraat    122343  487734
Oosterdokskade                   122298  487670
Oosterdokskade                   122360  487640
Harry Banninkstraat              122298  487670
Harry Banninkstraat              122274  487748

Daarvan twee kaartlagen maken, de tweede van net zo’n uitdraai maar tijdens het maken nu gefilterd aan de hand van een lijst met namen van schrijvers:

  With New ArcViewShapeFileDLL.ShapeFiles
    .OpenShape "Amsterdam_straatnamen.shp", shpCreate, shpPolyLine
    With .ShapeFields
      .CreateField "stn", shpText, 64
    End With
    .AppendFieldDefs
    Open "1248_schrijversnamen.txt" For Input As #1
    Do While Not EOF(1)
      Line Input #1, regel
      t = Split(regel, ";")
      With .ShapeFields
        .Item(1).Value = CStr(IIf(t(3) <> "", Mid$(t(3), 2, Len(t(3)) - 2), t(2)))
      End With
      For Each rdxy In Split(t(5), ",")
        xy = Split(rdxy)
        .Vertices.AddVertice CDbl(xy(0)), CDbl(xy(1))
      Next
      .CreateShape
    Loop
    Close #1
  End With

Beide in MapInfo combineren waarbij straten met namen van musici Harry Bannink en Ton de Leeuw naast het Conservatorium niet en die met namen van schrijvers naast de Bibliotheek (OBA) wel uitgelicht worden:

Daaraan een basis kaartlaag “Land en water” toevoegen waar het centrum van Amsterdam groen uitkomt tenzij je ook “Stedelijke bebouwing” aanvinkt? Kan, maar ook TMC wil anders wel zo’n kaartje leveren.

Zo, weer met Hermans’ z’n plaatsbepalingsgegevens:

rdx = 122360: rdy = 487640
With New MapProvider
  .WorldRect = Array(rdx - 750, rdy - 500, rdx, rdy)
  .MapRect = Array(0, 0, Map.ScaleWidth, Map.ScaleHeight)
  .ZoomLevel = 1 't/m 5
  .ScaleMode = sm_ZoomLevel
  .GetMap Map.hDC
End With

Oosterdokseiland rond postcode 1011 DG in Amsterdam:

Compleet met zijn Simon Carmiggelt, Willem Frederik Hermans en Annie M.G. Schmidt straatnamen!

Als je ze kan ontcijferen, vanwege de schaal heeft Falkplan de namen in het bijschrift ingekort o/o