Kantorenanalyses, advertenties voor kantoren: overal zal ChatGPT de vastgoedwereld veranderen. Waar eindigt de hulp van artificial intelligence en wanneer ontstaat een nachtmerrie voor de vastgoedprofessional? Business engineer Matthias van Enk nam de proef op de som.
Gepubliceerd in PropertyNL Magazine nr. 2, 24 februari 2023
Machine learning is allesbehalve nieuw, maar heeft met ChatGPT een nieuwe dimensie gekregen, met nieuwe mogelijkheden én beperkingen.
Machine learning begint zoals een kind de wereld ziet, met een beperkte context. Door ‘trial and error’, waarbij een programma elke poging van feedback voorziet, verbetert het resultaat. De kwaliteit (of intelligentie) van een AI wordt grotendeels bepaald door de kwaliteit en kwantiteit van de trainingsdata. De grote stappen die de laatste jaren worden gezet, hebben voornamelijk betrekking op nieuwe manieren van het trainen van AI’s.
Veel programma’s met AI-achtige kwaliteiten beperken zich tot een enkel domein. Fotoherkenningssoftware krijgt bijvoorbeeld miljoenen foto’s te zien waarop dieren zijn gelabeld en kan vervolgens op een onbekende foto met een redelijke nauwkeurigheid dieren vinden. Een zelfrijdende auto krijgt camera- en radarbeelden totdat hij foutloos is in het herkennen van een voetganger. Maar de overeenkomst tussen deze twee beperkte AI’s is dat ze nog steeds geen idee hebben wat bijvoorbeeld een boom is, behalve dat de eerste weet dat het geen dier is en de laatste dat het geen voetganger is.
OpenAI’s ChatGPT
Wat ChatGPT bijzonder maakt, is dat het een veel meer algemene AI is, een programma dat in meer diverse taken de competitie met mensen kan aangaan. Dat heeft in de eerste plaats te maken met de enorme hoeveelheid trainingsdata waartoe ChatGPT toegang heeft: van wereldliteratuur tot geschiedenis, van films tot wetenschappelijk onderzoek en tientallen talen.
Dat geeft al snel het gevoel van een formidabele gesprekspartner, die in staat is om ieder mens te verslaan op het gebied van algemene kennis, maar ook ingewikkelde wiskundige problemen kan oplossen en zelfs programmeercode kan genereren. Wat in dialoog met ChatGPT opvalt, is dat je zelden verkeerd wordt begrepen, zelfs wanneer je vraagstelling bestaat uit meerdere volzinnen met complicerende zaken als dubbele negatieven.
Dat laat ook zien dat de grootste vooruitgang niet zozeer zit in de ‘intelligentie’ van de AI, maar in wat in vaktermen Natural Language Processing heet, het vermogen om (normale) taal te begrijpen. Het is dát vermogen dat ChatGPT in staat stelt veel verschillende taken te begrijpen en het zorgt er ook voor dat iedere website, iedere encyclopedie, ieder commentaar op een filmpje als trainingsdata aan de AI kan worden gevoerd om hem te verbeteren.
Schone lei
OpenAI, de ontwikkelaar van ChatGPT, heeft het model en de trainingsdata daarvan afgeschermd. Ieder gesprek begint ChatGPT met een schone lei en gesprekken worden vooral door de ontwikkelaars bekeken, niet direct als trainingsdata aangeboden om het model te verrijken. Daarin verschilt de werkwijze van andere AI’s, zoals de eerder genoemde zelfrijdende auto. Tesla gebruikt bijvoorbeeld de data uit alle Tesla’s wereldwijd om zijn systeem te verbeteren. OpenAI hoopt met dit systeem de valkuil van eerdere openbare AI’s te vermijden. Die trainden zichzelf direct door de gesprekken die ze voerden en namen daarmee ook schuttingtaal en controversiële opvattingen over van allerlei (groepen) internetgebruikers.
Beperkingen
De kennis die ontwikkelaar OpenAI aan zijn model heeft meegegeven is groot, maar niet eindeloos. Zo converseert ChatGPT prima in talen als Engels en Duits, en ook al wel in het Nederlands, hoewel er dan zo nu en dan grammaticale foutjes in de antwoorden zitten. Van sommige kleinere taalgebieden geeft de AI zelf aan dat hij weet dat de taal bestaat, maar deze niet begrijpt of er teksten in kent. Voorbeelden daarvan zijn Quechua en Baskisch, maar Fries kent hij wel.
Ook zijn economische data heel compleet als je zoekt naar Amerikaanse informatie, maar bij andere westerse landen verschijnt regelmatig een onbekend-melding, laat staan bij kleinere, niet-westerse landen.
Informatie over specifieke personen is eveneens beperkt. Een vuistregel is dat ChatGPT mensen niet kent als ze een korte of helemaal geen Wikipedia-pagina hebben.
Ten slotte is de informatie van ChatGPT beperkt tot 2021: de trainingsdata zijn afgesloten om beïnvloeding van buitenaf te voorkomen. ChatGPT kan dus niet zoeken op het huidige internet of nieuws lezen. De database is op het moment van schrijven beperkt tot gebeurtenissen en cijfers die bekend waren in 2021. Uit antwoorden op vragen naar gebeurtenissen zoals de terugtrekking van troepen uit Afghanistan en Franse militaire acties in Mali blijkt dat wat specifieker terug te brengen tot half augustus 2021.
Geen ongewenste teksten
De meeste besproken beperkingen van ChatGPT zijn bewust ingebouwd om te voorkomen dat ongewenste teksten worden gegenereerd. Over hoe succesvol AI daarin is, woedt al langer een verhit debat. Op het moment van schrijven (medio februari) is OpenAI er nog niet in geslaagd om het trucje ‘Do Anything Now’ (DAN) onklaar te maken. Door de juiste vraagstelling laat je ChatGPT ‘DAN’ in een rollenspel spelen; een AI die geen zelfcensuur of regels kent. Feitelijk omzeilt dat alle beperkingen die OpenAI had ingebouwd.
Waar OpenAI al wel grote verbeteringen in heeft gemaakt, zijn de feitelijke fouten. Kort na de introductie eind vorig jaar klaagde de Amerikaanse econoom, geleerde en blogger van EconLog, Arnold Kling, dat hij ChatGPT had gevraagd om een essay te schrijven over hemzelf, maar dat deze ‘with a straight face’ allemaal leugens over hem had opgeschreven.
Begin januari beweerde het programma bijvoorbeeld ook dat W.F. Hermans ‘science fiction’ boeken schreef. Kling zei dat de manier waarop ChatGPT soms omgaat met lastige vragen vergelijkbaar is met een student die slecht voor zijn tentamen heeft geleerd en daarom maar veel schrijft. Hier moet bij vermeld worden dat in de versie van 30 januari 2023 fouten merkbaar minder zijn geworden.
Hoe goed is ChatGPT echt?
In een kort ‘vastgoedinterview’ (zie kader) valt op dat ChatGPT geen enkele moeite heeft met het produceren van correct geschreven tekst rondom het gevraagde onderwerp, waarbij hij ook in staat is om andere kennis erbij te halen. Neem bijvoorbeeld ‘de trend van thuiswerken’ of de ‘toenemende nadruk op duurzaamheid’, die duidelijk laten zien dat de AI verbanden legt die niet in de vraagstelling zitten.
Ian Leslie van The Guardian en The Times en bekend auteur van boeken op het gebied van marketing, politiek en psychologie, concludeert na een rondvraag langs academische docenten dat ChatGPT vaak wordt geprezen om essays die, anders dan Kling beweert, even goed zijn als die van masterstudenten. Maar, voegt hij daar meteen aan toe, dat is ook geen wonder, omdat studenten allemaal getraind worden volgens ongeveer dezelfde regels van academisch schrijven. AI heeft zich, net als veel academici, met al zijn trainingsdata een prima generieke schrijfstijl eigen gemaakt, die heel veilig en foutloos is, maar ook niet heel inspirerend.
Geen scherpe conclusies
Inhoudelijk kun je ook stellen dat ChatGPT niet heel scherpe conclusies trekt. Hij gebruikt algemeenheden, is bijzonder voorzichtig met inschattingen en verwijst snel naar professionals als je doorvraagt op een punt waarover de meningen zouden kunnen verschillen. Een mogelijk geruststellende gedachte voor de lezer: ChatGPT verwijst ook naar vastgoedadviseurs.
De hoofdredacteur van het gezaghebbende magazine Science, Herbert Holden Thorp, schrijft dat AI’s zoals ChatGPT in de wetenschap voorlopig nog weinig te zoeken hebben. Het is op dit moment wel heel erg moeilijk om een onderscheid te maken tussen gegenereerde teksten en door mensen geschreven teksten. De peer reviewers van Science slaagden er slechts in 63% van de gevallen in om de abstracts die door ChatGPT geschreven waren te onderscheiden van abstracts geschreven door mensen. Veel academische tijdschriften updaten nu al hun regels om AI gegenereerde tekst in alle vormen te verbieden.
Vervangen door AI
ChatGPT is voor een vakgebied zoals vastgoed eigenlijk alleen goed als je een antwoord wilt op de vraag: ‘Waar kan AI in het algemeen een rol spelen op vastgoedgebied?’ ChatGPT is zich overigens uitstekend bewust van de beperkingen van de huidige vorm. ChatGPT is wel in staat om vastgoedportfolio’s te beheren of prognoses en analyses te maken. Daarmee is de huidige ChatGPT een nuttige assistent bij vragen over en het melden van algemene risico’s, zonder daaraan een weging te kunnen geven.
Als het genereren van teksten het talent van ChatGPT is, kan hij ook helpen bij het marketen van gebouwen voor huur en verkoop. Daar kan ChatGPT in slagen, mits hij flinke context krijgt van wat de vastgoedadviseur verwacht. Hij blijkt wel in staat om wat kleine stukjes eigen invulling te geven (‘die u nodig hebt om te groeien en bloeien’, een ‘imposant kantoorpand’), wat op zich al heel indrukwekkend is voor een AI.
Beroepsgroepen waarbij het lezen en schrijven van stukken tekst het grootste deel van hun werk vormt, zullen snel geconfronteerd worden met deze ontwikkeling. Je zou daarbij behalve aan vastgoedadviseurs kunnen denken aan advocaten en met name aan notarissen, die veel bijna identieke teksten verwerken.
Zoals Ian Leslie het stelt: ‘Dit is een bedreiging voor generieke schrijvers.’ Menselijkheid is daarbij een factor die onderscheidend blijft van AI.
Matthias van Enk werkt als business engineer bij Blueriq en schrijft op persoonlijke titel.
