Hoe lezen AI-assistenten uw website?

Een AI-assistent is een programma waaraan u een vraag stelt en dat antwoordt in gewone taal. Waar dat antwoord vandaan komt, kan verschillen. Soms put de assistent uit wat hij tijdens zijn training heeft geleerd. Soms haalt hij tijdens uw vraag zelf pagina's op en vat hij samen wat hij vindt. En soms is het een mengvorm van beide.

Hoe een bepaalde assistent dat precies doet, weten wij niet. Het verschilt per dienst en het verandert. Wat we wel kunnen zeggen, is wat een programma nodig heeft om een pagina te lezen. Dat verschilt sterk van wat een mens nodig heeft.

Een mens ziet een pagina: kleuren, beelden, een menu bovenaan, een knop die opvalt. Een programma ziet de tekst en de structuur erachter. Voor hem is een kop een kop omdat hij als kop gemarkeerd is, niet omdat hij groot gedrukt staat. Een pagina waarvan de inhoud pas na een tijdje door een script wordt ingeladen, kan voor hem leeg lijken.

Schrijf en bouw uw website daarom zo dat een programma de inhoud direct kan lezen. Dat helpt ook gewone bezoekers en zoekmachines.

Elke website krijgt bezoek van programma's. Sommige zijn al lang bekend, zoals de robots van zoekmachines die pagina's ophalen om ze in een index te zetten. Daarnaast bestaan er AI-crawlers: programma's die websites lezen voor AI-diensten. Grofweg zijn er twee soorten, al is de grens niet altijd scherp.

• Crawlers die teksten verzamelen om een AI-model te trainen. Wat ze lezen, kan deel worden van wat een model leert.

• Programma's die een pagina ophalen op het moment dat iemand een vraag stelt. Een assistent kan dan uw pagina lezen om een antwoord op te bouwen, en soms een verwijzing naar de bron tonen.

Een website laat zulke programma's weten wat ze mogen doen in een klein tekstbestand op een vast adres, robots.txt genaamd. Het is een afspraak, geen slot: een netjes werkend programma houdt zich eraan, maar zeker is het niet. Wat u echt wilt afschermen, zet u achter een login.

Bij het CMS van synqo zijn AI-crawlers standaard toegelaten. Wie dat wil, zet in de configuratie een instelling aan die alleen de bots weert die voor training teksten verzamelen. Waarom u dat zou doen, komt verderop aan bod.

Een website kan op twee manieren aan een pagina komen. Bij de eerste bouwt de server de pagina volledig op en stuurt ze kant-en-klaar naar de browser. Bij de tweede stuurt de server een bijna lege pagina en een script, en bouwt de browser de inhoud zelf op, vaak nadat hij gegevens heeft opgehaald. Voor een bezoeker met een gewone browser lijkt dat hetzelfde, voor een programma dat geen scripts uitvoert niet.

Een programma dat alleen de eerste reactie van de server leest, ziet bij de eerste aanpak de hele tekst en bij de tweede soms bijna niets. Sommige crawlers voeren wel scripts uit, andere niet, en dat kan veranderen. Bij een pagina die op de server volledig wordt opgebouwd staat alles er meteen.

Zo werkt het CMS van synqo. Een programma dat een pagina ophaalt, krijgt de tekst, de koppen, de links en de gegevens over de pagina in één keer. Dat maakt een website ook sneller voor gewone bezoekers, en het is een goede basis voor de rest.

Een llms.txt is een tekstbestand op een vast adres van uw website, direct onder uw domeinnaam. Het geeft een programma in een paar regels een overzicht: wie u bent, welke pagina's het belangrijkste zijn en wat er op elk van die pagina's staat.

Een llms.txt is een voorstel voor een gewoonte, geen vaststaande standaard. Wij kunnen niet zeggen dat een bepaalde assistent het bestand leest. Het kost weinig om het te hebben, en wie het gebruikt, heeft er houvast aan.

Het CMS van synqo maakt dit bestand zelf aan en houdt het bij. Publiceert u een pagina, dan komt ze in het overzicht. Haalt u ze weg, dan verdwijnt ze eruit.

Markdown is een eenvoudige manier om tekst met koppen, lijsten en links te schrijven, met weinig opmaak. Een gewone pagina bestaat uit een menu, een voettekst, knoppen en veel code rond de eigenlijke tekst. Een Markdown-versie bevat alleen de inhoud.

In het CMS van synqo heeft elke pagina en elk artikel zo'n versie. U vindt ze op hetzelfde adres als de pagina zelf, met de uitgang .md erachter. Een programma dat de pagina leest, hoeft dan niet zelf menu en opmaak weg te filteren om bij de tekst te komen.

Een schone tekstversie is ook handig voor wie een pagina wil doorsturen of laten voorlezen.

Waar een llms.txt een overzicht geeft, bevat een llms-full.txt de volledige inhoud van de website in één tekstbestand. Een programma dat de hele website wil lezen, hoeft dan niet elke pagina apart op te halen.

De website van synqo heeft er zelf ook een.

Hoe knap een bestand ook is, de inhoud van uw pagina blijft het belangrijkste. Wat voor mensen goed werkt, werkt ook voor een programma dat een pagina leest:

• Een duidelijke titel en koppen die iets zeggen. Een kop als "Wat kost het?" vertelt wat eronder staat. Een kop als "Meer informatie" vertelt niets.

• Het antwoord eerst. Begin een pagina met het korte antwoord op de vraag waarvoor iemand komt, en werk het daarna uit. Een programma, en een haastige lezer, vindt het dan meteen.

• Gewone zinnen met concrete feiten. Schrijf wat u aanbiedt, voor wie en onder welke voorwaarden, in woorden die een klant zelf zou gebruiken.

• Veelgestelde vragen met een echt antwoord. Een vraag en een antwoord vormen een afgebakend stukje tekst dat zich makkelijk laat overnemen of samenvatten.

• Tekst als tekst. Zet uw openingsuren, prijzen of contactgegevens niet alleen in een beeld.

• Een sitemap. Een lijst van uw gepubliceerde pagina's die zoekmachines en andere programma's kunnen ophalen, zodat ze weten wat er is. Het CMS van synqo houdt hem bij.

• Gestructureerde gegevens. Met schema.org geeft u in een vaste vorm door wat er op een pagina staat: een bedrijf, een dienst, een artikel, een reeks vragen en antwoorden. Het CMS van synqo voegt die gegevens zelf toe aan de pagina's waarvoor ze passen.

• Bijgehouden inhoud. Een pagina die al jaren niet meer klopt, misleidt iedereen die ze leest, mens of programma. Wat verouderd is, past u aan of haalt u weg.

Een verborgen instelling waarmee u een assistent dwingt uw website te noemen, bestaat niet.

Dat is uw keuze; er is geen antwoord dat voor iedereen klopt.

Laat u ze toe, dan kan een assistent uw pagina's lezen en kan uw inhoud deel uitmaken van antwoorden. Voor een bedrijf dat gevonden wil worden door mensen die hun vraag aan een assistent stellen, is dat een logische keuze.

Weert u ze, dan beslist u dat uw inhoud niet wordt gelezen door die programma's. Dat kan passen als uw teksten bewust achter een betaalmuur of login staan, als u uw content als eigen product ziet, of als u niet wilt dat ze worden verzameld om een model te trainen. Houd er rekening mee dat een robots.txt een verzoek is en geen slot.

Daartussen zit een tussenweg die het CMS van synqo ondersteunt: een instelling in de configuratie die alleen de bots weert die teksten verzamelen voor training, en de rest toelaat. Een assistent die tijdens een vraag uw pagina ophaalt, kan dan gewoon lezen, en de verzamelaars blijven buiten.

Ja, en u heeft er geen technische kennis voor nodig. Probeer dit eens:

1. Voeg achter het adres van uw website /llms.txt toe. U ziet een tekstbestand of een foutpagina. Ziet u een foutpagina, dan heeft uw website er geen.

2. Voeg achter het adres van een pagina .md toe. Bestaat er een Markdown-versie, dan ziet u de kale tekst van die pagina.

3. Voeg achter het adres van uw website /robots.txt toe. U ziet wat uw website zegt over programma's die langskomen.

4. Bekijk de bron van een pagina. Klik met de rechtermuisknop en kies de bron van de pagina. Zoek een zin uit uw tekst. Vindt u hem, dan staat de tekst meteen in de pagina. Vindt u hem niet, dan wordt de inhoud mogelijk pas door een script ingeladen.

Voor de basis komt u vaak zelf een eind. Heeft u een website die op de server wordt opgebouwd, met duidelijke tekst, goede koppen en veelgestelde vragen die echt beantwoord worden, dan staat de basis er al.

Een llms.txt is ook niet ingewikkeld: het is een tekstbestand, en wie een beetje handig is, kan er zelf een schrijven en op de juiste plaats zetten, als het systeem achter de website dat toelaat. Mist uw website er een, dan is dat te overleven.

Lastiger wordt het als uw website zijn inhoud pas laadt via scripts, als u een CMS nodig heeft dat de bestanden zelf bijhoudt, of als u meerdere talen en veel pagina's beheert. Dan loont het om dit in de basis van uw website te hebben in plaats van het achteraf vast te plakken. Twijfelt u of u een website zelf kunt maken of beter laat doen, lees dan zelf een website bouwen of laten maken.

Een nieuwe website bouwen we op ons eigen CMS. U krijgt dus de onderdelen die u hierboven las: pagina's die op de server worden opgebouwd, een sitemap, schema.org-gegevens, een llms.txt, een Markdown-versie van elke pagina en een instelling in de configuratie voor trainingsbots. Hoe dat CMS in elkaar zit en waarom we het zelf bouwden, leest u in hoe we de synqo-website op ons eigen CMS bouwden. Wat een website bij ons kan, staat op de pagina websites.

Een goede basis is daarna een kwestie van bijhouden: inhoud die klopt, pagina's die gepubliceerd blijven en een website die op een bijgewerkte versie draait. Wat bij het onderhoud van een website hoort, leest u in website-onderhoud: wat is inbegrepen?