Perplexity AI en het gebruik van Bing

Perplexity AI is een conversationale zoekmachine die een AI-taalmodel combineert met de kracht van de Bing-zoekmachine om nauwkeurige, actuele en goed onderbouwde antwoorden te bieden op vragen van gebruikers​. Met andere woorden, het maakt gebruik van de webindex van Bing om in realtime relevante informatie te verkrijgen en integreert deze resultaten vervolgens in het door AI gegenereerde antwoord, met bronvermeldingen.

Ondervraging van Bing door Perplexity

Zodra een gebruiker een vraag stelt, gebruikt Perplexity deze om een webzoekopdracht uit te voeren via Bing. Concreet wordt de zoekopdracht van de gebruiker (geformuleerd in natuurlijke taal) naar de Bing-zoekmachine gestuurd, die fungeert als een informatieophaalmechanisme voor Perplexity​. Dankzij de intelligentie van het taalmodel kan de vraag semantisch worden begrepen en omgezet in geschikte zoektermen, zelfs als deze op een informele of complexe manier is geformuleerd. Perplexity profiteert zo van het vermogen van Bing om natuurlijke zoekopdrachten te interpreteren en relevante resultaten te vinden die verder gaan dan eenvoudige trefwoordovereenkomsten​.

Perplexity fungeert als tussenpersoon: het begrijpt de intentie achter de gebruikersvraag via zijn taalmodel en voert vervolgens op de achtergrond een zoekopdracht uit bij Bing die overeenkomt met deze intentie. Hierdoor krijgt het toegang tot de enorme webindex van Bing zonder dat de gebruiker de Perplexity-interface hoeft te verlaten.

Ophalen en verwerken van Bing-resultaten

Zodra de zoekopdracht aan Bing is ingediend, volgt Perplexity verschillende stappen om de resultaten op te halen en te verwerken:

1. Ophalen van relevante resultaten: Bing retourneert een lijst met zoekresultaten (weblinks) die aan de zoekopdracht zijn gekoppeld. Perplexity analyseert deze resultaten en selecteert de meest relevante pagina’s, meestal de eerste links of snippets die door de zoekmachine worden uitgelicht​. Door gebruik te maken van de Bing-index verkrijgt het systeem snel webpagina’s die waarschijnlijk het antwoord op de vraag bevatten.
2. Extractie van pagina-inhoud: Voor elke geselecteerde pagina haalt Perplexity de tekstuele inhoud op. Dit houdt in dat de pagina’s worden gecrawld via de Bing API om de tekst eruit te halen. Bovendien heeft Perplexity zijn eigen webcrawler, PerplexityBot, ontwikkeld, die in staat is om links te doorzoeken en inhoud op te halen, terwijl hij de robots.txt-richtlijnen van websites respecteert​. De ruwe tekst van webpagina’s wordt vervolgens opgeschoond (HTML-code, menu’s, enz. worden verwijderd) en voorbereid voor verdere analyse.
3. Analyse en filtering van informatie: De verzamelde inhoud wordt vervolgens geanalyseerd door het AI-systeem. Het taalmodel doorzoekt de pagina’s en identificeert fragmenten die specifiek antwoord geven op de gestelde vraag​. Perplexity kan ook informatie rangschikken of opnieuw ordenen op basis van contextuele relevantie (re-ranking) om ervoor te zorgen dat de meest nuttige en betrouwbare gegevens worden benadrukt. Het doel is om de feiten en sleutelantwoorden in de documenten te isoleren, terwijl irrelevante of minder betrouwbare delen worden weggelaten. Op dit punt profiteert Perplexity van de intrinsieke ranking van Bing (die gezaghebbende bronnen prioriteert), wat helpt bij het identificeren van kwaliteitsinhoud. Door deze filtering te combineren met het contextuele begrip van het LLM, synthetiseert het systeem een verzameling kennis die klaar is om in een antwoord te worden verwerkt.

Integratie van resultaten in de antwoorden van Perplexity

Na het identificeren van relevante informatie uit webpagina’s, verwerkt Perplexity deze resultaten in het uiteindelijke antwoord voor de gebruiker. Dit gebeurt via het taalmodel (LLM), dat een antwoord in natuurlijke taal genereert op basis van de eerder verzamelde inhoud. Tijdens de gegenereerde reactie wordt elke belangrijke informatie vergezeld van een bronvermelding die verwijst naar de oorspronkelijke bron.

Concreet bevat de tekst van het antwoord genummerde verwijzingen naar de geraadpleegde webpagina’s, zodat de gebruiker met één klik kan controleren waar de AI bepaalde informatie heeft gevonden.

Deze integratie van Bing-resultaten in het antwoord is bedoeld om niet alleen een beknopt antwoord te geven, maar ook een controleerbaar en verifieerbaar antwoord. Perplexity hecht veel belang aan transparantie: het model is getraind om geen beweringen te doen die niet worden ondersteund door de opgehaalde bronnen. Dus als informatie niet in de Bing-resultaten of in de beschikbare dataset wordt gevonden, zal de AI voorkomen dat het valse gegevens bedenkt. Deze methodologie, geïnspireerd op academische citatiepraktijken, helpt AI-hallucinaties te minimaliseren door de gegenereerde inhoud strikt te koppelen aan geverifieerde gegevens​.

Het resultaat is een conversatiegericht antwoord, direct bruikbaar, terwijl het de betrouwbaarheid van een traditionele zoekmachine behoudt dankzij de aangegeven bronnen.

Wanneer de gebruiker vervolgvragen stelt in de chat, kan Perplexity nieuwe Bing-zoekopdrachten uitvoeren waarbij rekening wordt gehouden met de reeds opgebouwde context. Het systeem houdt de conversatie coherent en actualiseert indien nodig de informatie door bij elke iteratie de nieuwe zoekresultaten in zijn antwoorden te verwerken met bijbehorende citaten.

Technische interactie tussen Perplexity AI en Bing

Technisch gezien vindt de integratie tussen Perplexity en Bing plaats via de Bing Search API, waarmee Bing in realtime kan worden bevraagd. Wanneer Perplexity een vraag ontvangt, stuurt de backend een verzoek naar Bing via een REST-oproep naar de Bing Web Search API met de zoekwoorden uit de vraag. Bing retourneert vervolgens de resultaten in een gestructureerd JSON-formaat met titels, fragmenten en URL’s van pagina’s. Perplexity kan deze gegevens direct verwerken: de door Bing verstrekte snippets geven een preview van de inhoud, en de URL’s maken het mogelijk om de volledige tekst op te halen indien nodig. Deze machine-to-machine-communicatie tussen Perplexity en Bing is transparant voor de gebruiker en maakt gebruik van de bewezen infrastructuur van Bing voor webzoekopdrachten​.

Aan het begin van Perplexity (2022) was het platform grotendeels afhankelijk van Bing om zijn zoekmodule aan te drijven, in combinatie met de modellen van OpenAI voor het genereren van antwoorden​.

Deze strategische keuze stelde Perplexity in staat om zijn diensten snel te lanceren door gebruik te maken van de enorme Bing-index en ranking-algoritmen, in plaats van direct een eigen webindex op te bouwen. Deze interactie werd waarschijnlijk vergemakkelijkt door de API’s die Microsoft aanbiedt (Bing Search API) en mogelijk door een technische samenwerking tussen Perplexity en Microsoft Bing, gezien de betrokken zoekvolumes.

In de loop van de tijd heeft Perplexity zijn architectuur ontwikkeld om meer onafhankelijk te worden. Het bedrijf heeft zijn eigen PerplexityBot crawler en een intern indexerings- en rangschikkingssysteem ontwikkeld, waardoor het bepaalde webgegevens kan cachen zonder volledig afhankelijk te zijn van Bing​.

Toch blijft Bing een belangrijk onderdeel van zijn systeem, vooral om een uitgebreide dekking van het web te garanderen en snel actuele resultaten te verkrijgen. In de praktijk gebruikt Perplexity waarschijnlijk een mix van bronnen: zijn eigen index voor eerder ontdekte en veel geraadpleegde inhoud, en Bing (of andere externe zoekmachines) om ontbrekende of recente informatie aan te vullen.

Bij HyperLinker zorgen we ervoor dat al onze exclusieve sites correct worden geïndexeerd door de belangrijkste zoekmachines (Bing, Google ...), maar ook door de crawlers van de belangrijkste LLM's, zodat we een snelle en volledige indexering kunnen garanderen!

Bronnen: allthings.how, ethanlazuk.com, hyscaler.com