Top 100,000 websites census · fetched 2026-09-30

Look up any website: security.txt, HTTPS, accessibility and AI crawler rules (census 2026-09)

Any of the 99,993 websites in the census: enter its domain.

Each page has a JSON twin at https://top100k.agentexchange.work/site/<domain>.json, an Atom feed at .xml and a badge at .svg (CORS open, CC BY 4.0). Grouped pages: by tld family. Below: up to 40 per tld family, ordered by rank.

Most read by AI crawlers this week

Domain pages (HTML and JSON) fetched by AI crawlers and assistants between 2026-09-25 and 2026-10-01. One response in 4 is recorded and counts are scaled back up, so these are estimates. Every path: trending.json.

com (45,411)

google.com · cloudflare.com · facebook.com · gstatic.com · googleapis.com · amazonaws.com · microsoft.com · youtube.com · apple.com · instagram.com · twitter.com · linkedin.com · googlevideo.com · googletagmanager.com · office.com · live.com · hicloudcam.com · amazon.com · azure.com · github.com · appsflyersdk.com · bing.com · googleusercontent.com · netflix.com · digicert.com · x.com · skype.com · icloud.com · pinterest.com · tiktok.com · whatsapp.com · googledomains.com · yahoo.com · googlesyndication.com · roblox.com · spotify.com · adobe.com · msn.com · qq.com · baidu.com … 45,371 more through the search box

net (6,272)

fbcdn.net · whatsapp.net · fastly.net · doubleclick.net · gandi.net · cloudflare.net · myfritz.net · b-cdn.net · azurefd.net · telekom.net · researchgate.net · azureedge.net · comcast.net · cpanel.net · sourceforge.net · statsigapi.net · launchpad.net · php.net · media.net · live-video.net · cloudns.net · speedtest.net · bitdefender.net · atlassian.net · behance.net · netflix.net · ngenix.net · slideshare.net · openx.net · ovh.net · crwdcntrl.net · singular.net · recaptcha.net · adform.net · a-mo.net · daum.net · fwmrm.net · att.net · px-cloud.net · sentinelone.net … 6,232 more through the search box

org (4,512)

wikipedia.org · wordpress.org · ntp.org · nginx.org · mozilla.org · apache.org · archive.org · lencr.org · base.org · w3.org · duckdns.org · creativecommons.org · doi.org · telegram.org · wikimedia.org · ipify.org · adsrvr.org · debian.org · gnu.org · un.org · cookiedatabase.org · arxiv.org · prodregistryv2.org · ietf.org · ampproject.org · openstreetmap.org · ieee.org · unesco.org · dyndns.org · cambridge.org · iso.org · cookielaw.org · python.org · craigslist.org · allaboutcookies.org · networkadvertising.org · frontiersin.org · hbr.org · worldbank.org · mayoclinic.org … 4,472 more through the search box

RU (3,578)

mail.ru · dzen.ru · yandex.ru · nic.ru · okcdn.ru · reg.ru · mts.ru · vkuserphoto.ru · vk.ru · telecid.ru · ok.ru · drom.ru · crpt.ru · selectel.ru · netangels.ru · timeweb.ru · ivi.ru · gosuslugi.ru · adriver.ru · wildberries.ru · bitrix24.ru · avito.ru · mhverifier.ru · consultant.ru · cmediahub.ru · ya.ru · beget.ru · rt.ru · wb.ru · pikabu.ru · stbid.ru · kontur.ru · megafon.ru · rustore.ru · gismeteo.ru · tabor.ru · rbc.ru · rutube.ru · beboo.ru · mangabuff.ru … 3,538 more through the search box

DE (2,087)

t-online.de · mobile.de · amazon.de · google.de · ddnss.de · bild.de · welt.de · ebay.de · focus.de · kleinanzeigen.de · otto.de · n-tv.de · wetteronline.de · spiegel.de · your-server.de · markt.de · joyclub.de · ladies.de · merkur.de · ionos.de · webgo.de · admatic.de · strato.de · ioam.de · web.de · zeit.de · ccc.de · heise.de · elster.de · sueddeutsche.de · check24.de · zalando.de · freenet.de · chip.de · joyn.de · idealo.de · tagesschau.de · zdf.de · tagesspiegel.de · e-recht24.de … 2,047 more through the search box

JP (1,954)

yahoo.co.jp · amazon.co.jp · rakuten.co.jp · ameblo.jp · docomo.ne.jp · hotpepper.jp · tbs.co.jp · itmedia.co.jp · dmm.co.jp · google.co.jp · suumo.jp · tenki.jp · weathernews.jp · navitime.co.jp · oricon.co.jp · mbga.jp · cmoa.jp · gamewith.jp · kakuyomu.jp · rakuten-sec.co.jp · trilltrill.jp · mamastar.jp · mechacomic.jp · jra.go.jp · alphapolis.co.jp · jra.jp · keirin.jp · dto.jp · ecnavi.jp · site777.jp · rsch.jp · ad-contents.jp · auone.jp · granbluefantasy.jp · suruga-ya.jp · takarakuji-official.jp · hatena.ne.jp · cpi.ad.jp · nicovideo.jp · adingo.jp … 1,914 more through the search box

IO (1,868)

sentry.io · github.io · adobe.io · ipinfo.io · branch.io · pushy.io · intercom.io · wpguardian.io · oxylabs.io · itch.io · liftoff.io · pendo.io · agora.io · readthedocs.io · docker.io · bidmachine.io · statuspage.io · cardgames.io · ssstik.io · segment.io · indown.io · 0xrpc.io · astrumu.io · litix.io · privacymanager.io · shodan.io · metamask.io · customer.io · trustindex.io · split.io · home-assistant.io · snapcraft.io · sslip.io · pxf.io · aditude.io · mediago.io · nexx360.io · redis.io · huntress.io · cloudx.io … 1,828 more through the search box

BR (1,464)

uol.com.br · shopee.com.br · hostgator.com.br · google.com.br · amazon.com.br · gov.br · mercadolivre.com.br · caixa.gov.br · olx.com.br · terra.com.br · locaweb.com.br · acesso.gov.br · jusbrasil.com.br · nfse.gov.br · letras.mus.br · tjsp.jus.br · xvideo.vlog.br · clickpetroleoegas.com.br · alura.com.br · nubank.com.br · kinghost.com.br · ntp.br · intelbras.com.br · usp.br · santander.com.br · magazineluiza.com.br · ifood.com.br · bb.com.br · itau.com.br · rnp.br · netshoes.com.br · abril.com.br · serpro.gov.br · estadao.com.br · sicredi.com.br · reclameaqui.com.br · mercadopago.com.br · vivo.com.br · bradesco.com.br · eb.mil.br … 1,424 more through the search box

CN (1,429)

miit.gov.cn · google.cn · eye4.cn · sina.com.cn · 360.cn · vivo.com.cn · mps.gov.cn · mioffice.cn · googleapis.cn · people.com.cn · feishu.cn · gov.cn · amazonaws.com.cn · weibo.cn · chinadaily.com.cn · sjtu.edu.cn · cib.com.cn · tsinghua.edu.cn · icloud.com.cn · news.cn · sinaimg.cn · tenda.com.cn · dbankedge.cn · jpush.cn · lenovo.com.cn · starbucks.com.cn · sina.cn · htzq.com.cn · 10086.cn · 10jqka.com.cn · wpscdn.cn · people.cn · china.com.cn · bmw-motorrad.com.cn · 189.cn · trtcube-license.cn · dnspod.cn · chinanews.com.cn · cloudbirds.cn · xyyh.com.cn … 1,389 more through the search box

UK (1,398)

bbc.co.uk · gov.uk · amazon.co.uk · telegraph.co.uk · service.gov.uk · dailymail.co.uk · independent.co.uk · google.co.uk · ebay.co.uk · ox.ac.uk · rightmove.co.uk · argos.co.uk · cam.ac.uk · ico.org.uk · nhs.uk · autotrader.co.uk · thesun.co.uk · mirror.co.uk · guardian.co.uk · express.co.uk · ucl.ac.uk · thetimes.co.uk · ed.ac.uk · metro.co.uk · tripadvisor.co.uk · eventbrite.co.uk · blogspot.co.uk · legislation.gov.uk · lse.ac.uk · standard.co.uk · next.co.uk · tfl.gov.uk · nationalarchives.gov.uk · vinted.co.uk · theregister.co.uk · manchester.ac.uk · ons.gov.uk · just-eat.co.uk · imperial.ac.uk · warwick.ac.uk … 1,358 more through the search box

IN (1,288)

amazon.in · rajasthan.gov.in · gst.gov.in · epfindia.gov.in · eci.gov.in · google.co.in · aajtak.in · goodreturns.in · indianrail.gov.in · parivahan.gov.in · screener.in · dord.gov.in · pmkisan.gov.in · linkmake.in · lnkd.in · educationportal3.in · registry.in · wcd.gov.in · admissions.nic.in · indiatoday.in · runnr.in · airtel.in · groww.in · kerala.gov.in · ctrls.in · olx.in · mca.gov.in · bajajfinserv.in · irctc.co.in · zoho.in · nobroker.in · livescore.in · mohfw.gov.in · maharashtra.gov.in · education.gov.in · porter.in · district.in · mxplayer.in · mahaonline.gov.in · npci.org.in … 1,248 more through the search box

FR (1,008)

free.fr · amazon.fr · doctolib.fr · lemonde.fr · lefigaro.fr · orange.fr · ouest-france.fr · google.fr · leboncoin.fr · lequipe.fr · ladepeche.fr · actu.fr · leroymerlin.fr · meteociel.fr · flashscore.fr · vinted.fr · tube8.fr · leparisien.fr · franceinfo.fr · cnil.fr · cnrs.fr · ec-lyon.fr · weborama.fr · rfi.fr · radiofrance.fr · letour.fr · caissedesdepots.fr · 20minutes.fr · liberation.fr · bnf.fr · ameli.fr · service-public.fr · tripadvisor.fr · laposte.fr · lesechos.fr · ebay.fr · allocine.fr · sudouest.fr · rtl.fr · francetvinfo.fr … 968 more through the search box

IT (872)

amazon.it · repubblica.it · corriere.it · gazzetta.it · ilfattoquotidiano.it · subito.it · ilmeteo.it · idealista.it · inps.it · immobiliare.it · annunci69.it · google.it · diretta.it · redd.it · libero.it · register.it · poste.it · kahoot.it · vanityfair.it · ansa.it · nirvam.it · aruba.it · sky.it · pin.it · ebay.it · lastampa.it · justpaste.it · mediaset.it · rainews.it · tripadvisor.it · vinted.it · agenziaentrate.gov.it · unibo.it · ilmessaggero.it · garanteprivacy.it · raiplay.it · tim.it · interno.gov.it · fanpage.it · ilpost.it … 832 more through the search box

edu (840)

mit.edu · harvard.edu · stanford.edu · cornell.edu · berkeley.edu · academia.edu · princeton.edu · washington.edu · umich.edu · columbia.edu · yale.edu · upenn.edu · psu.edu · ucla.edu · wisc.edu · umn.edu · uci.edu · cmu.edu · si.edu · uchicago.edu · ucsd.edu · utexas.edu · jhu.edu · ufl.edu · asu.edu · duke.edu · uiuc.edu · purdue.edu · unc.edu · nyu.edu · msu.edu · umd.edu · usc.edu · ucdavis.edu · arizona.edu · illinois.edu · colorado.edu · northwestern.edu · virginia.edu · utah.edu … 800 more through the search box

CO (821)

t.co · scdn.co · g.co · supabase.co · huggingface.co · datadome.co · goal7.co · a.co · elastic.co · ibb.co · ipapi.co · ex.co · movie-box.co · google.com.co · clinch.co · optable.co · carrd.co · strip2.co · ifconfig.co · cosmose.co · apple.co · game8.co · mercadolibre.com.co · videy.co · rentry.co · maze.co · sena.edu.co · prmutv.co · clutch.co · dian.gov.co · lever.co · kisskh.co · homecenter.com.co · falabella.com.co · vsco.co · sfile.co · flashscore.co · wplay.co · mobiledokan.co · luvyaa.co … 781 more through the search box

Other (25,191)

cloud.microsoft · youtu.be · goo.gl · endpoints.news · wa.me · zoom.us · workers.dev · t.me · actify.nl · europa.eu · bit.ly · nih.gov · discord.gg · forms.gle · dns.google · adtrafficquality.google · one.one · pki.goog · twitch.tv · pages.dev · nist.gov · who.int · linktr.ee · amon.tech · telegram.me · clarity.ms · skybridge.click · onelink.me · cdc.gov · nasa.gov · bsky.app · quickconnect.to · line.me · claude.ai · skyhigh.cloud · g.page · run.app · amzn.to · amazon.co.za · noaa.gov … 25,151 more through the search box