So haben wir geprüft

Ein Prüfprogramm hat sich als „DewlineCheck“ zu erkennen gegeben, mit Verweis auf unsere Website. Es hat sich weder als Crawler eines KI-Anbieters noch als Browser ausgegeben. Es hat die robots.txt gelesen, aus der Sitemap 100 Produktseiten per Zufall gezogen und jede Seite einmal abgerufen, mit anderthalb Sekunden Pause und ohne JavaScript. Hat ein Shop schon die robots.txt verweigert oder die ersten fünf Produktseiten mit einer Sicherheitsabfrage beantwortet, haben wir aufgehört. Auf jeder Seite haben wir drei Dinge gesucht:

• den Preis im sichtbaren Text,
• strukturierte Produktdaten nach schema.org (JSON-LD) mit Preis, GTIN, Verfügbarkeit, Marke, Versand und Rückgabe,
• ob der Preis aus den Daten genau so im Text steht.

So liest ein Agent, der eine Seite abruft, ohne sie im Browser darzustellen. Die Crawler von OpenAI und Anthropic führen nach einer Messung von Vercel und MERJ kein JavaScript aus. Was erst der Browser auf die Seite bringt, sehen sie nicht.

Eine Einschränkung vorweg: Viele Shops lassen die Crawler großer Anbieter anhand ihres Namens oder ihrer Adressen durch. Unser Prüfer zeigt, was ein Agent erlebt, der auf keiner dieser Listen steht. Das ist zum Beispiel der Einkaufsagent eines Kunden, ein Beschaffungsagent im B2B oder das Werkzeug eines neuen Anbieters.

Das Ergebnis

Gruppe 1: kein Zugang, 19 Shops. 19 von 30 Shops gaben unserem Prüfer keine Produktseite heraus:

• Elektronik und Versand: Coolblue, Cyberport, Euronics, Galaxus, MediaMarkt, notebooksbilliger, Otto, Saturn.
• Industriesensorik: Automation24, Balluff, Baumer, Conrad, Contrinex, Festo, Leuze, Pepperl+Fuchs, RS, SICK.
• Optik: Brille24.

Die meisten verweigerten schon die robots.txt, mit Statuscode 403 oder der Sicherheitsabfrage eines Content-Delivery-Netzwerks („Just a moment …“). Balluff, RS und Brille24 lieferten die robots.txt und beantworteten dann die ersten fünf Produktseiten mit einer Sicherheitsabfrage. Otto beantwortete jede Produktseite mit dem Fehler 400. SICK lieferte eine leere Hülle von vier Kilobyte. Contrinex liefert als einziger Sensorhersteller ein Profil nach dem Universal Commerce Protocol aus, also genau die Beschreibung, mit der Agenten seinen Katalog finden sollen. Unserem Prüfer gab Contrinex nach 23 Seiten keine weiteren heraus.

Gruppe 2: erreichbar, ohne JavaScript leer, 4 Shops. Hier bekommt der Agent eine Seite, aber keinen Artikel. toom liefert den Preis nur in einem Meta-Tag für soziale Netzwerke. Beschreibung, GTIN und Verfügbarkeit baut erst der Browser. expert liefert zwei Megabyte je Seite und keinen Preis im Text. Keyence liefert strukturierte Produktdaten, aber ohne Preis und ohne GTIN. Bei wenglor fanden wir weder einen Preis noch Produktdaten.

Gruppe 3: Lesepfad vorhanden, 7 Shops. Bei Hornbach stand der Preis auf 99 von 100 Seiten im Text. Alle 100 Seiten hatten strukturierte Produktdaten mit GTIN, 86 davon mit Verfügbarkeit. Auf 97 von 99 Seiten stand der Preis aus den Daten genau so im Text. Dazu kommen die Optiker Fielmann, Mister Spex, eyes + more und Apollo, der Baumarkt hagebau und der Sensorhersteller ifm. Auch in dieser Gruppe fehlt fast überall etwas:

• Versandkosten und Rückgabe in den strukturierten Daten hatten nur Mister Spex und hagebau.
• Eine GTIN fehlte bei Fielmann, eyes + more und ifm.
• Bei hagebau und ifm stand der Preis nur in den Daten und nicht im Text.

Am vollständigsten war Mister Spex: Preis im Text, GTIN auf 94 von 100 Seiten, Verfügbarkeit, Marke, Versand und Rückgabe auf allen.

Als wer geprüft wird

Unser Prüfer meldet sich als unbekanntes Programm. Ein Programm, das sich als Crawler eines großen KI-Anbieters ausgibt, kann bei manchen Shops weiter kommen. Prüft ein Shop dabei nur den Namen und nicht die Adresse, aus der die Anfrage kommt, kommt auch ein Programm durch, das sich nur als GPTBot ausgibt. Die Betreiber veröffentlichen ihre Adresslisten, damit Shops genau das prüfen können.

Für eine Aussage über den Agentenkauf braucht es deshalb zwei Angaben: als wer geprüft wurde, und welche Seiten. Eine Startseite sagt wenig über die Produktseiten, auf denen der Agent kauft. Hornbach zeigt das: Die robots.txt sperrt für alle Besucher Warenkorb, Kundenkonto und ähnliche Bereiche, aber keinen KI-Crawler, und die Produktseiten sind vollständig lesbar.

Was Händler daraus machen können

Die Reihenfolge ergibt sich aus den drei Gruppen.

1. Durchlass. Wer in Gruppe 1 steht, braucht zuerst eine Regel, welche Agenten welche Seiten sehen. Verifizierte Bots lassen sich über die Adresslisten und Signaturen ihrer Betreiber erkennen und mit Kontingenten durchlassen. Eine pauschale Sperre trifft auch die Agenten Ihrer Kunden. (Artikel 6)
2. Lesbare Seite. Preis, Verfügbarkeit und die Kerndaten gehören in das HTML, das der Server ausliefert. Wo heute erst JavaScript die Seite baut, hilft eine vorab gerenderte Fassung. Sie muss dieselben Fakten zeigen wie die Seite im Browser. Google wertet eine Fassung mit anderen Inhalten für Bots als Cloaking.
3. Vollständige Daten. Strukturierte Produktdaten mit GTIN, Preis, Verfügbarkeit, Versand und Rückgabe. Versand und Rückgabe fehlten bei 5 von 7 Shops mit Lesepfad. Google verlangt im Merchant Center für Deutschland Versandangaben, der Checkout nach dem Universal Commerce Protocol eine Rückgaberegel.
4. Gleiche Preise prüfen. Der Preis in den Daten, im Text, im Feed und im Checkout muss übereinstimmen, und das laufend. Bei Hornbach stimmte er auf 97 von 99 Seiten. Weicht er ab, kann ein Assistent einen anderen Preis nennen, als der Checkout verlangt.

Was diese Prüfung nicht zeigt

• Sie ist eine Stichprobe von 100 Seiten an einem Tag. In großen Sortimenten kann ein anderer Teil anders aussehen.
• Wir haben die Seiten nicht im Browser dargestellt. Agenten, die einen Browser bedienen, sehen mehr. Wie das aussieht, beschreibt Artikel 1.
• Ob die Crawler großer Anbieter durchkommen, zeigen erst die Server-Logs des Shops.
• Google Shopping und die Nennung in Antworten haben wir hier nicht geprüft.

Ihr Shop

Wir prüfen Ihre Produktseiten auf dieselbe Weise: 100 Seiten aus Ihrer Sitemap, verglichen mit zwei Marktbegleitern, ohne Zugang zu Ihren Systemen. Sie bekommen eine Seite mit den Zahlen je Prüfung und den drei Punkten, die Sie zuerst beheben können. Kostenlos, in fünf Werktagen. (Artikel 13)

Quellen

• Eigene Messung, 3. November 2026: 34 Shops, davon 30 prüfbar, je bis zu 100 Produktseiten aus der Sitemap, ohne JavaScript, Prüfprogramm mit eigener Kennung, eine Anfrage je Seite, 1,5 Sekunden Pause. Nicht prüfbar waren OBI und Lensbest (Sitemap nicht erreichbar), Edel-Optics (keine Produktseiten in der Sitemap) und Turck (zu viele Anfragen). Die Rohdaten je Shop stellen wir auf Anfrage zur Verfügung.
• Adresslisten der Crawler-Betreiber, etwa OpenAI (openai.com/searchbot.json) und Google (developers.google.com/crawling/ipranges), abgerufen 3. November 2026.
• Vercel und MERJ, „The rise of the AI crawler“, Dezember 2024: Die Crawler von OpenAI und Anthropic führen kein JavaScript aus.
• Google Search Central, Richtlinien zu Cloaking; schema.org, Product und Offer mit shippingDetails und hasMerchantReturnPolicy.
• Anforderungen von Google Merchant Center, Microsoft Merchant Center, OpenAI und Universal Commerce Protocol an Produktdaten, ausgewertet in unserer Recherche vom 1. November 2026.

How we checked

Our checking program identified itself as "DewlineCheck", with a link to our website. It posed neither as an AI provider's crawler nor as a browser. It read the robots.txt, drew 100 product pages at random from the sitemap and retrieved each page once, with a pause of one and a half seconds and without JavaScript. If a shop already refused the robots.txt, or answered the first five product pages with a security check, we stopped. On each page we looked for three things:

• the price in the visible text,
• structured product data following schema.org (JSON-LD) with price, GTIN, availability, brand, shipping and returns,
• whether the price in the data appears in the text exactly as it is.

This is how an agent reads a page when it retrieves it without rendering it in a browser. According to a measurement by Vercel and MERJ, the crawlers of OpenAI and Anthropic do not execute JavaScript. They do not see anything that only the browser adds to the page.

One limitation up front: many shops let the crawlers of large providers through, based on their name or their network addresses. Our checker shows what happens to an agent that is on none of these lists. Examples are a customer's shopping agent, a procurement agent in B2B or the tool of a new provider.

The result

Group 1: no access, 19 shops. 19 of 30 shops gave our checker no product page:

• Electronics and mail order: Coolblue, Cyberport, Euronics, Galaxus, MediaMarkt, notebooksbilliger, Otto, Saturn.
• Industrial sensors: Automation24, Balluff, Baumer, Conrad, Contrinex, Festo, Leuze, Pepperl+Fuchs, RS, SICK.
• Optical: Brille24.

Most of them refused the robots.txt already, with status code 403 or the security check of a content delivery network ("Just a moment …"). Balluff, RS and Brille24 delivered the robots.txt and then answered the first five product pages with a security check. Otto answered every product page with error 400. SICK delivered an empty shell of four kilobytes. Contrinex is the only sensor manufacturer that publishes a profile under the Universal Commerce Protocol, the very description agents are meant to use to find its catalogue. After 23 pages, Contrinex gave our checker no more.

Group 2: reachable, empty without JavaScript, 4 shops. Here the agent gets a page, but no product. toom delivers the price only in a meta tag meant for social networks; description, GTIN and availability are built by the browser. expert delivers two megabytes per page and no price in the text. Keyence delivers structured product data, but without price and without GTIN. At wenglor we found neither a price nor product data.

Group 3: reading path in place, 7 shops. At Hornbach, the price was in the text on 99 of 100 pages. All 100 pages had structured product data with GTIN, 86 of them with availability. On 97 of 99 pages the price from the data appeared in the text exactly as it is. Next to Hornbach are the opticians Fielmann, Mister Spex, eyes + more and Apollo, the DIY chain hagebau and the sensor manufacturer ifm. Even in this group, something is missing almost everywhere:

• Only Mister Spex and hagebau had shipping costs and returns in their structured data.
• A GTIN was missing at Fielmann, eyes + more and ifm.
• At hagebau and ifm, the price was only in the data and not in the text.

Mister Spex was the most complete: price in the text, GTIN on 94 of 100 pages, availability, brand, shipping and returns on all of them.

Who is asking

Our checker identifies itself as an unknown program. A program that presents itself as the crawler of a large AI provider may get further at some shops. If a shop checks only the name and not the address the request comes from, a program that merely calls itself GPTBot gets through as well. The operators publish their address lists so that shops can check exactly that.

A statement about agent purchasing therefore needs two pieces of information: who was asking, and which pages. A homepage says little about the product pages where the agent buys. Hornbach shows this: its robots.txt closes cart, customer account and similar areas to all visitors, but no AI crawler, and the product pages are fully readable.

What retailers can do with this

The order follows from the three groups.

1. Access. Shops in group 1 first need a rule on which agents see which pages. Verified bots can be recognised by their operators' address lists and signatures and let through with quotas. A blanket block also keeps out your customers' agents. (Article 6)
2. Readable page. Price, availability and the core data belong in the HTML the server delivers. Where JavaScript builds the page today, a pre-rendered version helps. It must show the same facts as the page in the browser. Google treats a version with different content for bots as cloaking.
3. Complete data. Structured product data with GTIN, price, availability, shipping and returns. Shipping and returns were missing at 5 of 7 shops with a reading path. Google requires shipping information in Merchant Center for Germany, and the checkout under the Universal Commerce Protocol requires a returns policy.
4. Check that prices match. The price in the data, in the text, in the feed and at checkout must match, and keep matching. At Hornbach it matched on 97 of 99 pages. If it differs, an assistant may name a different price from the one the checkout charges.

What this check does not show

• It is a sample of 100 pages on one day. In large ranges, another part may look different.
• We did not render the pages in a browser. Agents that operate a browser see more. Article 1 describes what that looks like.
• Whether the crawlers of large providers get through only shows in the shop's server logs.
• We did not check Google Shopping or mentions in answers here.

Your shop

We check your product pages the same way: 100 pages from your sitemap, compared with two competitors, without access to your systems. You get one page with the figures for each check and the three points you can fix first. Free, in five working days. (Article 13)

Sources

• Own measurement, 3 November 2026: 34 shops, 30 of them checkable, up to 100 product pages each from the sitemap, without JavaScript, checking program with its own identifier, one request per page, 1.5 seconds pause. OBI and Lensbest (sitemap not reachable), Edel-Optics (no product pages in the sitemap) and Turck (too many requests) could not be checked. Raw data per shop is available on request.
• Address lists of the crawler operators, for example OpenAI (openai.com/searchbot.json) and Google (developers.google.com/crawling/ipranges), retrieved 3 November 2026.
• Vercel and MERJ, "The rise of the AI crawler", December 2024: the crawlers of OpenAI and Anthropic do not execute JavaScript.
• Google Search Central, guidelines on cloaking; schema.org, Product and Offer with shippingDetails and hasMerchantReturnPolicy.
• Requirements of Google Merchant Center, Microsoft Merchant Center, OpenAI and the Universal Commerce Protocol for product data, evaluated in our research of 1 November 2026.