Wednesday, January 09, 2008

Heise Full Content News Feed mit Yahoo Pipes

Problem? Der Newsfeed von Heise heise online News enthält lediglich die Titel der News, aber keinerlei Newsinhalt. Wie könnte man sich einen Newsfeed basteln, der Titel und gesamten Inhalt der News liefert?

Ich hatte Yahoo Pipes schon fast wieder vergessen, was können die nochmal?

Like Unix pipes, simple commands can be combined together to create output that meets your needs:

  • combine many feeds into one, then sort, filter and translate it.
  • geocode your favorite feeds and browse the items on an interactive map.
  • power widgets/badges on your web site.
  • grab the output of any Pipes as RSS, JSON, KML, and other formats.

Sounds good? Learn more....

Und ob das gut klingt! Es hat dann zwar nicht gleich auf Anhieb ganz so wunderbar funktioniert, letztendlich aber doch: Wie funktionierts? Eigentlich recht übersichtlich:
  • "Fetch Feed" Modul holt den vorhandenen Heise Newsfeed (er wird in eine interne Struktur von "Items" geparsed, auf die man dann z.B. mit item.summary oder item.title Zugriff hat)
  • "Truncate" entnimmt nur die ersten 10 Einträge
  • "Loop" ruft für jeden Eintrag
    • "Fetch Page" auf, die Seite des Newsbeitrags selber wird geholt und durch Angabe eines Von- und Bis-Strings der Nachrichtentext herausgeschnitten
    • der Ausschnitt wird im Item (item.content) abgelegt
  • "Rename" benennt item.content.content dann noch in "description" um. (Für RSS Feeds muss das "description" heißen)
  • "Pipe Output" gibt das Ergebnis aus
Fazit? Irgendwie schon faszinierend. Und dafür dass man das mit einem graphischen Tool im Webbrowser zusammenklickt/schiebt/konfiguriert (kann man da Programmieren dazu sagen? Immerhin ist eine Loop dabei?), kann man scheinbar doch ganz faszinierende Funktionalitäten kreieren. Und wenn man sich überlegt, dass es mehr solcher Tools im Internet gibt, siehe z.B. sowas wie Dapper: The Data Mapper (kann auch Webseiten parsen) und dass man die mit einem Tool wie Yahoo Pipes ja alle irgendwie zusammenbinden kann ohne lokal auch nur irgendetwas installieren zu müssen, ja, das ist schon faszinierend.

Irgendwer noch andere Ideen, was man mit Yahoo Pipes probieren könnte?

5 comments:

Anonymous said...

Leider funktioniert das wohl nicht mehr. Heise sperrt die Yahoo Pipes auf ihren Seiten ;(

Farthen said...

Ja, leider geht das nicht mehr. Bin auch daran gescheitert, als ich mir eine ähnliche Pipe zusammenbauen wollte... Bis ich eine andere Lösung finde, benutze ich jetzt den Feed der Google-News Ergebnisse. Der hat zwar auch nur eine Zeile Infos, aber besser als nichts... Außerdem hinkt er etwas hinterher, stört mich aber nicht wirklich sehr. Man findet den Feed hier:

feed://news.google.com/news?ned=de&hl=de&q=source%3A%22Heise+Newsticker%22&scoring=n&output=rss

Farthen said...

Oh, der Link ist wohl zu lang, um gut sichtbar zu sein. Habe eine Tinyurl draus gemacht: http://tinyurl.com/or6s59

Unknown said...

Hallo, ich suche auch immer noch einen anständigen heise feed, und nicht nur die Überschrift. Leider finde ich bei Pipes auch nichts mehr was funktioniert.

Anonymous said...

Die Pipe scheint wieder zu funktionieren. Alternativ für alle, die einen eigenen Webspace haben: http://skweez.net/heise-news-feed-fix-0-4/