Idee für ein guten Algorythmus?

[Wasserflasche]

Ich möchte bei meinem Script versuchen, automatisiert Websites zu kategorisieren.
Wie würdet ihr das realisieren?

Mir fällt bisher nur eine mühsame Lösung ein:
Für jede Kategorie endlos viele Stichwörter definieren
(z.B.
Sport: Fussball, Handball, Ergebnis, Bundesliga etc.
Programmierung: Python, PHP, C++, Webframework etc.
....)

und dann prüfen, ob man eins dieser Wörter im Quelltext findet und dann dementsprechend die Kategorie zuordnet.
Wenn er nichts findet -> Kategorie Sonstiges

Habt ihr nen besseren Weg im Kopf ?

 

[T!P-TOP]

Kann man doch mit regExp lösen!?

 

[Wasserflasche]

Ja damit kann man filtern, richtig!
Aber der bisher angesprochene Algorithmus bleibt ja der gleiche. Ich muss auch bei regExp vorher für jede Kategorie viele Stichwörter definieren, damit ich es zuordnern kann. Oder sehe ich das falsch ?

Ich vermute fast, es gibt kein einfacheren Weg.... :-/

 

[T!P-TOP]

Klar, mir fällt auch keine einfachere möglichkeit ein.

Brauchst das für ne Suche?

 

[Commodore]

Das kannst du auf diese Weise vergessen, beispielsweise kann mit "Python" auch der letzte Zoobesuch gemeint sein.

Was willst du damit überhaupt bewerkstelligen? Kann der User sich nicht selbst in Kategorien einteilen? Ansonsten müsstest du vermutlich den kompletten Inhalt auf seine Semantik untersuchen und daraus filtern, in welche Kategorie er passt. Sowas ist sicherlich nicht unmöglich, aber bestimmt nichts was ein Hobbyprogrammierer schaffen kann.

 

[freak131]

das ist nicht so einfach machbar, ich denke du übernimmst dich da.

 

[Wasserflasche]

Ne wird nicht einfach.

Also wenn ich ein MetaTag "KeyWords" finde, muss ich ja nicht mehr viel machen.

Ansonsten könnte man viel vom <title> ableiten.

Werde mal bisschen recherchieren, wie andere Systeme arbeiten......

 

[sysop]

Ich würde das so machen:
Den Text in Worte zerlegen ( str_word_count() ), die Vorkommenden Worte zählen ( substr_count() )und dann das häufigste Wort als Kategorie verwenden. Gibt es die Kategorie schon, hinzufügen oder eine neue Kat anlegen.http://at.php.net/manual/de/function.str-word-count.php

 

[Wasserflasche]

Danke.
So in die Richtung hab ich auch schon gedacht.
Ich muss mir dennoch glaube ich die Arbeit machen und irgendwelche Wortgruppen generieren. Will ja nicht für jedes einzelne meist gefundene Wort ne Kategorie machen.

Fällt euch spontan eine Seite ein, die so eine automatische Kategorisierung hat?

 

[sysop]

Eine Blackliste könnte da helfen (Worte, die nicht aufgenommen werden sollen), ähnliches könnte man mit der Wortlänge machen (Worte mit mehr als x Buchstaben).
Ausserdem würde ich mir überlegen, ob du nicht nur einen Vorschlag generierst, der erst akzeptiert werden muss