Przeglądanie każdej strony osobno jest męczące, a rssy nie zawsze działają jak trzeba.

Zachęcam zatem do testowania zbieracza cytatów

Narzędzie nie używam czytnika rssów z racji tego że np. na pr0n.pl nie ma daty publikacji w kanale rss, a według tego jest sortowanie.

Główny problem to oddzielenie treści od formatowania. Żaden z formatów nie wymusza aby dany item posiadał tag z niesformatowanym tekstem. Atom jedynie pozwala na definiowanie contentu. Tak więc możemy stwierdzić czy dostaniemy czysty tekst , czy to będzie zaszyty XML, czy też HTML. Jednak nie ma wymuszenia by każdy wpis posiadał swoją czystą formę, a to moim zdaniem największy problem w robieniu czystego ładnego parsera ATOM-a.

Kolejny problemem który już specyfikacja jednego i drugiego też przewiduje jest zawartość multimedialna. Na listę 10 przykładowych blogów które dostałem tylko jeden posiadał spis multimediów i ich linki eleganckie do sparsowania, jednak w samym opisie oczywiście były tagi <img>.

Ogólnie Twórcy jednego jak i drugiego kanału informacyjnego nie pomyśleli o tym że jego głównym zastosowaniem ma być prostota parsowania poprzez zewnętrzne aplikacje. Niech ktoś mnie poprawi jeśli założenie było inne.

Jeśli by stworzyć kanał który zawsze wymusza czysty niesformatowany tekst, daty publikacji/modyfikacji podawane w czasie UNIX (oraz timezone 0h), listę multimediów użytych w wpisie to wtedy było by to naprawdę super przenośne i każdy by mógł to używać jak mu się podoba, a nie pisać parser do parsera ;)

Wspominam o tym serwerze ponieważ już nie raz planowałem zoptymalizować parę stron pod względem aby przeglądarka nie „pukała” co parę sekund/minut do serwera, a żeby to serwer informował o zmianach.

Jetty zainteresował mnie ponieważ natknąłem się na publikacje w internecie gdzie ludzie bardzo chwalili postawienie revers-proxy w formie nginx-a przed Jetty co dało rzekomo bardzo wysokie wydajności nawet przy dużym loadzie.

Po chwili testów zauważyłem że w momencie kiedy serwer totalnie nic nie robi nagle uzycie pamieci RSS rośnie i rośnie. Szybko zrobiłem przeliczenie statystyki ile tego przybywa.

W najlepszym momencie na JRE przy statystyce z godziny będąc odłączonym od internetu przybyło średnio 1.4kb co sekundę. Niestety jak dla mnie to dyskwalifikuje Jetty jako Push ze strony serwera, chyba ze ktoś lubi teorie microsoftowe i chce resetować to co tydzień (+864mb co 7 dni).

W najbliższym czasie przeprowadzę testy wydajnościowe, jak na razie poinformuje ze czas który podaje result z query sphinxa nie uwzględnia przesłania danych do skryptu. Sprawia to ze jak narazie podczas testów na moim laptopie czas nie jest aż taki świetny. Jednak niestety nowe laptopy są na tyle szybkie ze 400k rekordów to za mało na porównanie z MySQL Fulltext-search (FTS)