JRuDevels

Jabber Russian Developers Forum.
Log in Register FAQ Memberlist Search JRuDevels Forum Index

JRuDevels Forum Index » Серверная часть [Server-Side] » rss.jrudevels.org testers wanted! Goto page Previous  1, 2, 3, 4  Next
Post new topic  Reply to topic View previous topic :: View next topic 
PostPosted: Mon Jun 16, 2008 12:24 am Reply with quote
McCoder
Начинающий тестер
Начинающий тестер
Joined: 01 Jan 2008
Posts: 27




Binary wrote:
S_talker wrote:
Binary wrote:
406 выдаётся, когда [...] сервер отдаёт неверный Content-Type, он контроллируется библиотекой feedparser, так что без её хака ничего тут не исправить.
Однозначно надо что-то решать... Чуть ли не 90% лент, которые я пытаюсь зарегить, не парсятся... из-за такой мелочи, по сути Sad

я бы не назвал это мелочью... я еще могу понять text/xml, хотя, это тоже не верно, но когда выдают text/html да еще и цп1251 - это мелочь?? ну да ладно, а какие есть варианты? библиотека на такие фиды мне выдает, что xml-not-well-formed... большая просьба посмотреть, как поступает pyrss, если у кого есть такая возможность!!!

Можно вообще забить на параметр Content-Type, он не важен. Т.к. важно чтобы кодировка была в начале самого Xml документа.

Вот хочу поделиться ошибками в RSS лентах, которые сам встретил:
1. Сам столкнулся давно, но стояла не остро:
Это невалидный RSS документ, когда в нем присутствуют неэкранированные символы с кодом <32 , и такое бывает.
Напрмер ленты для torrents.ru, т.к. их сделал пользователь, то там достаточно много невалидных лент, с непечатными символами.
Проанализировав, ленты с torrents.ru понял что там есть еще один баг покруче, его самостоятельно не исправишь:
баг в ленте:
Code:
<title>Сначала 2 (сезон второй) / D.C.II S.S. ~Da Capo II Second Season~ / ~ダ・カーポII セカンドシーズン~ [JAP+SUB] [720p, 1280x720] (Окамото Хидэки / 岡&#264</title>

А именно после кода &#264 нет ;, или это просто заголовок неправильно обрезается до необходимой длинны, или это баг от форума.
Это вот из этой раздачи, только там тема похоже обновилась.
А раньше мне такая лента встретилась на одном башорг сайте, непомню каком.

2. В ленте в конце посторонние символы, раньше их небыло:
Code:
</item></channel></rss>ABC


3. Еще естественно надо как-то отслеживать, что ленты уже нет на сервере, сам заметил добавил раньше ленту: http://bash.org.by/bash2/rss.php, а её больше нет.
Так же после реорганизации недоступен: http://ug.gotdotnet.ru/GetRSS.aspx?type=MEETINGS.

Причем проверкой кода HTTP просто так не отделаешься, там тебе скажут ошибку 403, а в другом месте выдадут свою HTML страницу с ошибкой.

Не валидных лент всего 1% в интернете, и то не валидны они из-за одного сообщения, которое вставил пользователь, а через некоторое время плохое сообщение из неё пропадает и лента становиться опять нормальная, так что для устойчивой работы сервиса было бы неплохо учесть это и самостоятельно исправлять поток данных, т.к. если авторы допустили к публикации такие ленты, то врядли исправят они этот баг, и надо самостоятельно перед подачей в XML парсер экранировать эти символы.
Сам с этой задачей еще не справился.

В бесплатном rss агрегаторе можно и не проверять некоторые ошибки, но это только себе дороже, т.к. в таком случае данные будут закачиватся впустую, это лишний трафик и время затраченное на их обработку.

Идеально оформленная RSS лента это сказка, в нашем несовершенном мире.

_________________
View user's profile Send private message Send Jabber-message Visit poster's website HabaHaba - Fast communicate
PostPosted: Sun Jul 13, 2008 7:52 am Reply with quote
приюзованный
Guest




господа ученые и авторитеты..
плиз, создайте наконец команды, на лентах чтоб были..
просто необходимы: запрос последних новостей, и настройка получения сообщений что были пока в офлайне находился..

ведь что толку с лент, если новости редко редко видишь с них.. потому как джид свой в онлайн включаю лишь иногда, не круглосуточно же есть возможность сидеть..
а ленты надо Smile
PostPosted: Sun Jul 13, 2008 10:59 am Reply with quote
Binary
Разработчик
Разработчик
Joined: 17 Dec 2004
Posts: 1712
Location: Омск




сообщения отправляются независимо от статуса пользователя на bare jid, поэтому должны доходить в оффлайн.

_________________
And I'm feeling good!
View user's profile Send private message Send Jabber-message Visit poster's website HabaHaba - Fast communicate
PostPosted: Sun Jul 13, 2008 11:11 am Reply with quote
grumbler
Отметившийся
Отметившийся
Joined: 31 May 2008
Posts: 8
Location: Екатеринбург




Binary wrote:
сообщения отправляются независимо от статуса пользователя на bare jid, поэтому должны доходить в оффлайн.


Они доходят в оффлайн, но не кадый раз...
View user's profile Send private message Send Jabber-message Visit poster's website HabaHaba - Fast communicate ICQ Number
PostPosted: Sun Jul 13, 2008 11:11 am Reply with quote
Binary
Разработчик
Разработчик
Joined: 17 Dec 2004
Posts: 1712
Location: Омск




grumbler wrote:
Binary wrote:
сообщения отправляются независимо от статуса пользователя на bare jid, поэтому должны доходить в оффлайн.


Они доходят в оффлайн, но не кадый раз...

отправляются на bare-jid, статус не смотрится вообще, так что тут уже не к транспорту предъявляйте.

_________________
And I'm feeling good!
View user's profile Send private message Send Jabber-message Visit poster's website HabaHaba - Fast communicate
PostPosted: Sun Jul 13, 2008 12:21 pm Reply with quote
Alexandr Gert
Отметившийся
Отметившийся
Joined: 13 Jul 2008
Posts: 4
Location: Россия, Екатеринбург




Привет!
Что-то не работает rss.jrudevels.org сегодня, еще вчера вечером все было работоспособна.
В чем проблема?
Заранее спасибо.

Ой...заработал через 10 минут как написал это сообщение.
Огромное спасибо Smile
View user's profile Send private message Send Jabber-message Visit poster's website
PostPosted: Sun Jul 13, 2008 12:35 pm Reply with quote
Alexandr Gert
Отметившийся
Отметившийся
Joined: 13 Jul 2008
Posts: 4
Location: Россия, Екатеринбург




Еще вопрос: почему контакты подписки в оффлайне? Это так и должно быть или это грабли?

Ой, переподключился и все контакты RSS стали в онлайне, прощу прощения, мои "руки" Smile

_________________
--
Всего наилучшего,
Александр Герт
View user's profile Send private message Send Jabber-message Visit poster's website
PostPosted: Fri Jul 18, 2008 11:25 pm Reply with quote
Alexandr Gert
Отметившийся
Отметившийся
Joined: 13 Jul 2008
Posts: 4
Location: Россия, Екатеринбург




Ну вот, опять сервис в оффлайне. Эта я что-то не так делаю или и впрям RSS подвисает временами?

_________________
--
Всего наилучшего,
Александр Герт
View user's profile Send private message Send Jabber-message Visit poster's website
PostPosted: Sat Jul 19, 2008 12:37 am Reply with quote
Binary
Разработчик
Разработчик
Joined: 17 Dec 2004
Posts: 1712
Location: Омск




Alexandr Gert wrote:
Ну вот, опять сервис в оффлайне. Эта я что-то не так делаю или и впрям RSS подвисает временами?

транспорт не стабилен и в ближайшее время его стабилизации не предвидится..

_________________
And I'm feeling good!
View user's profile Send private message Send Jabber-message Visit poster's website HabaHaba - Fast communicate
PostPosted: Sat Jul 19, 2008 12:42 am Reply with quote
Alexandr Gert
Отметившийся
Отметившийся
Joined: 13 Jul 2008
Posts: 4
Location: Россия, Екатеринбург




Binary wrote:
Alexandr Gert wrote:
Ну вот, опять сервис в оффлайне. Эта я что-то не так делаю или и впрям RSS подвисает временами?

транспорт не стабилен и в ближайшее время его стабилизации не предвидится..


Понятно, спасибо за разъяснения!

_________________
--
Всего наилучшего,
Александр Герт
View user's profile Send private message Send Jabber-message Visit poster's website
PostPosted: Wed May 20, 2009 2:36 pm Reply with quote
Vindicar
Отметившийся
Отметившийся
Joined: 22 Mar 2009
Posts: 8




Очень прошу добавить команды. Хоть через ad-hoc, хоть через чат.
Хотя бы примитив, вроде "N последних записей" или "записи за последние N дней".
И еще, если отобрать подписку - сообщения идти перестанут?
View user's profile Send private message HabaHaba - Fast communicate
PostPosted: Thu May 21, 2009 6:58 pm Reply with quote
Binary
Разработчик
Разработчик
Joined: 17 Dec 2004
Posts: 1712
Location: Омск




Vindicar wrote:
Очень прошу добавить команды. Хоть через ad-hoc, хоть через чат.
Хотя бы примитив, вроде "N последних записей" или "записи за последние N дней".

К сожалению, транспорт писался на коленке и за один вечер, и его надо полностью переделать, чтобы этот функционал реализовать...
Quote:
И еще, если отобрать подписку - сообщения идти перестанут?

да, только убедитесь, что на момент подписки транспорт не лежит Smile

_________________
And I'm feeling good!
View user's profile Send private message Send Jabber-message Visit poster's website HabaHaba - Fast communicate
PostPosted: Tue Jun 02, 2009 8:15 pm Reply with quote
Vindicar
Отметившийся
Отметившийся
Joined: 22 Mar 2009
Posts: 8




Что-то стало странновато. Пересылает по три раза одни и те же записи.
View user's profile Send private message HabaHaba - Fast communicate
PostPosted: Tue Jun 02, 2009 8:27 pm Reply with quote
grumbler
Отметившийся
Отметившийся
Joined: 31 May 2008
Posts: 8
Location: Екатеринбург




Vindicar wrote:
Что-то стало странновато. Пересылает по три раза одни и те же записи.


У меня нормально как минимум сегодня. читаю RSS с bash.org.ru - дублирования нет
А в какие-то моменты бывает что пару дуюлей получаю, но редко
View user's profile Send private message Send Jabber-message Visit poster's website HabaHaba - Fast communicate ICQ Number
PostPosted: Wed Jun 03, 2009 2:22 pm Reply with quote
Vindicar
Отметившийся
Отметившийся
Joined: 22 Mar 2009
Posts: 8




Пришло в четвертый раз. Лента sandraandwoo.com@rss.jrudevels.ru
View user's profile Send private message HabaHaba - Fast communicate
rss.jrudevels.org testers wanted!
JRuDevels Forum Index » Серверная часть [Server-Side]
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
All times are GMT + 3 Hours  
Page 3 of 4  
Goto page Previous  1, 2, 3, 4  Next
  
  
 Post new topic  Reply to topic  


Powered by phpBB © 2001-2004 phpBB Group
phpBB Style by Vjacheslav Trushkin