 | |  |
 Posted: Mon Jun 16, 2008 12:24 am |
 |
|
| McCoder |
| Начинающий тестер |
 |
 |
| Joined: 01 Jan 2008 |
| Posts: 27 |
|
|
|
|
|
 |
|
| Binary wrote: | | S_talker wrote: | | Binary wrote: | | 406 выдаётся, когда [...] сервер отдаёт неверный Content-Type, он контроллируется библиотекой feedparser, так что без её хака ничего тут не исправить. |
Однозначно надо что-то решать... Чуть ли не 90% лент, которые я пытаюсь зарегить, не парсятся... из-за такой мелочи, по сути  |
я бы не назвал это мелочью... я еще могу понять text/xml, хотя, это тоже не верно, но когда выдают text/html да еще и цп1251 - это мелочь?? ну да ладно, а какие есть варианты? библиотека на такие фиды мне выдает, что xml-not-well-formed... большая просьба посмотреть, как поступает pyrss, если у кого есть такая возможность!!! |
Можно вообще забить на параметр Content-Type, он не важен. Т.к. важно чтобы кодировка была в начале самого Xml документа.
Вот хочу поделиться ошибками в RSS лентах, которые сам встретил:
1. Сам столкнулся давно, но стояла не остро:
Это невалидный RSS документ, когда в нем присутствуют неэкранированные символы с кодом <32 , и такое бывает.
Напрмер ленты для torrents.ru, т.к. их сделал пользователь, то там достаточно много невалидных лент, с непечатными символами.
Проанализировав, ленты с torrents.ru понял что там есть еще один баг покруче, его самостоятельно не исправишь:
баг в ленте:
| Code: | | <title>Сначала 2 (сезон второй) / D.C.II S.S. ~Da Capo II Second Season~ / ～ダ・カーポII セカンドシーズン～ [JAP+SUB] [720p, 1280x720] (Окамото Хидэки / 岡Ĉ</title> |
А именно после кода Ĉ нет ;, или это просто заголовок неправильно обрезается до необходимой длинны, или это баг от форума.
Это вот из этой раздачи, только там тема похоже обновилась.
А раньше мне такая лента встретилась на одном башорг сайте, непомню каком.
2. В ленте в конце посторонние символы, раньше их небыло: | Code: | | </item></channel></rss>ABC |
3. Еще естественно надо как-то отслеживать, что ленты уже нет на сервере, сам заметил добавил раньше ленту: http://bash.org.by/bash2/rss.php, а её больше нет.
Так же после реорганизации недоступен: http://ug.gotdotnet.ru/GetRSS.aspx?type=MEETINGS.
Причем проверкой кода HTTP просто так не отделаешься, там тебе скажут ошибку 403, а в другом месте выдадут свою HTML страницу с ошибкой.
Не валидных лент всего 1% в интернете, и то не валидны они из-за одного сообщения, которое вставил пользователь, а через некоторое время плохое сообщение из неё пропадает и лента становиться опять нормальная, так что для устойчивой работы сервиса было бы неплохо учесть это и самостоятельно исправлять поток данных, т.к. если авторы допустили к публикации такие ленты, то врядли исправят они этот баг, и надо самостоятельно перед подачей в XML парсер экранировать эти символы.
Сам с этой задачей еще не справился.
В бесплатном rss агрегаторе можно и не проверять некоторые ошибки, но это только себе дороже, т.к. в таком случае данные будут закачиватся впустую, это лишний трафик и время затраченное на их обработку.
Идеально оформленная RSS лента это сказка, в нашем несовершенном мире. |
|
_________________
 |
|
|
|
| | |
| Posted: Sun Jul 13, 2008 7:52 am |
|
|
|
господа ученые и авторитеты..
плиз, создайте наконец команды, на лентах чтоб были..
просто необходимы: запрос последних новостей, и настройка получения сообщений что были пока в офлайне находился..
ведь что толку с лент, если новости редко редко видишь с них.. потому как джид свой в онлайн включаю лишь иногда, не круглосуточно же есть возможность сидеть..
а ленты надо  |
|
|
|
|
| Posted: Sun Jul 13, 2008 10:59 am |
|
|
| Binary |
| Разработчик |
 |
|
| Joined: 17 Dec 2004 |
| Posts: 1712 |
| Location: Омск |
|
|
|
|
|
|
| сообщения отправляются независимо от статуса пользователя на bare jid, поэтому должны доходить в оффлайн. |
|
_________________
And I'm feeling good! |
|
|
|
| Posted: Sun Jul 13, 2008 11:11 am |
|
|
| grumbler |
| Отметившийся |
|
|
| Joined: 31 May 2008 |
| Posts: 8 |
| Location: Екатеринбург |
|
|
|
|
|
|
| Binary wrote: | | сообщения отправляются независимо от статуса пользователя на bare jid, поэтому должны доходить в оффлайн. |
Они доходят в оффлайн, но не кадый раз... |
|
|
|
|
| Posted: Sun Jul 13, 2008 11:11 am |
|
|
| Binary |
| Разработчик |
|
|
| Joined: 17 Dec 2004 |
| Posts: 1712 |
| Location: Омск |
|
|
|
|
|
|
| grumbler wrote: | | Binary wrote: | | сообщения отправляются независимо от статуса пользователя на bare jid, поэтому должны доходить в оффлайн. |
Они доходят в оффлайн, но не кадый раз... |
отправляются на bare-jid, статус не смотрится вообще, так что тут уже не к транспорту предъявляйте. |
|
_________________
And I'm feeling good! |
|
|
|
| Posted: Sun Jul 13, 2008 12:21 pm |
|
|
| Alexandr Gert |
| Отметившийся |
|
|
| Joined: 13 Jul 2008 |
| Posts: 4 |
| Location: Россия, Екатеринбург |
|
|
|
|
|
|
Привет!
Что-то не работает rss.jrudevels.org сегодня, еще вчера вечером все было работоспособна.
В чем проблема?
Заранее спасибо.
Ой...заработал через 10 минут как написал это сообщение.
Огромное спасибо |
|
|
|
|
| Posted: Sun Jul 13, 2008 12:35 pm |
|
|
| Alexandr Gert |
| Отметившийся |
|
|
| Joined: 13 Jul 2008 |
| Posts: 4 |
| Location: Россия, Екатеринбург |
|
|
|
|
|
|
Еще вопрос: почему контакты подписки в оффлайне? Это так и должно быть или это грабли?
Ой, переподключился и все контакты RSS стали в онлайне, прощу прощения, мои "руки" |
|
_________________
--
Всего наилучшего,
Александр Герт |
|
|
|
| Posted: Fri Jul 18, 2008 11:25 pm |
|
|
| Alexandr Gert |
| Отметившийся |
|
|
| Joined: 13 Jul 2008 |
| Posts: 4 |
| Location: Россия, Екатеринбург |
|
|
|
|
|
|
| Ну вот, опять сервис в оффлайне. Эта я что-то не так делаю или и впрям RSS подвисает временами? |
|
_________________
--
Всего наилучшего,
Александр Герт |
|
|
|
| Posted: Sat Jul 19, 2008 12:37 am |
|
|
| Binary |
| Разработчик |
|
|
| Joined: 17 Dec 2004 |
| Posts: 1712 |
| Location: Омск |
|
|
|
|
|
|
| Alexandr Gert wrote: | | Ну вот, опять сервис в оффлайне. Эта я что-то не так делаю или и впрям RSS подвисает временами? |
транспорт не стабилен и в ближайшее время его стабилизации не предвидится.. |
|
_________________
And I'm feeling good! |
|
|
|
| Posted: Sat Jul 19, 2008 12:42 am |
|
|
| Alexandr Gert |
| Отметившийся |
|
|
| Joined: 13 Jul 2008 |
| Posts: 4 |
| Location: Россия, Екатеринбург |
|
|
|
|
|
|
| Binary wrote: | | Alexandr Gert wrote: | | Ну вот, опять сервис в оффлайне. Эта я что-то не так делаю или и впрям RSS подвисает временами? |
транспорт не стабилен и в ближайшее время его стабилизации не предвидится.. |
Понятно, спасибо за разъяснения! |
|
_________________
--
Всего наилучшего,
Александр Герт |
|
|
|
| Posted: Wed May 20, 2009 2:36 pm |
|
|
| Vindicar |
| Отметившийся |
|
|
| Joined: 22 Mar 2009 |
| Posts: 8 |
|
|
|
|
|
|
|
Очень прошу добавить команды. Хоть через ad-hoc, хоть через чат.
Хотя бы примитив, вроде "N последних записей" или "записи за последние N дней".
И еще, если отобрать подписку - сообщения идти перестанут? |
|
|
|
|
| Posted: Thu May 21, 2009 6:58 pm |
|
|
| Binary |
| Разработчик |
|
|
| Joined: 17 Dec 2004 |
| Posts: 1712 |
| Location: Омск |
|
|
|
|
|
|
| Vindicar wrote: | Очень прошу добавить команды. Хоть через ad-hoc, хоть через чат.
Хотя бы примитив, вроде "N последних записей" или "записи за последние N дней". |
К сожалению, транспорт писался на коленке и за один вечер, и его надо полностью переделать, чтобы этот функционал реализовать...
| Quote: | | И еще, если отобрать подписку - сообщения идти перестанут? |
да, только убедитесь, что на момент подписки транспорт не лежит |
|
_________________
And I'm feeling good! |
|
|
|
| Posted: Tue Jun 02, 2009 8:15 pm |
|
|
| Vindicar |
| Отметившийся |
|
|
| Joined: 22 Mar 2009 |
| Posts: 8 |
|
|
|
|
|
|
|
| Что-то стало странновато. Пересылает по три раза одни и те же записи. |
|
|
|
|
| Posted: Tue Jun 02, 2009 8:27 pm |
|
|
| grumbler |
| Отметившийся |
|
|
| Joined: 31 May 2008 |
| Posts: 8 |
| Location: Екатеринбург |
|
|
|
|
|
|
| Vindicar wrote: | | Что-то стало странновато. Пересылает по три раза одни и те же записи. |
У меня нормально как минимум сегодня. читаю RSS с bash.org.ru - дублирования нет
А в какие-то моменты бывает что пару дуюлей получаю, но редко |
|
|
|
|
| Posted: Wed Jun 03, 2009 2:22 pm |
|
|
| Vindicar |
| Отметившийся |
|
|
| Joined: 22 Mar 2009 |
| Posts: 8 |
|
|
|
|
|
|
|
|
|
|
|
| JRuDevels Forum Index » Серверная часть [Server-Side] |
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
|
All times are GMT + 3 Hours
Page 3 of 4
Goto page Previous 1, 2, 3, 4 Next
|
|
|
|
|
