Загрузка инфы с сайта "Кинопоиск"

Vale

Загрузка инфы с сайта "Кинопоиск"

Post by Vale »

Поставил последнюю версию сервера (1.09) и обнаружилась проблема с загрузкои инфы с кинопоиска. :( С IMDB грузит без проблем, а кинопоиск в пролете... Подскажите где и чего подправить (подозреваю что в сервере имеются скрипты парсинга страниц сайта) что бы устранить данную проблему.

P/S Огромный респект разработчику за данный софт! И как это я его раньше не обнаружил :shock:
Eugene
Posts: 2805
Joined: Tue Sep 16, 2008 7:30 pm

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Eugene »

Vale wrote:Поставил последнюю версию сервера (1.09) и обнаружилась проблема с загрузкои инфы с кинопоиска. :( С IMDB грузит без проблем, а кинопоиск в пролете... Подскажите где и чего подправить (подозреваю что в сервере имеются скрипты парсинга страниц сайта) что бы устранить данную проблему.
Обновите программу до версии 1.10, были изменения, вызов редактирования скриптов в той же форме, что и загрузка.
Vale

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Vale »

Eugene wrote:Обновите программу до версии 1.10, были изменения, вызов редактирования скриптов в той же форме, что и загрузка.
:!: Поставил... Попробовал... ШИКАРНО!!! :)
Спасибо!
Vale

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Vale »

Ну вот... :( Опять косячек вылез...
На одной машине (тестирую сервера) после обновления все покатило как по маслу, а вот на серваке проблема не исчезла :shock: Начал копаться в скрипте и вот что обнаружил...
На первой машине (где тестирую HMS и учусь с ним работать, ос-W7) в переменную HtmlText, как и ожидалось, прилетает текст страницы которую потом парсерим. А вот на сервере (ос-W2003) в эту переменную прилетает пустая строка! Ниже код которым проверял:

==========================================
var
IMDBItem, ActorItem, TitleItem: THmsIMDBItem;
IMDBInfo: THmsIMDBInfo;
begin
IMDBInfo := THmsIMDBInfo.Create;
try
ShowMessage(HtmlText);
HtmlText := HmsRemoveLineBreaks(HtmlText);
.........
finally
IMDBInfo.Free
end
end.
==========================================

Куда рыть дальше?

И сразу возник еще вопросик... Попытался сделать "финт ушами" и на первой машине загрузив данные с "кинопоиск" сохранил их в XML, хотел их загрузить на сервере, но с удивлением обнаружил, что загрузки-то там нет :) А для чего тогда эта возможность сохранения? Или их нужно как-то по другому загружать?
Eugene
Posts: 2805
Joined: Tue Sep 16, 2008 7:30 pm

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Eugene »

Vale wrote:Ну вот... :( Опять косячек вылез...
На одной машине (тестирую сервера) после обновления все покатило как по маслу, а вот на серваке проблема не исчезла :shock: Начал копаться в скрипте и вот что обнаружил...
На первой машине (где тестирую HMS и учусь с ним работать, ос-W7) в переменную HtmlText, как и ожидалось, прилетает текст страницы которую потом парсерим. А вот на сервере (ос-W2003) в эту переменную прилетает пустая строка! Ниже код которым проверял:

==========================================
var
IMDBItem, ActorItem, TitleItem: THmsIMDBItem;
IMDBInfo: THmsIMDBInfo;
begin
IMDBInfo := THmsIMDBInfo.Create;
try
ShowMessage(HtmlText);
HtmlText := HmsRemoveLineBreaks(HtmlText);
.........
finally
IMDBInfo.Free
end
end.
==========================================

Куда рыть дальше?
Наверно можно обновить Internet Explorer. Также есть еще переменная HtmlBody, но в ней переформатированный текст, поэтому строки поиска могут не работать.
Vale wrote: И сразу возник еще вопросик... Попытался сделать "финт ушами" и на первой машине загрузив данные с "кинопоиск" сохранил их в XML, хотел их загрузить на сервере, но с удивлением обнаружил, что загрузки-то там нет :) А для чего тогда эта возможность сохранения? Или их нужно как-то по другому загружать?
Страницы это HTML, не XML, для сохранения и загрузки думаю можно использовать TStringList.
Vale

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Vale »

Eugene wrote:
Vale wrote:Ну вот... :( Опять косячек вылез...
Наверно можно обновить Internet Explorer. Также есть еще переменная HtmlBody, но в ней переформатированный текст, поэтому строки поиска могут не работать.
Не исключено... Сейчас попробую...
Eugene wrote:
Vale wrote: И сразу возник еще вопросик... Попытался сделать "финт ушами" и на первой машине загрузив данные с "кинопоиск" сохранил их в XML, хотел их загрузить на сервере, но с удивлением обнаружил, что загрузки-то там нет :) А для чего тогда эта возможность сохранения? Или их нужно как-то по другому загружать?
Страницы это HTML, не XML, для сохранения и загрузки думаю можно использовать TStringList.
Нет, тут Вы меня не поняли. :) Я делаю следующее:
На тестовойм компе вхожу в редактирование инфы фильма -> загрузка с "кинопоиск" -> получаю инфу с "кинопоиск" -> в левом окне "Информация о медиа-ресурсе" выбираю строку "Кинопоиск" -> жимкаю правую кнопку мышки и в выпавшем меню выбираю "Сохранить в файле"/XML. И полученный результат, как я полагал, потом можно будет загрузить на сервере. Но как теперь сохраненную инфу подгрузить я не нашел.
Eugene
Posts: 2805
Joined: Tue Sep 16, 2008 7:30 pm

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Eugene »

Vale wrote:
Eugene wrote:
Vale wrote: И сразу возник еще вопросик... Попытался сделать "финт ушами" и на первой машине загрузив данные с "кинопоиск" сохранил их в XML, хотел их загрузить на сервере, но с удивлением обнаружил, что загрузки-то там нет :) А для чего тогда эта возможность сохранения? Или их нужно как-то по другому загружать?
Страницы это HTML, не XML, для сохранения и загрузки думаю можно использовать TStringList.
Нет, тут Вы меня не поняли. :) Я делаю следующее:
На тестовойм компе вхожу в редактирование инфы фильма -> загрузка с "кинопоиск" -> получаю инфу с "кинопоиск" -> в левом окне "Информация о медиа-ресурсе" выбираю строку "Кинопоиск" -> жимкаю правую кнопку мышки и в выпавшем меню выбираю "Сохранить в файле"/XML. И полученный результат, как я полагал, потом можно будет загрузить на сервере. Но как теперь сохраненную инфу подгрузить я не нашел.
Сохранить и загрузить можно в дереве папок по правой кнопке "мыши", пути к файлам должны быть одинаковыми или использовать скрипты сохранения/загрузки метаданных (Настройки-Обработка), метаданные сохраняются в том же каталоге что и файла фильмов с расширением hmi.
Возможность сохранения может использоваться в различных целях, необязательно в данной программе.
Vale

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Vale »

И так...
Обновление IE помогло, на сервере стоял шестой версии и никак не желал работать с ДМС выдавая ему в скрипт пустую строку. Сейчас (после обновления) восьмая версия и работает без косяков. :)
С сохранением и загрузкой методанных не особо удобно работать, нужно по каждой папке пройтись и сохраниться (и наоборот) :? Хотя конечно это сугубо субъективное мнение ;)
Евгений, я сам дельфист с большим стажем и прекрасно знаю fsScript (сам являюсь лицензированным обладателем еще со второй версии Fast Report) и мне хотелось бы получить описание специфичных объектов, переменных и функций ДМС для fs (если конечно же такое существует), тогда многим бы смог помочь по скриптам (в плане их написания) :)
Eugene
Posts: 2805
Joined: Tue Sep 16, 2008 7:30 pm

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Eugene »

Vale wrote:И так...
С сохранением и загрузкой методанных не особо удобно работать, нужно по каждой папке пройтись и сохраниться (и наоборот) :? Хотя конечно это сугубо субъективное мнение ;)
Достаточно папки "Все фильмы".
Vale wrote: Евгений, я сам дельфист с большим стажем и прекрасно знаю fsScript (сам являюсь лицензированным обладателем еще со второй версии Fast Report) и мне хотелось бы получить описание специфичных объектов, переменных и функций ДМС для fs (если конечно же такое существует), тогда многим бы смог помочь по скриптам (в плане их написания) :)
Описания есть только в рамках справочника, справа от редактирования скрипта. Думаю, что проще всего делать копии существующих скриптов и вносить в них требуемые изменения.
Vale

Re: Загрузка инфы с сайта "Кинопоиск"

Post by Vale »

Eugene wrote:
Vale wrote:И так...
С сохранением и загрузкой методанных не особо удобно работать, нужно по каждой папке пройтись и сохраниться (и наоборот) :? Хотя конечно это сугубо субъективное мнение ;)
Достаточно папки "Все фильмы".
Понятно...
Eugene wrote:
Vale wrote: Евгений, я сам дельфист с большим стажем и прекрасно знаю fsScript (сам являюсь лицензированным обладателем еще со второй версии Fast Report) и мне хотелось бы получить описание специфичных объектов, переменных и функций ДМС для fs (если конечно же такое существует), тогда многим бы смог помочь по скриптам (в плане их написания) :)
Описания есть только в рамках справочника, справа от редактирования скрипта. Думаю, что проще всего делать копии существующих скриптов и вносить в них требуемые изменения.
Описания стандартных классов и т. п. мне не нужны, а вот присущие хмс описаны далеко не все. По большому счету меня интересует только класс TRegExpr. Вот о его рег. выражениях хотелось бы узнать поподробней, так как в справочнике об этом ничего нет.
В новой версии обнаружился баг, все в той же загрузке инфы. В прошлой версии (проверил специально) первый актер из списка в окне "Информация о медиа-ресурсе" в окне загрузки, попадал в список "Актеры", в новой версии этого не происходит :( Вообще хотелось бы что бы не первый актер попадал в список а все (если конечно это не сильно сложно).
Post Reply