Вы здесьЗнатоки Perl-а, помогите плз: нужен автономный код для конвертации utf-8 -> windows-1251
Опубликовано пт, 08/08/2008 - 11:27 пользователем pkn
Знатоки Perl-а, помогите плз: нужен автономный код для конвертации строки utf-8 -> windows-1251 В идеале - на Perl-е, но сгодится и C или ещё что-нибудь, что можно переписать на Perl-е. Главное, чтобы код был автономный, а не ссылался на библиотеки или модули. Потому что перловый модуль Unicode::Map8 я никак не могу заставить работать на своей системе... :((
|
Вход на сайтПоиск по блогам и форумамUser menuПоследние комментарии
Kiesza RE:Беженцы с Флибусты 27 мин.
MrMansur RE:Прошу переформатировать, распознать, etc... 2 часа Океана RE:Подайте бедному копеечку на книжку с литреса... 2 дня Larisa_F RE:Национальный бестселлер (лауреаты и финалисты) 1 неделя sem14 RE:Премия «Фемина» 2 недели tvv RE:Багрепорт - 2 2 недели sem14 RE:Беляевская премия 3 недели sem14 RE:Серия "Очень прикольная книга", издательство Азбука-классика 3 недели Larisa_F RE:Что читать о блокаде Ленинграда. Подборка книг 3 дня sem14 RE:Книжная серия "Жизнь в искусстве" издательство "Искусство"... 1 месяц Larisa_F RE:Дэвид Герберт Лоуренс собрание в 7 томах том 3 1 месяц sem14 RE:Собираем серию: "Мастер серия", издательство "Лимбус". 1 месяц sibkron RE:«Словенский глагол» 1 месяц Tramell RE:Литературная премия имени И.А. Ефремова 1 месяц sem14 RE:Серия "Что есть что" издательства "Слово"(чего не хватает) 1 месяц larin RE:Оплатил, но абонемент не отображается 1 месяц epoost RE:Чарльз Брокден Браун - Wieland 2 месяца nehug@cheaphub.net RE:Ответственность. 2 месяца Впечатления о книгах
behemmoth про Дашкевич: Граф Аверин [litres] (Боевая фантастика, Детективная фантастика)
05 10 Читать это невозможно, сломался примерно на третьей странице. Не знаю, что там по содержанию, но стилистически это сочинение пятиклассника-троечника. Автор максимально отрицает сложносочинённые предложения, поэтому текст ……… Оценка: нечитаемо
gruin про Федин: Дворянин с понедельника. Часть 3 (Альтернативная история, Исторические приключения, Самиздат, сетевая литература)
04 10 Читабельны все книжки, но автроунужно сокращать длиннейшие диалоги и рассуждения Оценка: неплохо
olegych76 про Робертс: Библиотека Сталина. Вождь и его книги [litres] (История, Политика, Биографии и Мемуары, Публицистика)
04 10 С интересом скачал в аудио-версии. Ни-че-го. По сути всю книгу можно было вместить в десять страниц и две идеи: - Сталин был начитаннейшим человеком - потомки профукали его библиотеку.
mysevra про Бычков: Этика распятия (Научная фантастика)
04 10 Очень заманчиво, но мне бы изложение попроще. Оценка: неплохо
mysevra про Алатова: Неисправная Анна Том 2 [publisher: SelfPub] (Стимпанк, Самиздат, сетевая литература)
04 10 Насколько первая часть была для меня занимательной, словно отлаженный часовой механизм, настолько же «дребезжащей и разобранной» показалась вторая: то ли расписанная романтическая линия меня тяготила (другое дело намёк на ……… Оценка: неплохо
udrees про Мантикор: Город, которого нет 10: Власть Мотылька (Фэнтези, ЛитРПГ, Самиздат, сетевая литература)
03 10 Достаточно сложноватое для чтения повествование, ввиду того что главный герой все время рассуждает, и рассуждения написаны достаточно тяжелым языком. Для любителей наверное серий автора про Город которого нет, Покорившего ……… Оценка: неплохо
udrees про Мантикор: Город, которого нет 9: Власть Мотылька (Фэнтези, ЛитРПГ, Самиздат, сетевая литература)
03 10 Не знаю зачем автор создал еще одну серию «Власть мотылька», с теми же героями, что в другой серии «Город которого нет», с такими же параметрами мира, сущностями и наверное сюжетом. Наверное обе серии будут тесно связаны. ……… Оценка: хорошо
udrees про Шиленко: Смотритель маяка (Фэнтези, ЛитРПГ, Самиздат, сетевая литература)
03 10 Простая приятная книга про «жизнь» попаданца на какой-то маяк в каком-то потустороннем мире, где ночью туман сжирает все живое, а днем в океане плавают монстры, которые запросто перекусывают корабли. В общем написано доступным ……… Оценка: неплохо
udrees про Вальтер: Гниль (Боевая фантастика, Приключения: прочее, Постапокалипсис, Самиздат, сетевая литература)
03 10 Ужасная книга про ужасных персонажей, продолжение их похождений. Кто читал две предыдущие книги, знает что за психопаты – главные герои, и какие они отморозки и маньяки, любящие убивать, пытать, расчленять и поедать людей, ……… Оценка: неплохо
udrees про Каменистый: Не триумфатор (Боевая фантастика, Фэнтези, Попаданцы, ЛитРПГ)
03 10 Продолжение не скучное, хотя больших битв в этой книге нет. Понравится любителям серии, главный герой наконец-то покидает степную страну и направляется на настоящую большую войну. Снова интриги, козни, наемные убийцы. Все ……… Оценка: отлично!
udrees про Дорничев: Дворник 25-го уровня. Том 10 (Юмор: прочее, Городское фэнтези, Самиздат, сетевая литература)
03 10 Сляпанный на скорую руку высер незрелого ума. Ничего нового не придумано, сказка для взрослых. В книге полно цветных картинок, сделанных нейросетью по сюжету. Рассматривать их прикольно, как детскую книжку листаешь. Книга ……… Оценка: плохо
udrees про Дорничев: Дворник 22-го уровня. Том 9 (Юмор: прочее, Городское фэнтези, ЛитРПГ, Самиздат, сетевая литература)
03 10 Слишком простая книга, которая была совсем проходной, если бы не обилие цветных картинок, иногда по 2 на одну страницу. Они превращают книгу в детскую сказку для взрослых, листаешь себе книжку и рассматриваешь веселые картинки, ……… Оценка: неплохо |
Комментарии
Отв: Знатоки Perl-а, помогите
Text::Iconv?
Отв: Знатоки Perl-а, помогите
Он, ЕЯПП, просто интерфейс к библиотеке iconv, а я очень сомневаюсь что она у меня есть. Да я даже сам этот Text::Iconv инсталлировать вряд ли смогу. Если б мог - добился бы работы от Unicode::Map8 :((
На всяк слу, вот конфигурация моего перла:
E:\>perl -V
Summary of my perl5 (revision 5 version 8 subversion 7) configuration:
Platform:
osname=MSWin32, osvers=5.0, archname=MSWin32-x86-multi-thread
uname=''
config_args='undef'
hint=recommended, useposix=true, d_sigaction=undef
usethreads=define use5005threads=undef useithreads=define usemultiplicity=define
useperlio=define d_sfio=undef uselargefiles=define usesocks=undef
use64bitint=undef use64bitall=undef uselongdouble=undef
usemymalloc=n, bincompat5005=undef
Compiler:
cc='cl', ccflags ='-nologo -Gf -W3 -MD -Zi -DNDEBUG -O1 -DWIN32 -D_CONSOLE -DNO_STRICT -DHAVE_DES_FCRYPT -DBUILT_BY_ACTIVESTATE -DNO_HASH_SEED -DUSE_SITECUSTOMIZE -DPERL_IMPLICIT_CONTEXT -DPERL_IMPLICIT_SYS -DUSE_PERLIO -DPERL_MSVCRT_READFIX',
optimize='-MD -Zi -DNDEBUG -O1',
cppflags='-DWIN32'
ccversion='12.00.8804', gccversion='', gccosandvers=''
intsize=4, longsize=4, ptrsize=4, doublesize=8, byteorder=1234
d_longlong=undef, longlongsize=8, d_longdbl=define, longdblsize=10
ivtype='long', ivsize=4, nvtype='double', nvsize=8, Off_t='__int64', lseeksize=8
alignbytes=8, prototype=define
Linker and Libraries:
ld='link', ldflags ='-nologo -nodefaultlib -debug -opt:ref,icf -libpath:"C:\Perl\lib\CORE" -machine:x86'
libpth=\lib
libs= oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.lib advapi32.lib shell32.lib ole32.lib oleaut32.lib netapi32.lib uuid.lib ws2_32.lib mpr.lib winmm.lib version.lib odbc32.lib odbccp32.lib msvcrt.lib
perllibs= oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.lib advapi32.lib shell32.lib ole32.lib oleaut32.lib netapi32.lib uuid.lib ws2_32.lib mpr.lib winmm.lib version.lib odbc32.lib odbccp32.lib msvcrt.lib
libc=msvcrt.lib, so=dll, useshrplib=yes, libperl=perl58.lib
gnulibc_version='undef'
Dynamic Linking:
dlsrc=dl_win32.xs, dlext=dll, d_dlsymun=undef, ccdlflags=' '
cccdlflags=' ', lddlflags='-dll -nologo -nodefaultlib -debug -opt:ref,icf -libpath:"C:\Perl\lib\CORE" -machine:x86'
Characteristics of this binary (from libperl):
Compile-time options: MULTIPLICITY USE_ITHREADS USE_LARGE_FILES
USE_SITECUSTOMIZE PERL_IMPLICIT_CONTEXT
PERL_IMPLICIT_SYS
Locally applied patches:
ActivePerl Build 813 [148120]
Iin_load_module moved for compatibility with build 806
PerlEx hacks for CGI::Carp
Less verbose ExtUtils::Install and Pod::Find
instmodsh upgraded from ExtUtils-MakeMaker-6.25
24699 ICMP_UNREACHABLE handling in Net::Ping
21540 Fix backward-compatibility issues in if.pm
Built under MSWin32
Compiled at Jun 6 2005 13:36:37
@INC:
C:/Perl/lib
C:/Perl/site/lib
.
E:\>
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Если речь идет о *nix и надо сделать быстро, то может быть попробовать выполнить из perl recode(1)? А потом, на досуге, повоевать с Unicode::Map8...
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Машина - винбокс (Win XP Pro), причем не девелоперская, на ней даже make нету и я не все смогу инсталлировать (комп не мой, компании).
И задача - конвертить строку, не файл... хотя если бы был на машине recode, можно было бы сплюнуть строку в файл и напустить на него recode... но его нет.
Собственно, задача - вынуть (перловым скриптом) из ~140,000 fb2-файлов (кодировки windows-1251, windows-1252, utf-8, koi8-r, iso-8559-1) строку с названием книги и сравнить. Я могу управиться с windows-1251, windows-1252, koi8-r, iso-8559-1, но вот на utf-8 произошел затык, чтоб его...
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Мейби так:
#!/usr/bin/perluse open IN => ':utf8', OUT => ':encoding(cp1251)';
use open ':std';
print while(<>);
?
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
А ноги у этой хрени растут из модуля Encode.pm.
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Так... кажется, в моем перле есть модуль Encode::Encoder -- Object Oriented Encoder... изучаю...
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
да-да-да
можно конвертнуть двумя способами:
use Encode qw(from_to encode decode);$str = "привет";
from_to($str, "utf8", "cp1251");
print $str;
$str = "привет";
print encode("cp1251", decode("utf8", $str));
Отв: Знатоки Perl-а, помогите плз: нужен автономный код для кон
Кажись, заработало. Именно с использованием модуля Encode - спасибо, ground0!
Не обошлось без метода тыка и странностей, но вроде работает - кроме некоторых экзотических fb2-файлов, в которых указана кодировка iso-8859-1 или windows-1252, но буквы на самом деле содержатся в какой-то странной форме, типа HTML-символов, вот так:
Курс на
Если кому интересно - работает вот примерно такой код:
# NO!!! use encoding 'windows-1251';
# NO!!! use encoding 'utf-8';
use Encode;
...
my $tit = &sub_fb2_get_booktitle($des);
my $enc = &sub_fb2_get_encoding($des);
# nope... binmode(STDOUT,":utf8");
if( uc($enc) eq "WINDOWS-1252")
{
$tit = decode("iso-8859-2",$tit);
}elsif( uc($enc) eq "WINDOWS-1251" ){
$tit = decode("windows-1251",$tit);
}elsif( uc($enc) eq "ISO-8859-1" ){
$tit = decode("iso-8859-1",$tit);
}elsif( uc($enc) eq "KOI8-R" ){
$tit = decode("koi8-r",$tit);
}elsif( uc($enc) eq "UTF-8" ){
$tit = decode("utf-8",$tit); # yes, it's necessary!
}else{
printf("[%6d of %6d] Bad enc="%s" $fullfname_G\n",$curnum_G,$listsize_G,$enc);
}; # iffelse
###
# Works!!!
$tit = encode("windows-1251",$tit);
# Now tit is in win-1251
Отв: Знатоки Perl-а, помогите плз:
А можно на php? В прошлом веке я с такими проблемами часто сталкивался
тупое сопоставление
острое сопоставление
Отв: Знатоки Perl-а, помогите плз:
Ааагромадное спасибо! Переделал под Перл Ваше "острое сопоставление" - работает, саб-бака! :)) По крайней мере на тестовых двадцати файликах - работает как лялечка.
У меня, конечно, есть подозрение что где-то может и сбойнуть (я правильно понимаю, что код предполагает все utf-8 буквы двухбайтными?) но это уже поодиночке разбираться будем. Ща я его на все 100+ тысяч напущу, пусть поурчит и посмотрим что скажет...
Отв: Знатоки Perl-а, помогите плз:
Так... "острое сопоставление" все-таки слишком часто сбивается, если я правильно понимаю - на тире, кавычках, скобках и тому подобном.
Зато модуль Encode, кажется, работает.
Отв: нужен автономный код для конвертации utf-8 -> windows-1251
Питоновый код я тут где-то уже приводил