[Perl] Определение кодировки

И всё прочее, что касается HTML
Правила форума
Убедительная просьба юзать теги [code] при оформлении листингов.
Сообщения не оформленные должным образом имеют все шансы быть незамеченными.
Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

[Perl] Определение кодировки

Непрочитанное сообщение ProFTP » 2011-02-22 23:01:23

есть файлы на разных языках

как сконвертировать весь текст c разной кодировкой в utf8??

кто как пробовал?

т.е. почему-то иногда не может определить кодировку
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Хостинговая компания Host-Food.ru
Хостинг HostFood.ru
 

Услуги хостинговой компании Host-Food.ru

Хостинг HostFood.ru

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35418
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение Alex Keda » 2011-02-23 10:45:08

/usr/ports/converters/rcctools
Убей их всех! Бог потом рассортирует...

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение ProFTP » 2011-02-23 12:27:48

один хочет чтобы определить utf8 на перле
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35418
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение Alex Keda » 2011-02-23 13:01:46

там у хреновины либа есть
пиши модуль...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение ProFTP » 2011-02-23 13:03:51

есть еще такие которые хотят без модуля, на чистом перле )))

...там сейчас нашел еще пару модулей СИшный, буду пробовать... один из них глючит пишут
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35418
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение Alex Keda » 2011-02-23 13:05:14

от модуля исходники есть
алгоритм выковыривай...
Убей их всех! Бог потом рассортирует...

Аватара пользователя
thefree
лейтенант
Сообщения: 980
Зарегистрирован: 2008-12-29 9:23:19
Откуда: Весёлая Страна

Re: [Perl] Определение кодировки

Непрочитанное сообщение thefree » 2011-02-25 15:41:16

пиздец, perldoc utf8
===
учи основы ...
Не судите меня строго, Я не волшебник, а только учусь!
http://planetbsd.ru - RSS-агрегатор *BSD по Рунету

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35418
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение Alex Keda » 2011-02-25 19:12:23

и что - там автоопределение кодировки куда-то встроенно?
а кодга одно слово в одной а другое в другой - он тоже может?
Убей их всех! Бог потом рассортирует...

Аватара пользователя
thefree
лейтенант
Сообщения: 980
Зарегистрирован: 2008-12-29 9:23:19
Откуда: Весёлая Страна

Re: [Perl] Определение кодировки

Непрочитанное сообщение thefree » 2011-02-26 14:15:19

Alex Keda писал(а):и что - там автоопределение кодировки куда-то встроенно?
а кодга одно слово в одной а другое в другой - он тоже может?
это я отвечал по поводу utf8 флага, но кто-то порезал тему.
а на твой вопрос, что тут искать и мучатся http://search.cpan.org/perldoc?Encode::Guess давно себя зарекомендовал и работает как часики.
Не судите меня строго, Я не волшебник, а только учусь!
http://planetbsd.ru - RSS-агрегатор *BSD по Рунету

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение ProFTP » 2011-02-26 15:24:29

вопрос уже не актульнай!

Encode::Guess - часто (точнее всегда) отвичает в ответ:

Код: Выделить всё

cp932 or utf8

Код: Выделить всё

iso-8859-1 or utf8

Код: Выделить всё

cp1251 or koi8-r
потому что не может определить кодировку...

или кто использовал этот модуль, чтобы было все отлично??
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение

Аватара пользователя
Alex Keda
стреляли...
Сообщения: 35418
Зарегистрирован: 2004-10-18 14:25:19
Откуда: Made in USSR
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение Alex Keda » 2011-02-26 20:01:49

Alex Keda писал(а):/usr/ports/converters/rcctools
я использовал это.
опреедляет всегда и в любых комбинациях, и всегда верно.
Убей их всех! Бог потом рассортирует...

Аватара пользователя
thefree
лейтенант
Сообщения: 980
Зарегистрирован: 2008-12-29 9:23:19
Откуда: Весёлая Страна

Re: [Perl] Определение кодировки

Непрочитанное сообщение thefree » 2011-02-27 11:44:53

ProFTP писал(а):вопрос уже не актульнай!

Encode::Guess - часто (точнее всегда) отвичает в ответ:

Код: Выделить всё

cp932 or utf8

Код: Выделить всё

iso-8859-1 or utf8

Код: Выделить всё

cp1251 or koi8-r
потому что не может определить кодировку...

или кто использовал этот модуль, чтобы было все отлично??
амне вот интересно как ты его используешь?
Не судите меня строго, Я не волшебник, а только учусь!
http://planetbsd.ru - RSS-агрегатор *BSD по Рунету

Аватара пользователя
ProFTP
подполковник
Сообщения: 3388
Зарегистрирован: 2008-04-13 1:50:04
Откуда: %&й
Контактная информация:

Re: [Perl] Определение кодировки

Непрочитанное сообщение ProFTP » 2011-02-27 13:39:01

thefree писал(а):амне вот интересно как ты его используешь?
дело в том, что в любом случае он не хотел определял кодировку точно...
видимо нужно писать свой алгоритм поверхносный (условно говоря)

и в гугле пишут, что он не определяет кодировку точно...

короче, проблема не актуальная, вопрос решен!!
кто хочет создавайте новую тему со своей проблемой...
Pеrl FAQ
perl -e 'print join"",map $$_[rand@$_],([0..9,'a'..'z','A'..'Z'])x30'
ИзображениеИзображение