AI/NLP/KE - Beсти: Язык-Мышление-ВиртРеальность..

[AiBollid]

Пользуясь моментом,
доношу, что не-только для блондиног
- но и для анти-антисемитов - подготовлена подборка
не-секретных публикаций с основных российских новостных лент
на тему Кибер-Бессмертия, Роботов в быту, и Симбиоза Человека с Планетарным Искусственным Интеллектам..

Я это называю ИИ/НЦ.. (Новая Цивилизация)..

1) subj: Вестник ИИ: AI/NLP/Semantic-Web и Киборги
http://forum.russianamerica.com/f/sh...32&postcount=1

2) subj: Robotics: Вести с полей.. сражений..
http://forum.russianamerica.com/f/sh...52&postcount=1

3) subj: AI/NLP/KE - Beсти: Язык-Мышление-ВиртРеальность..
http://forum.russianamerica.com/f/sh...24&postcount=1

4) subj: НЦ: Вести Британских Учоных для Всех
http://forum.russianamerica.com/f/sh...66&postcount=1

К сожалению,
Др Курцвeйль - пока строит МММ..
продавая завтрашнее Бессмертие за живые деньги..

Поэтому - полный цимес от этой тематики
----- смогут получить только --- участники
живого общения с нашим Добрым Айболлитом

[AiBollid]

12-MAR-2011_61.. ( http://gazeta.ru/science/2011/03/11_a_3551557.shtml )
11-MAR-2001_A... .... Лауреатом премии Тьюринга,
в этом году стал проф Гарварда Dr Лесли Вэлиант
– компьютерный теоретик, предложивший новаторские подходы
в разработке систем искусственного интеллекта,
самообучающихся алгоритмов, интеллектуального поиска
и программ распознавания образов, письма и речи

Эту компьютерную «нобелевку»-2010 год вручили Вэлианту
за «вклад в теорию алгоритмов, включая теорию приближенно правильного обучения (PAC), теорию сложности перечисления и алгебраических исчислений, а также теорию параллельных и распределённых вычислений».

Звучит заковыристо, но на самом деле с практическими воплощениями этих теорий в той или иной форме регулярно имеет дело каждый пользователь компьютера, электронной почты и цифровых "мыльниц".

Лесли Вэлианту 61 год, он родом из Великобритании, где он закончил Имперский колледж в Лондоне и Уорикский университет, преподавал, а в начале 1980-х перебрался в Гарвард. Здесь в 1984 году им и был написан труд «Теория обучающегося» – «A Theory of the Learnable», который до сих пор цитируют все теоретики и практики прикладного программирования обучаемых систем.

Собственно, главным достижением Вэлианта
стала теория приближенно правильного обучения
– Probably Approximately Correct Learning (PAC-learning),
в информатике известная просто как теория Вэлианта.

Теория представляет собой математический анализ самообучающихся алгоритмов, учитывающий, что очень важно, их вычислительную сложность: то есть объем работ, который требуется для решения задачи и получения машиной [b]вероятно наиболее истинной гипотезы[b] за эффективное время, используя приемлемый (или даже жестко заданный) объем вычислительных ресурсов. Отработав достаточное число учебных итераций, машина может научиться «предсказывать будущее», находя гипотезы, удовлетворяющие учебным данным.

Машина, таким образом, может сама, без подсказок,
научиться угадывать правильный ответ – таковым, к примеру, может стать «улыбка» в серии «не улыбок», которую должна уловить цифровая «мыльница» (данная опция, знакомая многим обладателям данного устройства, тоже выросла из вэлиантовской «теории обучающегося»).

Важным условием теории Вэлианта является именно эффективность.

Естественно, модели машинного обучения
создавались и до этого, но уровень их накопительной сложности
всегда провоцировал различные тупиковые рекурсии в алгоритмах обучения, когда определение правильной гипотезы оказывалось невозможным без подсказки, а также экспоненциальный рост вычислительных ресурсов уже на ранних стадиях обучения.

Так что эти модели оставались довольно примитивными, неавтономными (машинам требовались шпаргалки), медленными, а качество обучения – низким... ...

[AiBollid]

12-MAR-2011_61.. ( http://gazeta.ru/science/2011/03/11_a_3551557.shtml )
11-MAR-2001_B... .... Лауреатом премии Тьюринга...

Вэлиант, использовав свои предыдущие математические наработки
в теории сложности перечислений и алгебраических вычислений
(в частности, им был предложен способ
по надежному выделению класса функций,
вычисляемых наиболее эффективно), разрешил это затруднение.

Начиная с середины 1980-х в программировании обучаемых систем началась настоящая революция, поскольку были найдены инструменты, позволяющие искусственному интеллекту снижать свой уровень энтропии, полагаясь, так сказать, на собственные силы, а не внешние каналы упорядоченных данных (подсказки, сравнительные таблицы, рутинный перебор сценариев, и т. д.).

Проще говоря, компьютеры в большей мере стали «думать по-человечески».

Практическим выходом теории Вэлианта
стал целый кластер программного обеспечения, имитирующего работу интеллекта – от хорошо знакомых всем программ распознавания речи, работающих в реальном времени,
до
эффективных интеллектуальных алгоритмов, находящих наиболее релевантную информацию по запросу,
а
также до эффективных интеллектуальных алгоритмов, находящих наиболее релевантную информацию по запросу,
а также эвристических спамовых фильтров, умеющих отличать «правильные» письма от «неправильных».

PS: Среди других достижений Вэлианта, отмеченных премией ,
его труды о параллельных и распределённых вычислениях.

[AiBollid]

REF TO:
12-MAR-2011_61.. .. Лауреатом премии Тьюринга..

FROM AiBOLLID:

Странно, что ии-пацаны и не знали про такие прорывы в Гарварде.. а всё американское распознавание речи до сих пор базируется на Hidden Markov Model (HMM) for American English (VC++ версия из британского Кембриджа), умершего от зверства питерских большевиков в 1921 Андрея
Маркова..

А ии-спамовые фильтры - легко и успешно реализуются на CMU'ушных
Domain Rules Engine (ART/CLIPS.. .. JRules)..

То что Доктора выдвинули IBM и Гугл - внушает оптимизм
- остальные компании получили 2-5 лет форы в проектах обработки
Естественно-Языковых запросов и Беглом понимании устной речи в реальных условиях шума (Natural Speech Understanding in the Battlefield-Noise' Environment)

PS: Давненько я не встречал столь заказной заметки,
с таким корявым переводом см в тексте "Learnable"
«A Theory of the Learnable»

[AiBollid]

14-MAR-2011_66.. ( http://habrahabr.ru/company/abbyy/blog/115226/ )
14-MAR-2011_A1 Ответы ген директора ABBYY на вопросы читателей Хабра

Сергей Андреев ( -A- ) ------ Уважаемые читатели и писатели Хабра!
Хочу сказать спасибо всем участникам этого обсуждения за их искреннее желание сделать нашу страну лучше. Это видно во всех вопросах, заданных здесь, даже если они порой звучат жёстко и предубеждённо. Я посчитал важным ответить на вопросы, потому что ABBYY слишком давно не рассказывала о том, чем мы занимаемся, и как мы это делаем. А отсутствие информации порождает много нелепых догадок. Итак, время отвечать на вопросы.

В этих ответах я буду иногда отвлекаться к общим суждениям и общей информации, но не для того, чтобы что-то рекламировать, а чтобы лучше объяснить причины, лежащие в основе наших действий.

Начну с того, что компании ABBYY уже 21 год. Все это время мы делаем интересные продукты и технологии, известные во всём мире. Сейчас это продукты распознавания печатного и рукописного текста и словари. В будущем – это продукты, основанные на компьютерной лингвистике. Наши интересы не лежат в области потребления. Наши руководители и акционеры не ездят на роскошных автомобилях, не покупают яхт, вертолетов и дворцов, у нас нет дач на Рублевке. Нам интересно делать новые удивительные продукты, а не ходить по магазинам.

Более 70% наших доходов зарабатывается не в России. По разным оценкам, от 30% до 50% сканеров и МФУ всего мира комплектуется российским программным продуктом ABBYY FineReader. Мы довольно хорошо диверсифицированы по источникам доходов. У нас нет зависимости от российского рынка и, тем более, от его госсектора.

Мы занимаемся только тем, что нам интересно. Только тем, на что мы готовы тратить время своей жизни. Нам не интересны распилы, политика, коррупционные схемы и прочая мутная деятельность.

Мы живем в России, работаем в России, платим все налоги. Как-то даже получили грамоту от налоговой инспекции, как лучший налогоплательщик района (не знаю радоваться этому или тревожиться). Наши дети здесь учатся, и никто не собирается никуда уезжать. Всё, что у нас есть, находится здесь! Нам не всё равно, что будет с Россией. И мы готовы участвовать в полезных для страны делах. Мы тратим свое время и средства на развитие образования и на другие полезные инициативы, которые развивают отрасль ИТ в России.

Может все это и покажется кому-то слишком возвышенным, но у нас тут и правда заповедник хороших людей с хорошими и общими интересами... ...

[AiBollid]

14-MAR-2011_A2 Ответы ген дир ABBYY на вопросы читателей Хабра...
-X- Теперь давайте переключимся на вопросы по существу. Вопросов было много, много и ответов, поэтому сегодня здесь появятся пока только первый блок. В нём я отвечу на вопросы о технологии ABBYY Compreno, под которую ABBYY получила грант. Следующие блоки будут опубликованы в начале следующей недели..

-A- "… Деньги выделяются для создания технологии автоматической обработки текстов Compreno… Технология Compreno предназначена для создания систем анализа, перевода и поиска текстов на различных языках. С помощью данной технологии можно будет, например, осуществлять автоматическое составление базы данных контекста для улучшенного анализа текстов, автореферирование текстов и др..."

-Q1- Хотелось бы услышать больше конретики, с объяснениями на примерах. Я догадываюсь, что технология Compreno может использоваться при компьютерном переводе текстов, например для правильного определения структуры предложения на исходном языке – то есть для определения связей и отношений между словами в предложении на исходном языке.

Таким образом, генерация предложения на конечный язык будет проводиться с учетом всей структуры исходного предложения.

Насколько я вижу, в современных автопереводчиках такой анализ находится в зачаточном состоянии, примерно на уровне определения существительного (местоимения) и глагола к нему. Поэтому предложения современных переводчиков достаточно корявые...

-Q2- Насколько повысится качество перевода? Не получится ли так, что предложения будут генерироваться лингвистически связанными, со словами с правильными окончаниями, то есть на уровне структуры – никаких претензий не будет. Но на уровне смысла автопереводчик как генерировал белиберду, так и будет продолжать генерировать псевдоосмысленный текст?

-A1+A2- Отвечая на первые два вопроса, я хотел бы рассказать поподробнее про технологию ABBYY Compreno.

Хотя мы очень внимательно следим за разработками в этой области в мире, нам не известны аналоги созданной нами лингвистической технологии нового поколения ABBYY Compreno.

Центральным ядром создаваемой технологии служит универсальная иерархия понятий и модель отношений между этими понятиями (для специалистов: иерархия универсальных семантических значений и отношений между ними). Хотя все люди на земле говорят разными словами, но используют они очень похожую систему понятий.

Люди в разных странах ходят на работу, сидят дома, работают на компьютерах, составляют договоры, летают на самолётах, ведут переговоры. Для них строятся похожие бизнес-центры. Они находятся в похожих помещениях и пользуются похожей мебелью.

Все эти понятия и их взаимоотношения в разных развитых цивилизациях имеют гораздо больше общего, чем различного.

В дальнейшем это семантическое дерево понятий я буду назвать английской аббревиатурой USH (Universal Sematic Hierarchy) .

USH – это дерево понятий, универсальное для всех языков, толстые ветви которого являются более общими и универсальными понятиями (например, «путешествие»), а тонкие – более специфическими, но тоже универсальными понятиями (например, «командировка»).

Древесная структура позволяет обеспечить наследование свойств от предков к потомкам, благодаря которому описание новых понятий происходит быстрее, так как, чтобы описать понятие «приказ», уже не надо перечислять все характеристики понятия «документ».

Слова конкретного языка являются листочками на дереве USH.

Мы получаем возможность снимать неоднозначности. Например, в русском языке разные значения слова «управление» соответствуют понятиям на разных ветвях этого дерева, поскольку есть значение «управление» как департамент, а есть значение «управление» как действие.

Семантическое описание какого-либо конкретного языка превращается в прикрепление «листочков» – слов этого языка – к веткам USH.

Второй, но не менее важной частью технологии является
полный синтаксический разбор текста.

Синтаксис – это способ «кодирования» смысла
(для специалистов: семантических отношений) в конкретном языке.

Сами семантические отношения универсальны,
а способы их реализации в каждом языке – свои.

В каких-то языках установлен линейный порядок,
в других используются падежи, предлоги, специальные служебные слова, где-то используется всё сразу.

Для каждого языка синтаксическое описание делается заново,
но сами средства,
которые разные языки используют для кодирования смысла, перечислимы.

При описывании нового языка используется разные элементы конструктора (тот же линейный порядок, различные типы синтаксических преобразований, грамматические значения, предлоги, специальные конструкции).

Технология Compreno также успешно определяет
и более сложные синтаксические связи,
такие как замена слова «мальчик» на слово «он» в предложении (для специалистов: анафора): «Хоть мальчик и хотел поиграть, но он понимал, что у него мало времени».

Или целые пропуски в сложносочиненных предложениях
(для специалистов: эллипсис), например «он любит красное вино, а она – белое».

Выделяемые системой связи между понятиями
также выражаются в древесной структуре, фактически передают смысл написанного,
и несут важную информацию для поиска или перевода.

Таким образом, система стремится к определению смысла текста, написанного на обычном языке, позволяя машине «понять» этот текст
и трансформировать его в универсальное представление, не зависящее от языка.

Используя USH, синтаксическое описание языка,
а также статистику взаимоотношений между словами,
технология Compreno производит полный анализ текста
и при переводе его на другой язык использует слова, соответствующие правильным ветвям дерева USH и отношениям, выявленным при разборе исходного предложения.

Как вы понимаете, если для перевода нам удалось приблизить
компьютер к пониманию смысла текста, то это понимание можно использовать не только для задач перевода, но и для многих других чрезвычайно востребованных приложений.

Получение универсального представления (смысла)
дает возможность подойти вплотную к более качественному распознаванию речи, умному поиску информации, когда в качестве запроса используется естественный язык, а в качестве ответа можно получить документ, совсем не обязательно содержащий слова запроса, но зато содержащий их аналоги и правильные отношения между понятиями. Можно определять авторство документа, можно сделать реферат (выжимку из большого документа).

Можно ещё много чего сделать, когда у тебя есть
универсальная базовая лингвистическая технология ABBYY Compreno... ...

[AiBollid]

14-MAR-2011_A3 Ответы ген дир ABBYY на вопросы читателей Хабра...

-Q3- Какие проблемы решает продукт, на который выделены деньги в Сколково? Каковы области его применения? Какие новые возможности он предоставит обычным людям?

-Q4- Перечислите конкретно, в каких типах программ вы сейчас видите необходимым использовать Compreno, если бы вдруг сейчас она уже была бы полностью готова?

-A3+A4- Технология Compreno
– это универсальная лингвистическая платформа для приложений, решающих множество прикладных задач по обработке текстов на естественном языке, таких как:

1. Письменный и устный перевод с одного языка на другой;

2. Интеллектуальный поиск, в частности:

* Поиск по смыслу, а не по ключевым словам;

* Извлечение фактов и связей между объектами поиска (в т.ч. для конкурентной разведки);

* Мониторинг компаний и персоналий и построение аналитических отчетов на основе параметров разного типа. Например, при подготовке отчета на тему «Какой тариф сотовых операторов является самым популярным?» важно не только верно идентифицировать все тарифы, обсуждаемые в СМИ, но и сравнить частотность.

* Возможность получить ответы на запросы, заданные обычным языком (например, «Чем владеет Иван Иванович Бобров?»).

3. Многоязычный поиск, т.е. когда на вопрос на одном языке находятся ответы на всех языках, поддерживаемых системой;

4. Классификация и фильтрация документов;

5. Защита от несанкционированного использования информации;

6. Автоматическое реферирование и аннотирование документов;

7. Распознавание речи..

В мире сейчас не существует настолько универсальной технологии, позволяющей решить так много прикладных задач, требующих качественного лингвистического анализа текстов.

И речь идет не только о традиционных задачах, таких как перевод, но и задачах, решение которых на качественно новом уровне было невозможно в прошлом (например, автоматический поиск фактов и связей в массивах информации).

Революционность ABBYY Compreno состоит в фундаментальности подхода.

Над универсальной системой понятий и технологиями полного синтаксического и семантического анализа задумывались многие.

В своей работе мы опираемся на труды ведущих российских учёных в этой области и классическое лингвистическое образование.

Однако многие специалисты отступали перед колоссальной инженерной и лингвистической сложностью реализации этой идеи для реальных практических задач.

Передовое российское лингвистическое образование и наука дали нам очень хороший фундамент для начала и развития этой большой работы...

[AiBollid]

14-MAR-2011_A4 Ответы ген дир ABBYY на вопросы читателей Хабра...

-Q5- На что пойдут деньги? Какие ожидаются результаты? Будет ли результат новым продуктом, или он разойдется по старым?

-Q6- Проект разрабатывается уже около 10 лет. О каких-либо публичных результатах я не знаю. Не превратился ли он в долгострой с неясными перспективами? Каковы гарантии, что этот грант будет последним необходимым для выхода продукта?

-Q7- На какое время рассчитан проект, который будет реализовываться в Сколково?

-A5+A6+A7- Отвечаю на три вопроса!

В психологии известно, что ребёнка от взрослого отличает неспособность контролировать свои импульсы – и это одна из причин, почему он никогда не сможет заменить взрослого во многих видах взрослой деятельности. Так же и зрелую компанию, построенную надолго, от фирмы-однодневки отличает способность вкладываться в проекты, которые принесут плоды через годы. Читайте подробнее здесь.

Добавлю, что мы уже давно решили, что заниматься нужно только тем, в чём ты уверен, что можешь добиться самых лучших результатов в мире. Если же у тебя нет разумных оснований полагать, что ты станешь в своем деле самым лучшим в мире, то это плохой бизнес, потому что он будет сведен в итоге к ценовой конкуренции. Уникальные вещи быстро не делаются, иначе их было бы легко повторить.

Ну а теперь по сути того, чем мы занимаемся.

Работа над созданием технологии Compreno ведется уже 15 лет (на людей, которые занимаются этим и другими нашими проектами вы можете посмотреть здесь).

Дело в том, что этот проект требует серьезного научного фундамента, без которого невозможно создать работающую технологию действительно высокого качества. Фундаментальная наука, как известно, требует денег и времени.

15 лет назад началось продумывание основных концепций новой технологии.

Примерно 10 лет назад – работы по построению архитектуры, около 6 лет назад – серьезные работы по программированию базовых модулей,

а около 2 лет назад были пройдены самые серьезные технологические риски.

Проект вошел в ту фазу, которая позволяет нам с высокой степенью уверенности говорить о достижимости поставленных целей.

Результат, к которому мы стремимся, я описал в одном из предыдущих ответов.

Мы ожидаем, что коммерческие продукты для широкого применения на базе платформы Compreno появятся в течение 2-3-х лет.

Но уже сегодня мы демонстрируем технологию Compreno крупным заказчикам, Специалисты, которые видят, как работает технология уже сегодня, обсуждают с нами пилотные проекты.

Кроме того, мы готовим еще один наш продукт – библиотеку функций, доступную для других разработчиков приложений. То есть любой разработчик сможет лицензировать ядро системы и встроить эти функции в свои программные продукты.

В конце, чтобы снять сомнения в перспективности «долгостроя»,
хочу добавить, что все эти годы акционеры компании (примерно совпадающие с ее менеджментом) вместо обогащения и покупок яхт, вилл и прочего хлама вкладывают прибыль компании в совершенно новое прорывное направление.

Мы смогли построить качественный наукоемкий международный бизнес,
и считаем себя компетентными в том, чем мы занимаемся. Кому как не нам лучше знать, куда вкладывать свои деньги? Разве кто-то кроме нас может более надежно оценить правильность этого вложения? Если кто-то считает, что мы ошибаемся, и знает, как можно применить наши деньги лучше, – то могу поздравить нас всех с появлением новых бизнесменов, которые прославят нашу родину своими делами. Дорогу молодым! Ждем постов о ваших успехах!...

[AiBollid]

14-MAR-2011_A6 Ответы ген дир ABBYY на вопросы читателей Хабра...

-Q8- Хотелось бы больше узнать о системе распознавания, а именно.
Будет ли она «языконезависимой» или будет в том числе опираться
на морфологию каждого языка, как и нынешняя система в FineReader'е?

Во втором случае, планируется ли использовать открытый формат
или технологию позволяющую добавлять правила морфологии для новых языков самим пользователям? (Скажем по примеру hunspell/aspell словарей в браузерах).

-A8- Я надеюсь, что предыдущие ответы прояснили эту тему.
Если нет, уточните, пожалуйста!

-Q9- Какой профит государству и гражданам от этой технологии?
Мне интересно ее применение в чем-то кроме ваших продуктов.

-A9- Немногие знают,
что продажа библиотек функций ABBYY FineReader для разработчиков приносит нам больше доходов, чем продажа коробок ABBYY FineReader.

Мы также планируем сделать технологию ABBYY Compreno
доступной для других разработчиков, чтоб ее можно было включать в другие продукты, требующие качественной обработки текста на естественном языке.

Это подстегнёт развитие самых разных российских бизнесов, использующих Compreno для создания программ или оказания услуг.
Мы полагаем, что часть этих высокотехнологичных продуктов или услуг будет продаваться за рубеж, что в текущей ситуации преимущественно нефтегазового российского экспорта не может не радовать.

Кроме того, не надо забывать,
что создание такой технологии здесь, в России, повышает общий уровень квалификации в данной области в стране. Потому что люди, которые так хорошо понимают в прикладной лингвистике, живут, работают, платят налоги и тратят свои деньги в России, а не в Калифорнии, Мюнхене, Калькутте или Гуаньджоу.

Конференции, лекции и семинары, которые проводит ABBYY на тему искусственного интеллекта и прикладной лингвистики, проводятся в России. ABBYY поддерживает образование в этой области в наших вузах, а не в MIT или Пекинском университете. И вообще, шанс получить мировое лидерство в этой локальной области знаний есть именно у России, а не у Америки, Израиля или Индии.

Немедленный ПРОФИТ со всего этого государству и гражданам
посчитать сложновато, но вот ПОЛЬЗА очень большая,
особенно если смотреть на долгий временной горизонт...

[AiBollid]

14-MAR-11_A7 Ответы ген дир ABBYY на вопросы читателей Хабра...

-Q10- Какие технологии искусственного интеллекта используются в работе?

-A10- Для построения
языконезависимой семантической структуры
используются технологии синтаксического и семантического анализа.

Для разрешения омонимии
используются технологии классификации и машинного обучения.

-Q11- Сколько будут стоить ваши новые технологии?

-A11- Постараемся сделать так, чтобы от их применения выиграли все.

Чтобы переводчики
могли больше зарабатывать, повысив производительность труда,
чтобы заказчик мог перевести больше, а заплатить меньше.

Иначе не получается делать бизнес в современном мире.

Ты будешь успешен, только если все твои партнеры и клиенты будут успешны. Наверняка что-то будет доступно бесплатно в интернете!

-Q12- Можно ли (и будете ли?) использовать технологию Compreno
для улучшения качества распознавания текстов?

Имеется в виду,
поможет ли Compreno принимать решение в спорных случаях при дефектах на распознаваемой картинке?

Может ли Compreno
работать с неполным набором данных
и помогать делать предположения о том,
что должно находиться на плохо читаемом месте?

-A12- Видимо какие-то элементы технологии Compreno
будут использованы в системе распознавания FineReader в будущем.

-Q13- Как может ваша система помочь мне, простому строителю?

-A -Отличный вопрос!
Вы сможете сфотографировать на свой мобильный телефон мешок с сухим китайским клеем или банку с немецкой краской, нажать на кнопку «Перевод», программа распознает и переведёт китайскую и немецкую инструкции на русский язык, что поможет Вам правильно развести клей или смешать краски.

Вы сделаете Вашу работу качественно,
и она принесет радость тем людям, которые будeт жить в построенном Вами доме. Это мы и называем «помогать людям лучше понимать друг друга». Мы создаем технологии искусственного интеллекта, которые повышают качество жизни. В этом смысле мы с Вами коллеги. Вы также создаете то, что повышает качество жизни