Блог экспериментатора инженера-разработчика: Infanty.
Я пишу how-to статьи на редкие темы или статьи обзоры - для себя и тех кто со мной работает.
Блог существует при поддержке: "Оккупационных сил Марса".

BigData и AI, часть 6: нейронная сеть без дополнительных алгоритмов не может быть основой для ИИ

При первом знакомстве с нейронными сетями создаётся впечатление, что это идеальная «технология» для построения искусственного интеллекта (artificial intelligence). Так как их главным плюсом является способность справляться со сложными нелинейными функциями и находить зависимости между различными входными данными. Но для этого необходим «достаточный» коллекций данных для обучения нейронной сети, который в большинстве случаев нельзя создать «вручную».

BigData и AI, часть 5: Сравнение алгоритмов поисковых систем нового поколения

В июле 2010 года поисковый стартап Metaweb разрабатывающий технологию семантической разметки материалов размещённых в сети интернет и поддерживающий открытую базу знаний Freebase (12 млн людей, мест и объектов, связанных друг с другом), был куплен компанией Google. По мнению экспертов сумма сделки должна составлять не менее нескольких миллионов долларов.

BigData и AI, часть 4: Знания по ИИ имевшиеся у меня перед началом проекта в области ИИ

В данный момент очень просто построить небольшие програмы использующие простой ИИ и одну методологию / алгоритм. Но при попытке улучшить ИИ в такой программе, выявляется десятки, а то и сотни частных случаев для решения каждого из которых нужно применить свою методологию / алгоритм. С увеличением числа используемых алгоритмов, квадратично растёт и количество данных для обучения и тестирования основного алгоритма программы и незаметно небольшая программа превращается в BigData решение.

BigData и AI, часть 1-3: из прошлого в будущее и немного о настоящем программ в области ИИ

В годы когда ещё не существовали чат-боты или такие программы как: Siri, Microsoft Cortana, Google Now или Amazon Echo, поступило предложение поучаствовать в качестве архитектора при разработке подобного приложения. На первом этапе разработки - предполагалось, что приложение будет отвечать на вопросы пользователя (как чат-бот) и выполнять несложные действия используя API других программ (по концепции было очень похоже на Siri). На втором этапе разработки - программа должна была отвечать на вопросы по конкретному тексту новости или статьи. А на третьем этапе разработки - предоставлять сокращённый пересказ статьи на одном из нескольких заданных языках. В итоге должна была получиться поисковая система умеющая не просто искать документы на определённых сайтах, но и удалять из выдачи религиозно опасные тексты, давая краткий пересказ любого из оставшихся в поисковой выдаче документов на арабском, берберском, французском или русском языке.

Запускаем CGI / FastCGI приложение используя nginx с проксированием в сервер приложений: Apache 2.4

На одном из серверов, где в качестве веб-сервера установлен: nginx, понадобилось запустить FastCGI. Можно было бы установить fcgiwrap или spawn-fcgi. Но было решено кэшировать запросы на nginx, при необходимости проксировать их на Apache, а уже он "из коробки" умеет работать с FastCGI. Таким образом Apache выступает в качестве сервера приложений, а не просто веб-сервера.

Инструкция по переименованию "ядер" Solr, а так же по удалению Solr 4.x

По умолчанию ядро Apache Solr имеет название: "collection 1". Для переименования его во что-то более информативное нужно переименовать каталог: "/opt/solr/solr/collection1", набрав в консоли, например...

Доступ к Solr 4.x по HTTP с авторизацией

Любой желающий может получить доступ к Apache Solr пройдя по адресу http://x.x.x.x/:8983/solr/ и поменять его настройки, если не позаботится о настройке доступа к нему - на основании пароля.
Аутентификация будет обязательна для любых запросов пока пользователь не авторизуется. Авторизация хранится в сессии. Доступ может быть разделён как по ролям так и по функционалу к которому разрешён доступ.

Solr 4.x в Ubuntu: от установки до настройки

Рассмотрим установку Solr 4.x (установка версии 5.x несколько отличается) в Ubuntu 14.04 (или старше). Для начала установим Java. А после скачиваем Apache Solr и распаковываем дистрибутив в: "/opt/solr" (каталог "/opt" предполагает установку программного обеспечения не из репозиториев).