• +7 (495) 911-01-26
  • Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Враг в доме?

Враг в доме?

Окончание. Начало в No 8 

6

В предыдущей публикации мы остановились на применении искусственного интеллекта (ИИ) в образовании, причём речь шла о самых разных возрастных категориях и весьма широком спектре знаний.

Не говоря уже о том, как генеративные ИИ массово используются для обработки аудиои видеоконтента. При всей кажущейся несерьёзности таких «забав» следует иметь в виду, что общение и взаимодействие с ИИ становится естественным атрибутом обыденного сознания. О социальных аспектах этого процесса стоит поговорить отдельно, хотя навскидку можно сказать, что смена «удалённого собеседника» на виртуального, созданного ИИ, будет нарастать, и одновременно будет нарастать атомизация социумов.

Что касается образования, то здесь уместно вспомнить, что сказал «Аристотель Востока» Абу Наср Аль-Фараби (IX–X века): «Образование без воспитания – злейший враг человечества». Много позже великий русский учёный Дмитрий Менделеев высказался ещё резче: «Знание без воспитания – это меч в руках сумасшедшего». Ну и, для полноты картины, большая цитата из русского философа Ивана Ильина: «Образование без воспитания не формирует человека, а разнуздывает и портит его, ибо оно даёт в его распоряжение жизненно выгодные возможности, технические умения, которыми он – бездуховный, бессовестный, безверный и бесхарактерный – и начинает злоупотреблять. Надо раз навсегда установить и признать, что безграмотный, но добросовестный простолюдин есть лучший человек и лучший гражданин, чем бессовестный грамотей; и что формальная “образованность” вне веры, чести и совести создаёт не национальную культуру, а разврат пошлой цивилизации».

Казалось бы, прописные истины, но вспомним, как во время становления новых принципов школьного образования либеральствующие специалисты как чёрт от ладана отмахивались от воспитательной компоненты в обучении. В конце 2000-х годов, в бытность министром образования и науки РФ, Андрей Фурсенко заявил, что «главная ошибка советской школы в том, что она растила человека-творца, а задача современной школы в том, чтобы вырастить квалифицированного потребителя». И в основу реформирования отечественной системы образования были положены идеи свободного воспитания и развития личности. При этом указывалось, что «принцип свободы в воспитании основывается на идее о том, что такое воспитание, а точнее развитие, соответствует естественным, природным началам и является воплощением культурного развития». А потому школа не имеет права оказывать какое-либо воздействие на учеников, принуждать их к чему-то. Единые школьные учебно-воспитательные программы объявлялись утратившими актуальность, и рекомендовался переход на индивидуальное обучение, исходя из личностных особенностей, потребностей, способностей и интересов каждого учащегося. Мы видим, к чему это привело,– попытка скорректировать развитие юных умов в сторону понимания гражданской ответственности воспринимается порой как насилие над личностью, а стремление к хоть какой-то унификации учебников сопровождается выкриками о тоталитаризме ит.п.

Справедливости ради отметим, что унитарное государство вопросам воспитания уделяет даже больше внимания, чем образованию, поскольку на первый план выходит идеология. Впрочем, как и в так называемых «демократических» странах, где якобы отсутствует идеология, но шаг в сторону от постоянно регулируемых «ценностей и правил» ведёт к репрессиям. Во что превратилась западная школа – это отдельная песнь, вернее, реквием. Хотя впору исполнять похоронный марш и по западной цивилизации, предавшей свои святыни. Неудивительно, что 19 августа (символический день вообще-то) наш Президент подписал указ «Об оказании гуманитарной поддержки лицам, разделяющим традиционные российские духовно-нравственные ценности». В Указе, в частности, говорится: «Предоставить право обратиться с заявлением о выдаче разрешения на временное проживание <...> иностранным гражданам и лицам без гражданства, изъявившим желание переехать в Российскую Федерацию для проживания из иностранных государств их гражданской принадлежности или постоянного проживания по мотивам непринятия реализуемой этими государствами политики, навязывающей деструктивные неолиберальные идеологические установки, противоречащие традиционным российским духовно-нравственным ценностям».

Россия реально превращается в спасительный ковчег для всех, как говаривали в старину, «людей доброй воли». Но в эпоху глобального насыщения инфосферы новыми манипулятивными технологиями, открывающими дорогу социальной инженерии, опасность могут представлять не только прямые и явные враги, но и, скажем так, «дары данайцев». А уж этими дарами мы пользуемся ежедневно и ежечасно – достаточно вспомнить о наличии ИИ в современных смартфонах.


7

Но насколько актуальны угрозы, которые, по мнению вполне авторитетных специалистов, несёт с собой дальнейшее развитие ИИ?

С одной стороны, традиционные страшилки, успешно эксплуатируемые в научной фантастике и кинематографе, уже создали в умах обывателей образ суперкомпьютера (или выращенного искусственного мозга), который контролирует все доступные механизмы и коммуникации. Со временем добродушные роботы Азимова, в которых был заложен алгоритм непричинения зла человеку, трансформировались в зловещего Терминатора, созданного Скайнетом, а там и рукой подать до «Матрицы», в которой белковые существа стали своего рода «батарейками» сверхразума.

В отличие от фантастов Дэн Хендрикс, Мантас Мазейка, Томас Вудсайд из Center for AI Safety (Центр безопасности искусственного интеллекта, Сан-Франциско, США) в 2023 году издали монографию An Overview of Catastrophic AI Risks («Обзор катастрофических рисков, связанных с искусственным интеллектом»). В монографии, в частности, выделяются четыре основных направления. Первое из них – это злонамеренное использование. Речь идёт о целенаправленном применении мощных ИИ для нанесения масштабного вреда. В этот раздел авторы, естественно, включают использование способностей ИИ для пропаганды, цензуры и слежки, хотя всегда и во все времена властные структуры для этих целей использовали все достижения науки и техники.

В этом же разделе находится биотерроризм с использованием ИИ. До недавнего времени возможность спроектировать новые вирусы имело весьма ограниченное количество находящихся под контролем учёных, которые работали в лабораториях, оснащённых самым современным оборудованием. По некоторым оценкам, сейчас около 30 тысяч человек имеют образование, способности и доступ к технологиями, позволяющим создать новые патогены. Известно, что в 2022 году некая группа исследователей работала с ИИ, настроенной для генерации нетоксичных молекул, свойства которых позволяли создавать новые лекарств. Наверное, из чистого любопытства в этой лаборатории поменяли систему «поощрения» ИИ на противоположное, и теперь «вознаграждалась» токсичность. После того как, грубо говоря, поменяли плюс на минус, в течении шести часов ИИ самостоятельно сгенерировал 40000 молекул, потенциально пригодных для химического оружия. Причём многие из них были до сих пор неизвестны специалистам в области боевой химии.

Сейчас количество коммерческих и чуть ли не настольных устройств, позволяющих синтезировать ДНК или проводить с ней определённые операции, стремительно растёт, а цена на них так же стремительно падает. О методе генетического редактирования CRISPR/Cas9 и его доступности мы не раз говорили в наших публикациях. Настораживает, что авторы монографии предупреждают: даже ИИ общего назначения, типа ChatGPT, могут аккумулировать экспертную информацию о самых смертоносных патогенах вроде оспы и формулировать пошаговые инструкции для их создания. Напомним, что монография вышла в прошлом году, а в этом почему-то вдруг случилась вспышка «обезьяньей оспы».

Вторым направлением, создающим риски, специалисты из Center for AI Safety считают ИИ-гонку. Они сравнивают, и не без оснований, разработку ИИ в разных странах и корпорациях с гонкой вооружений. А это может привести к поспешной разработке ИИ с последующей передачей ему контроля. Отсюда создание автономных вооружений и использование ИИ для хакерских атак.

А со временем и возникновение автоматизированных военных конфликтов, которые могут выйти из-под контроля до того, как люди попытаются перехватить управление. В это же направление входит и стремление корпораций к выдавливанию человеческого труда, что может привести к массовой безработице и зависимости от ИИ-систем.

В третье направление входят организационные риски. Здесь имеются в виду катастрофические события, вызванные сбоем организационных процедур, то есть, проще говоря, принятие неверных решений. Отсюда аварии на атомных станциях, трагедии в сфере пилотируемой космонавтики и т.п. Предполагается, что организации, которые разрабатывают и развёртывают продвинутые ИИ, при отсутствии мощной системы безопасности могут тоже пострадать от аналогичных происшествий.

Ну и четвёртое направление – это мятежные ИИ. Здесь уже чувствуется влияние фантастических сюжетов, поскольку авторы монографии предполагают, что мы можем потерять контроль над ИИ, как только они станут умнее нас. Более того, в какой-то момент для ИИ станет оптимальным стремление к могуществу и влиянию, при этом ИИ может «притворяться» тупым исполнителем.

Во избежание этих рисков Center for AI Safety предлагают контроль, еще раз контроль и ничего кроме контроля – разумеется, не в такой формулировке, но именно к этому сводятся многостраничные рассуждения. Вопрос только в том, кто будет контролировать контролёров?


8

Другой вопрос – насколько все эти мрачноватые прогнозы имеют шансы реализоваться в обозримом будущем? И вот здесь нам стоит разобраться, что, собственно говоря, представляют собой ИИ, с которыми сейчас может пообщаться практически любой человек, имеющий доступ к сетевым технологиям.

Как уже говорилось, в основе ИИ лежит так называемая большая языковая модель (LLM, Large Language Model), то есть нейросеть, которая «тренируется» на огромных, гигабайтовых массивах текста. Нюанс в том, что нейросеть учится без оценки «правильно/неправильно» со стороны человека. То есть она, нейросеть, самостоятельно ищет внутренние закономерности. Таким образом, LLM – это алгоритм ИИ, который использует методы самостоятельного глубокого обучения и большие наборы данных для понимания, обобщения, создания и прогнозирования нового контента. В этом смысле генеративный ИИ, о котором мы говорили в предыдущей публикации, напрямую связан с LLM, разработанной для помощи в создании текстового контента. Так что практически все популярные генеративные нейросети, от YandexGPT до GPT-4, функционируют на основе LLM. Но сами по себе LLM в «чистом виде» имеют ряд ограничений, которые не позволяют их эффективно использовать. Специалисты выделяют самые основные.

Во-первых, LLM не обладает памятью, то есть каждый контакт человека с LLM ею не запоминается, и каждое общение начинается как бы с чистого листа! Отсюда невозможность корректировки последующих «диалогов» с опорой на информацию, которая могла быть получена во время диалога предыдущего. Грубо говоря, у LLM нет исторического контекста для использования в каждом новом общении. Всё это осложняется ещё и тем, что LLM работают синхронно, то есть они обрабатывают и отвечают на каждый контакт последовательно: модель должна завершить свой ответ на полученный запрос прежде чем обрабатывать следующий. А это ограничивает использование сценариев, требующих взаимодействия или одновременной обработки нескольких запросов.

Во-вторых, LLM может генерировать неверифицированный контент, или, иными словами, выдавать недостоверную или откровенно бредовую информацию. Дело в том, что LLM обучаются на огромных массивах данных, состоящих из текстов Интернета, где они изучают шаблоны и корреляции, а не фактическую точность. Поэтому в процессе генерации могут появляться непроверенные детали или явно ложная информация. При этом, что характерно, сами LLM не могут выходить в Интернет, поскольку ограничены данными, на которых их обучали. Отсюда невозможность дополнить информацию или получать её из других источников в режиме реального времени. И в этом случае нельзя рассчитывать на получение актуальных новостей, информации о последних исследованиях в той или иной области или следить за динамикой переменных данных в режиме онлайн (биржевые курсы, датчики, следящие за параметрами среды или организмов и т. п.).

И в-третьих, LLM плохо справляются с математическими задачами, особенно в области точных вычислений или решения сложных проблем. То есть LLM, скорее всего, «троечник», на скорую руку перелиставший перед уроком несколько разных учебников, а не «отличник», которого натаскали на решение конкретных задач. Поэтому они могут выполнять простые арифметические действия и следовать основным математическим правилам, но их способность решать сложные математические задачи или обеспечивать точность в многоэтапных вычислениях ограничена. По сравнению с человеческим мозгом, LLM в основном не хватает структурированного логического мышления, необходимого для безошибочного выполнения сложных операций. В этом же плане логическая «слабина» приводит к тому, что результаты, полученные при вводе одинаковых данных, при каждой обработке могут не совпадать. Причиной такого разброса является вероятностная природа алгоритмов, лежащих в основе LLM. Иными словами – модель выбирает из ряда возможных ответов, основываясь на выученных шаблонах, а не на жёстко детерминированных правилах. Поэтому LLM не является надёжным помощником при обработке информации, требующей единообразия в форматировании ответов (как автоматическое создание отчётов, таблиц, заполнение форм, извлечение данных для аналитических материалов и т.п.). А поскольку, как мы уже упоминали в самом начале списка ограничений, памятью LLM не обладает, то проигрывает самим программам.

Но все эти проблемы и ограничения снимаются с помощью так называемых ИИ-агентов.


9

Согласно общепринятому определению, агент искусственного интеллекта (ИИ-агент, AI agent) – это автономная программная единица, которая дополняет LLM. То есть агент является программой, использующей возможности LLM по обработке языка для выполнения широкого спектра задач, выходящих за рамки простого создания и понимания текста. Иными словами, агенты расширяют функциональность LLM за счёт включения механизмов взаимодействия с цифровой средой, принятия решений и выполнения действий на основе понимания языка, полученного от LLM.

Для наглядности эксперты часто сравнивают LLM с ядром операционной системы (типа Windows, Linux, macOS и др.), установленной на компьютеры и прочие устройства. Агенты же – это программы, которые работают в рамках этой системы, расширяя функциональность LLM, связывая его с инструментами и внешними сервисами, необходимыми для выполнения задачи. Короче говоря – устраняя перечисленные выше ограничения.
Так, например, в отличие от LLM, которые не сохраняют память о предыдущих взаимодействиях, агенты могут использовать механизмы памяти для запоминания и, стало быть, действовать на основе прошлых взаимодействий. То есть агенты могут поддерживать непрерывность и согласованность в долгосрочных взаимодействиях, используя «исторический» контекст для обоснования будущих ответов. Такая возможность улучшает пользовательский опыт, создавая более персонализированные и контекстуально адекватные взаимодействия. А там, глядишь, и до формирования «личности» ИИ недалеко, поскольку личность – это в первую очередь память.

В этой связи критическим фактором является взаимодействие агентов, ориентированное на конкретных персон. Агенты улучшают взаимодействие с LLM, используя память и возможности персонализации для создания более индивидуального и привлекательного пользовательского опыта. И, как говорилось выше, сохраняя контекст в течение нескольких взаимодействий, агенты могут адаптировать ответы в соответствии с предпочтениями пользователя, его историей и стилем общения. То есть эффективно моделируя целостную персону. Динамическая коррекция поведения с помощью агентов и на основе обратной связи с пользователем и его прошлых взаимодействий делает общение более естественным и похожим на человеческий диалог.

Кроме того очень важно, что, в отличие от синхронной и последовательной обработки данных LLM, агенты способны управлять одновременно несколькими задачами и работать асинхронно. Напомним, что при асинхронном программировании результат выполнения функции доступен спустя некоторое время в виде асинхронного (то есть нарушающего стандартный порядок выполнения) вызова. Запуск длительных операций происходит без ожидания их завершения и не блокирует дальнейшее выполнение программы. А такое распараллеливание процессов позволяет агентам более эффективно управлять взаимодействием в режиме реального времени, повышая заодно и скорость реагирования в сценариях, требующих одновременной обработки нескольких запросов или задач.

Особую ценность имеют возможность агентов подключиться к проверке данных в реальном времени и доступ к внешним источникам информации. То есть, войдя вИнтернетилиспециальныебазыданных,агентымогут проверять информацию, которую генерирует LLM, отсеивая явно ложные и вводящие в заблуждение ответы. Такие агенты незаменимы в приложениях, где на первом месте стоит точность и актуальность информации. Эта же возможность расширяет математические «таланты» ИИ, поскольку агенты могут интегрировать специализированное математическое программное обеспечение или даже подключаться к устройствам, заточенным на решение математических задач. Именно этот аспект представляется весьма перспективным для использования ИИ в научных разработках широкого спектра.

Что касается проблемы несовпадения результатов работы LLM при одинаковой вводимой информации или запросе, то агенты могут проводить так называемую постобработку для стандартизации формата и структуры ответов. А это повышает надёжность выходных данных в приложениях, требующих единообразия (отчёты, таблицы и т. п.).

В общем, развитие и совершенствование LLM идёт полным ходом, более того, благодаря агентам некоторые варианты общедоступных LLM, массово используемых частным образом, не уступают специализированным ИИ.


10

Одним из самых перспективных направлений развития LLM эксперты считают совместный ИИ. То есть системы ИИ, которые могут беспрепятственно взаимодействовать друг с другом, облегчать общение и совместно учиться на опыте друг друга. Такие модели смогут динамически адаптироваться, оптимизироваться и развиваться с течением времени, что приведёт к росту производительности и решению высокоинтеллектуальных задач. Это
возможно в системе, в которой одновременно и совместно работают несколько агентов ИИ для достижения общей цели или решения сложных задач и проблем. Попросту говоря, подобно рабочей группе из людей, составляется своего рода «коллектив» ИИ.

Неудивительно, что такой монстр, как OpenAI (Американская научно-исследовательская организация, занимающаяся разработками в области искусственного интеллекта), создавший такие LLM, как GPT-4 и ChatGPT, модель для генерации изображений DALL-E и др., сейчас вплотную занимается созданием мультиагентной системы ИИ. Такие системы состоят из агентов, каждый из которых имеет разные роли и обязанности, но при этом они должны взаимодействовать и координировать свои действия для достижения коллективных целей. Предполагается, что, используя возможности нескольких специализированных агентов ИИ в различных областях и приложениях, мультиагентные системы превзойдут традиционные ИИ с одним агентом.

Это обусловлено тем, что мультиагентные системы сложнее и состоят из ключевых компонентов, позволяющих им эффективно работать и коллективно достигать желаемых результатов. Такими компонентами в основном являются отдельные агенты ИИ с определёнными уникальными ролями, позволяющими сосредоточиться на конкретных целях. Ключевым компонентом являются также протоколы взаимодействия и механизмы связи, поскольку агентам необходимо обмениваться информацией (знаниями и опытом), координируя свои действия для эффективного сотрудничества. И особое место занимают механизмы принятия решений. Эти механизмы должны учитывать информацию и знания, полученные от других агентов, поэтому сюда могут подключаться алгоритмы машинного обучения, системы, основанные на правилах, или другие подходы, соответствующие ролям агентов.

В итоге мультиагентные системы могут решать сложные проблемы, разбивая их на более мелкие и управляемые задачи, оценивать различные аспекты проблемы и объединять свой опыт для выработки более точного и целостного решения. Более того, мультиагентные системы легко масштабируются для размещения новых агентов или задач, что повышает устойчивость системы. При выходе из строя или недоступности одного агента другие могут компенсировать его отсутствие, минимизируя потери производительности системы. Есть и другие преимущества: лучшее распределение ресурсов между агентами, адаптивность к быстро меняющимся условиям и задачам и т. п.

В общем, мы стоим на пороге качественного перехода к новой реальности, когда мультиагентные системы начнут взаимодействовать с Интернетом вещей в глобальном масштабе. Напомним, что Интернет вещей (англ. Internet of things, IoT) – это сеть физических устройств, которые подключены к другим устройствам и службам через Интернет или другую сеть и обмениваются с ними данными. Сейчас в мире более миллиарда подключённых устройств, и их число всё время растёт. Практически всё, что можно оснастить датчиками и программным обеспечением, можно подключить через Интернет, а стало быть, к ним может подключиться ИИ.

В основе взаимодействия IoT с ИИ лежит сбор и анализ данных. Датчики, камеры, домашние устройства и дроны собирают информацию со своего окружения и передают её через сеть на центральный сервер или облачное хранилище для обработки и анализа ИИ, который, в свою очередь, используя определённые алгоритмы и модели, анализирует эти данные, выделяет ключевые факторы и предсказывает возможные сценарии и решения.
Хотя весьма серьёзные средства вкладываются в обеспечение безопасности хранения конфиденциальной и личной информации, абсолютной защиты от несанкционированного доступа и злоупотребления, к сожалению, пока не существует. Но тем не менее принято считать, что взаимодействие IoT с ИИ открывает новые возможности для создания более умной, эффективной и комфортабельной среды для жизни и работы. На первый взгляд вроде так оно и есть. Но посмотрим, что кроется в деталях...


11

Мы может воочию наблюдать примеры того, как «симбиоз» IoT с ИИ на уровне вполне эффективных решений уже формирует новую инфосреду, в которую погружается человек. Так, например, известная концепция умного дома, пару десятилетий тому назад интересовавшая разве что владельцев дорогих особняков, сейчас стала доступна и для среднего класса. Даже простая квартира благодаря IoT с ИИ может стать умной и автоматизированной. Умные термостаты регулируют температуру в помещении исходя из предпочтений пользователя и погодных условий. Подключённые к системе замки можно открыть и закрыть с помощью смартфона, а также настраивать яркость и цвет освещения с помощью умных светильников. Не говоря уже о дистанционном включении кухонного оборудования, подключённого к сети, или о холодильнике, заказывающем доставку необходимых продуктов. Кстати, старая шутка о холодильнике, который будет решать, что вам вредно есть, а что полезно, может стать реальностью, поскольку IoT с ИИ весьма активно продвигается в сфере здравоохранения и медицинских технологий.

Такие устройства, как умные часы и браслеты, могут отслеживать сердцебиение, уровень активности и сон пользователя. Эти данные могут быть анализированы и использованы для предупреждения заболеваний и выдачи рекомендаций по здоровому образу жизни. В принципе, создание «персональной», или домашней, поликлиники на базе IoT с ИИ технически реализуемо в любой момент, но возникают вопросы психологического, этического и юридического характера. Аналогичные вопросы появятся при массовом использовании IoT с ИИ в транспортной сфере.

Разумеется, IoT с ИИ могут повысить безопасность и эффективность движения, управляя трафиком, и оптимизировать транспортные потоки, учитывая ситуацию на дорогах. Особенно на фоне роста числа беспилотного транспорта, оснащённого ИИ. С одной стороны, это может привести к снижению числа аварий на дорогах, но с другой, могут возникнуть юридические коллизии при тех же авариях, но с участием ИИ.

А вот что точно вызывает вопросы, так это использование IoT с ИИ в торговле. Розничные компании и до восхода ИИ собирали информацию о покупателях и их предпочтениях, навязывая персонализированные предложения и рекомендации. Но если ИИ будет учитывать с помощью обратной связи эмоции пользователей на раздражающую рекламу и каким-то образом вразумлять слишком ретивых торговцев, то можно было бы примириться с таким вторжением в личную жизнь. Впрочем, это как раз фантастика.

А вот что не фантастика – это уже имеющиеся технологии, которые могут незаметно для нас воздействовать на воспитание наших детей. В принципе, уже сейчас можно скачать в смартфон или на домашний компьютер приложения или программы на базе IoT, которые могут облегчить жизнь молодой семьи. Например, по информации с датчиков, реагирующих на плач младенца, ИИ (а скорее его «домашняя» версия) определяет, не пора ли сменить подгузники или накормить, а может, просто включить «умную» погремушку, чтобы не беспокоить родителей. Чуть подросшего ребёнка ИИ может развлечь обучающей игрой типа «раньше читать, чем ходить» (модная ещё в докомпьютерную эру система обучения), дошкольника займёт умная колонка вроде «Алисы» – расскажет сказки, споёт песенку, включит телевизор...

Ну а со временем ИИ поможет сделать домашнее задание (да оно уже и сейчас помогает!), ответит на вопрос «что почитать» (и включит аудиокнигу), а скорее всего – «что посмотреть». И таких приложений сейчас немало, достаточно сделать запрос в поисковике. Даже если взросление в такой среде (а тема удалённого онлайн-образования актуализируется с каждым годом) затормозит социализацию молодого человека, не исключено, что рост
удалённого трудоустройства как-то компенсирует этот процесс. Ведь даже если возникнет необходимость работы на станках или агрегатах, то в самой ближайшей перспективе IoT с ИИ позволят это делать, не отходя от домашнего кресла. Может случиться так, что, погружаясь в мир приложений ИИ, человек сам станет приложением к ИИ.

Но и это по большому счёту не проблема. А проблема в том, что выросший в такой техносреде человек, которому с младых ногтей, пусть даже через ИИ, не внушались базовые понятия, формирующие ответственного гражданина, превратится в так называемого «гражданина мира», которому всё равно, где жить и работать. А если учесть, что бесконтрольное взаимодействие IoT с ИИ в какойто момент станет действительно глобальным, то будьте уверены – мы сами не заметим, как среди наших детей чуть ли не со дня рождения будут продвигаться «повесточка» и прочие инфернальные изобретения западной талассократии.

Поэтому уместно время от времени вспоминать слова Гая Юлия Цезаря: «Величайший враг спрячется там, где вы будете меньше всего искать».

Марина ГЕВОРКЯН


© 2024 Наука и религия | Создание сайта – UPix