"The Future of Humanity is Under Threat" – What Threats Are Experts Developing Artificial Intelligence Talking About?

Here's a summary of the article:

Предлагаем краткое изложение содержания публикации:

Employees at leading global companies and organizations developing artificial intelligence are increasingly complaining of psychological stress and mental fatigue. They fear their work could cause serious harm to society.

Сотрудники ведущих мировых компаний и организаций, занимающихся разработкой искусственного интеллекта, все чаще жалуются на психологический стресс и умственную усталость. Они опасаются, что их работа может нанести серьезный вред обществу.

According to sources familiar with the situation, several employees of the UK-based Artificial Intelligence Safety Institute (AISI)—a recognized leader in independent testing of advanced AI models—have been forced to resign due to persistent stress and are currently undergoing counseling with specialists (psychologists). According to four sources familiar with the matter, fatigue, low morale, and burnout among AISI employees were caused by both the shortened testing timelines and rapid deployment of AI models, as well as the growing impact of these technologies on the human psyche.

По словам источников, знакомых с ситуацией, несколько сотрудников британского Института безопасности искусственного интеллекта (AISI) — признанного лидера в независимом тестировании передовых моделей искусственного интеллекта — были вынуждены уволиться из-за постоянного стресса и сейчас проходят консультации у специалистов (психологов). По словам четырех источников, знакомых с делом, усталость, снижение морального духа и истощение («внутреннее выгорание») сотрудников AISI были вызваны как сокращенными сроками тестирования и быстрым внедрением моделей искусственного интеллекта, так и растущим воздействием этих технологий на человеческую психику.

Employees at Anthropic, OpenAI, and Google DeepMind are also facing similar problems, to the point that many leading researchers have resigned due to psychological problems or concluded that their work is harmful to society and therefore unsuitable for public release.

Сотрудники Anthropic, OpenAI и Google DeepMind также сталкиваются с аналогичными проблемами, до такой степени, что многие ведущие специалисты уволились из-за психологических проблем или пришли к выводу, что результаты их работы вредны для общества и поэтому не подходят для публичной публикации.

A DeepMind employee said that working on AI safety is extremely challenging: "You're constantly worried about missing a detail, you're tense, and therefore there's a high risk of emotional exhaustion. You often feel like you're on some kind of unfinished business... especially because you don't know who will use the product you've created." He was referring to Google's agreement with the Pentagon, which provides for the use of AI systems in classified military operations.

По словам сотрудника DeepMind, работа над обеспечением безопасности ИИ очень сложна: «Ты постоянно думаешь, что какая-то деталь не ускользнет от тебя, ты напряжен, и поэтому существует высокий риск эмоционального истощения. Часто чувствуешь себя вовлеченным в какую-то незавершенную миссию… особенно потому, что не знаешь, кто будет использовать созданный тобой продукт». Он имел в виду соглашение Google с Пентагоном, которое предусматривает использование систем ИИ в секретных военных операциях.

Another employee said, "Many are unhappy with stressful jobs. So they quit or take long vacations to protect their mental health... It's hard to imagine that their intelligence could spiral out of control and cause real harm to society."

Другой сотрудник сказал: «Многие недовольны стрессовой работой. Поэтому они увольняются или уходят в длительные отпуска, чтобы не навредить своей психике… Трудно представить, что их интеллект может выйти из-под контроля и причинить реальный вред обществу».

In recent years, psychological pressure has increased on those working at the forefront of AI development. Since there are currently no laws restricting AI development, the situation could spiral out of control. There are growing concerns that AI will reach its peak relatively quickly as large companies engage in unjustified corporate competition.

В последние годы усилилось психологическое давление на тех, кто работает на передовой линии развития ИИ. Поскольку в настоящее время нет законодательства, ограничивающего развитие ИИ, ситуация может выйти из-под контроля. Растут опасения, что ИИ достигнет своего пика относительно быстро, поскольку крупные компании вступают в необоснованную корпоративную конкуренцию.

According to numerous industry reports, AI researchers are concerned about the deployment of AI in critical areas such as energy systems, combat zones, and nuclear applications (both military and civilian, such as nuclear power plants), where there is insufficient security from a corporate or political perspective.

Согласно многочисленным отраслевым данным, исследователей в области искусственного интеллекта беспокоит внедрение ИИ в критически важные области, такие как энергетические системы, зоны боевых действий, ядерная сфера (как военная, так и гражданская, например, на атомных электростанциях), где отсутствует достаточная безопасность с корпоративной или политической точки зрения.

One anonymous former AISI employee noted that the institute's cybersecurity and biochemistry departments are particularly concerned about the growing capabilities of artificial intelligence, as android robot models are now capable of performing the most complex tasks, such as rapidly cracking human-designed codes and creating viruses of previously unknown nature. "We have a feeling that something is wrong with the way technology is being implemented... People are constantly worried about one question: can this all be stopped or limited? Are we witnessing the end of the world?"

Один анонимный бывший сотрудник AISI отметил, что отделы кибербезопасности и биохимии института особенно обеспокоены растущими возможностями искусственного интеллекта, поскольку модели роботов-андроидов теперь способны выполнять самые сложные задачи, такие как быстрый взлом разработанных людьми кодов и создание вирусов неизвестной ранее природы: «У нас есть ощущение, что в процессе внедрения технологий происходит что-то неладное… Людей постоянно беспокоит один вопрос: можно ли все это остановить или ограничить? Не станем ли мы свидетелями конца света?»

"I can confirm that working on AI problems at AISI is incredibly stressful: the realization that you're working on the most important problem in the world often causes a lot of tension—we're dealing with toxic leadership," says another former AISI employee.

«Могу подтвердить, что работа над проблемами ИИ в AISI невероятно стрессовая: осознание того, что ты работаешь над самой важной проблемой в мире, часто вызывает сильное напряжение — мы имеем дело с токсичным руководством», — говорит другой бывший сотрудник AISI.

For its part, the UK government states: "Yes, working at AISI is a very responsible job; it's at the forefront of AI development, which means high speed and high demand. For us, issues related to the functioning of the institute are a priority, and we provide the necessary support to those who need it." DeepMind's management has made the same statement: "Our top priority is providing social protection and support for our employees. They always have the opportunity to address their concerns directly to us, the management."

В свою очередь, правительство Великобритании заявляет: «Да, работа в AISI очень ответственная, это передовая линия развития искусственного интеллекта, что подразумевает высокие темпы и высокий уровень спроса. Для нас вопросы, связанные с функционированием института, являются приоритетными, и мы оказываем необходимую поддержку тем, кто в ней нуждается». То же самое говорит и руководство компании DeepMind: «Наш главный приоритет — обеспечение социальной защиты и поддержки сотрудников. У них всегда есть возможность обращаться со своими проблемами непосредственно к нам, руководству».

However, 37-year-old Jacob Coxon, who first worked at Anthropic and then at OpenAI, recently publicly stated that both companies are "playing with fire" and that the future of humanity is at stake.

Однако недавно 37-летний Джейкоб Коксон, который сначала работал в Anthropic, а затем в OpenAI, публично заявил, что обе компании «играют с огнём» и что на кону будущее человечества.

Researcher Mrinanck Sharma, fired from Anthropic in February, left a letter to employees warning that their work "endangers the world" and that "we must not destroy our own values with our actions."

Исследователь Мринанк Шарма, уволенный из компании Anthropic в феврале, оставил сотрудникам письмо, в котором предупреждал, что их работа «ставит под угрозу мир» и что «мы не должны разрушать собственные ценности своими действиями».

Hieu Pham, a former employee of OpenAI and Elon Musk's X.AI, says he was so exhausted by the work of creating superintelligence that his health deteriorated, and he decided to return to his native Vietnam: "This kind of work is dangerous for a person. I'm exhausted, I can't sleep well. I used to make fun of others, and now I find myself in the same situation. All this creates a dangerous and difficult situation." (To be continued)

Хиеу Фам, бывший сотрудник OpenAI и X.AI Илона Маска, говорит, что был настолько измотан работой по созданию сверхинтеллекта, что его здоровье ухудшилось, и он решил вернуться в родной Вьетнам: «Такая работа опасна для человека. Я измотан, как лимон, плохо сплю. Раньше я подшучивал над другими, а теперь оказался в той же ситуации. Все это создает опасную и тяжелую обстановку». ( Продолжение следует)