안전 태그를 찾았습니다.
  • 최근 몇 년간 인공지능(AI) 기술의 발전은 챗GPT의 출시 이후 거대 언어 모델(LLM) 개발 경쟁을 거치며 가속화되었다. 현재 공개된 AI 모델들의 성능은 특정 분야에서는 이미 인간의 능력을 뛰어넘었고, 이에 따라 활용 범위 또한 급격히 확장되었다. 특히 생성 AI를 기반으로 하는 범용 AI는 제조, 의료, 금융, 교육 등의 여러 산업 분야에서 활용되고 있다. 하지만, AI 기반의 서비스들이 다양한 이점을 제공하는 한편, 고성능 AI에 대한 접근성의 향상으로 인해 새로운 위험에 대한 우려 또한 증가했다. 이에 따라, 기존 AI 신뢰성, 책임성, 윤리 등의 논의와 더불어, ‘AI 안전’이 더욱 중요해졌다. 악의적인 사용, 오작동과 같은 위험들이 실제 피해까지 야기하고 있는 만큼, AI의 안전 확보를 위한 대응책 마련이 시급해진 상황이다. 앞으로 등장할 더 강력한 성능을 가진 프론티어 AI 모델은 의도치 않은 결과의 도출, 제어 불가, 사회적 악영향 등 여러 잠재적인 위험을 포함할 가능성이 높아, 규제와 지침 마련을 비롯하여 다양한 국제적 노력이 이루어지고 있다. 각 국의 정부, 기업 등 이해관계자들은 AI의 안전성을 확보하기 위해, 위험을 식별하여 평가 기준을 마련하고, 안전한 AI 개발 및 배포와 위험 대응책을 마련하기 위해 노력하고 있다. 최근 연구들에서는 사고 사례나 발생 가능한 시나리오에 따른 위험들을 분류하여 제시하고 있다. 하지만, 연구마다 다양한 위험 분류 체계를 제시하고 있어, 합의된 AI 안전 평가 체계를 마련하기에는 아직 더 많은 논의가 필요한 상황이다. 미국, 영국, 일본 등은 AI 시스템의 안전성 확보를 위해 AI 안전연구소를 통해 AI 안전 및 위험 연구, 위험성 평가, 안전한 AI 개발·구현을 위한 기준 마련 등의 기능을 수행 중이다. 대표적으로 AI 위험 관리 프레임워크(美), AI 안전에 관한 과학 보고서(英) 등을 통해 AI의 위험에 대한 대응 방안을 제시하고 있으며, 한국도 설립될 AI 안전연구소를 통해 AI 안전 수요에 대응할 예정이다. 본 보고서에서는 AI 안전과 관련된 개념을 정리하고, 최근 수행된 연구들이 제시하고 있는 AI 위험 유형 및 요인을 정리하여, 사례와 함께 분석함으로써 앞으로의 AI 위험 대응에 관한 정책적 시사점을 제공하고자 한다. Executive Summary Advancements in artificial intelligence (AI) technology have accelerated, particularly following the launch of ChatGPT, which has triggered a competitive race in the development of large language models (LLMs). The performance of currently available AI models has already surpassed human capabilities in certain domains, leading to a rapid expansion in their areas of application. General-purpose AI, especially those based on generative AI, is now being utilized across various industries, including manufacturing, healthcare, finance, and education. However, while AI-based services offer numerous benefits, the increased accessibility of high-performance AI has also raised concerns about new risks. As a result, alongside existing discussions on AI reliability, accountability, and ethics, "AI safety" has become an increasingly critical issue. Given that risks such as malicious use and malfunctions are already causing real harm, there is an urgent need for measures to ensure AI safety. Governments, corporations, and other stakeholders are working to ensure the safety of AI by identifying risk factors, establishing evaluation criteria, and developing measures for the safe development and deployment of AI, as well as for responding to potential risks. Recent studies have classified risk factors based on accident cases and possible scenarios. However, since each study presents different classification, further discussion is needed to establish a common AI safety evaluation framework. The United States, the United Kingdom, and Japan are addressing safety of AI through dedicated agency, which focus on AI risk research, risk assessments, and the development of standards for the safe creation and implementation of AI systems. Notable examples include the AI Risk Management Framework (USA) and the Science Report on AI Safety (UK), both of which propose strategies for addressing AI-related risks. Korea also plans to address AI safety demands through the establishment of its own AI safety institute. This report aims to organize the concepts related to AI safety, summarize the risk factors identified in recent studies, and analyze these factors along with real-world cases to offer policy implications for future AI risk response strategies.

  • 생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 우려가 고조되고 있다. 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 긴장이 높아지고 있다. 산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이러한 상황에서 유럽연합은 2024년 5월 세계 최초로 인공지능 규제법인 인공지능법을 제정하였고, 미국은 2023년 10월 행정명령을 발동해 인공지능의 안전한 개발과 보급을 유도하고 있다. 2023년 11월 영국에서 세계 최초로 개최된 인공지능 안전성 정상회의는 인공지능 안전성 확보를 위한 국제 사회의 동참을 만들어 내는 계기가 되었다. 구체적으로 영국, 미국, 일본은 AI안전연구소를 설립하고, 첨단 AI의 안전성 테스트를 위한 프레임워크 개발과 정보, 인력 교류, 표준화에 상호 협력하기로 했다. 2024년 5월 제1차 인공지능 안전성 정상회의 후속으로 진행된 한국-영국 공동 주최 AI 서울 정상회의에서는 우리 정부도 AI 안전연구소 설립을 공식화하고 주요국과 함께 AI 안전성 확보를 위한 국제협력에 적극적 의지를 표명하였다. 향후 AI 안전 확보를 위한 정부의 역할이 더욱 중요해질 것으로 예상되는 가운데, AI 안전연구소는 AI 안전성 테스트 방법 및 프레임워크 개발, AI 안전성 확보를 위한 원천기술 개발 및 표준화, 그리고 이를 위한 정책연구와 민관협력, 국제 교류를 추진해 나갈 것으로 예상된다. 민간의 혁신을 저해하지 않고 사회와 산업에 안전한 인공지능을 도입·활용을 위해 AI안전연구소의 기능과 역할 정립이 요구되는 시점으로, 이 보고서에서는 영국, 미국, 일본 등 주요국의 AI안전연구소의 추진 동향을 살펴보고 국내 AI안전연구소의 역할을 모색한다. Executive Summary With the proliferation of generative AI, concerns about the potential risks of artificial intelligence technologies are mounting. The technical limitations of generative AI, such as hallucinations and black-box models that complicate result interpretation, along with the societal harm caused by the misuse of technologies like deepfakes and cyberattacks, are increasing tensions. AI experts in academia and industry warn that rapid advancements toward superintelligent AI, which humans cannot comprehend, may lead to autonomous growth and loss of control, potentially threatening human existence.In response to these concerns, the European Union enacted the world's first AI regulatory law, the Artificial Intelligence Act, in May 2024. Meanwhile, the United States issued an executive order in October 2023 to guide the safe development and dissemination of AI. The first AI Safety Summit, held in the UK in November 2023, marked a pivotal moment, fostering international collaboration to ensure AI safety. Specifically, the UK, the US, and Japan have agreed to establish AI Safety Institutes, develop frameworks for testing advanced AI safety, and cooperate on information exchange, personnel training, and standardization. Following the first AI Safety Summit in May 2024, the AI Seoul Summit, co-hosted by Korea and the UK, saw Korea committing to establishing an AI Safety Institute and expressing a strong intention to participate in international cooperation for AI safety with other major countries. As the role of the government in ensuring AI safety becomes increasingly important, the AI Safety Institute will focus on developing AI safety testing methods and frameworks, creating foundational technologies for AI safety, and promoting standardization. This will include policy research, private sector collaboration, and international exchanges. To introduce and utilize AI safely in society and industry without hindering private innovation, it is essential to define the functions and roles of the AI Safety Institute. This report examines the trends and initiatives of AI Safety Institutes in key countries, including the UK, the US, and Japan, and explores the potential roles of the Korean AI Safety Institute.

  • 디지털 심화 사회에서 소프트웨어는 점점 더 중추적인 역할을 맡으며 산업 전반에 걸쳐 고부가가치를 창출하고 있다. 특히 모바일 컴퓨팅, 양자컴퓨터, 사물인터넷(IoT), 자율주행차, 빅데이터, 인공지능(AI), 로봇공학, 블록체인 등 4차 산업혁명의 핵심 영역에서 기술 발전을 가속화하는 중요한 요소로 자리 잡고 있다. 디지털 전환 가속은 디지털 사회의 복잡성과 의존성을 심화시키며 잠재적 위협이 되는 한편 디지털 기술을 활용한 안전 고도화의 기반으로도 자리매김한다. 소프트웨어 적용 확대로 인한 잠재적 위험 증가는 신체적 상해뿐만 아니라 사회적, 경제적 손실을 유발하는 사고로 이어질 수 있다. 이제 자연적·사회적 재난 사례의 증가뿐 아니라 디지털 공간에서의 안전 위협 사례가 빈번함에 따라, 소프트웨어 안전 확보는 주요 과제로 더욱 대두된다. 소프트웨어 안전은 외부 침해 없이 소프트웨어로 인해 발생할 수 있는 사고로부터 인간의 생명이나 신체에 대한 위험에 대비하는 상태를 의미한다. 이는 'Safety of Software'와 'Safety through Software' 두 가지 측면으로 좀 더 나누어 볼 수 있다. 'Safety of Software'은 소프트웨어 자체의 무결성을 보증하며, 사용자와 이용자에게 미칠 수 있는 위험으로부터 안전하게 보호하는 소프트웨어 설계를 포함한다. 즉, 소프트웨어로 인한 사고가 발생하지 않도록 소프트웨어 자체 품질 수준을 확보하는 것을 염두에 둔다. 'Safety through Software'은 소프트웨어 안전 기능을 중점으로 하여 발생 가능한 사고를 감소 및 예방하고, 비상 상황에 대응하는 것을 말한다. 이 보고서는 각각의 사례를 분석하여 소프트웨어 안전 관리 관점에서의 미비한 부분과 개선 방향을 조명하고, 추가적으로 보완해야 할 부분을 식별한다. 이를 통해 안전관리 프레임워크 차원에서 체계적으로 살펴 우리 정책의 개선 방안을 제시하고자 한다. Executive Summary In the digitally advanced society, software is becoming increasingly central, driving high-value creation across industries. It's particularly influential in accelerating technological advancements in key areas of the Fourth Industrial Revolution, such as mobile computing, quantum computing, the Internet of Things (IoT), autonomous vehicles, big data, artificial intelligence (AI), robotics, and blockchain. The acceleration of digital transformation deepens the complexity and dependence in digital society, posing potential threats while also serving as a foundation for enhanced safety through digital technology. The rise in natural and social disasters, along with frequent safety threats in digital spaces, has made securing digital safety for citizens a primary concern. The expansion of software applications increases potential risks, leading to accidents causing physical, social, and economic damages, necessitating preventive and management measures. Software safety refers to the state where there is sufficient preparation against risks to life or physical harm from accidents caused by software, in the absence of external breaches. This can be divided into two concepts. First, 'Safety of Software' ensures the integrity of software itself, maintaining the safety level to prevent accidents caused by the software. Recent examples include autonomous vehicles and smart factories, where embedded software must guarantee integrity and safeguard against potential risks. Software algorithm malfunctions and abnormal operations can lead to human casualties. Second, 'Safety through Software' focuses on utilizing software safety features to reduce and prevent potential accidents, and ensuring safety in emergency situations. This includes incidents where software errors in safety devices fail to prevent, and instead cause, major accidents. This report examines such cases to analyze shortcomings and directions for improvement in software safety management, identifying areas needing further enhancement. Through this, we aim to systematically examine our policy's improvements within the safety management framework.

  • 그간 SW 안전은 사람의 신체적, 물리적 피해를 유발할 수 있는 분야를 중심으로 발전해 왔다. 그러나 SW의 영향력은 급격하게 확장되고 있다. SW 신기술로 볼 수 있는 인공지능, 블록체인, 메타버스 등은 세상을 혁신시키는 핵심 기술로 부상하고 있으나, 그 이면에는 다양한 사건 사고가 존재한다. 이러한 사고는 비단 신체적, 물리적 피해를 넘어 정신적, 경제적 피해를 유발시키고 있다. (후략)

  • 소프트웨어 안전은 4차 산업혁명과 더불어 모든 산업의 경쟁력을 확보하는데 필수적인 요건으로 자리 잡고 있다. (후략)

    • 2021.12.06
    • 8065
    • 행사명 : 소프트웨어 안전 국제 컨퍼런스 2021
    • 일시 : 2021년 12월 2일(목) 13:00~17:00
    • 장소 : 온라인 생중계
    • 2021.11.29
    • 7206
    • 행사명 : 소프트웨어 안전 국제 컨퍼런스 2021
    • 일시 : 2021년 12월 2일(목) 13:00~17:00
    • 장소 : 온라인 생중계
    • 2021.10.26
    • 5234
    • 행사명 : 소프트웨어와 사회안전 Summit 2021 Fall - 안전한 사회, 안전한 시민을 위한 적극적 사고 예방
    • 일시 : 10월 14일(목) 오후 1시 ~ 오후 4시 10분
    • 장소 : 온라인 참석 신청자 대상 개별 접속 링크 제공
  • SW안전을 확보하는 것은 SW나 시스템을 개발 또는 운영하는 대상에게는 규제로 인식되어 왔다.(후략)

  • 4차 산업혁명의 영향으로 소프트웨어의 사용이 확대됨에 따라 소프트웨어 중요성이 강조되고 있다.(후략)

  • 자율자동차, 드론, AI 등 소프트웨어 기술 발전에 따라 소프트웨어의 복잡성이 증가하고 소프트웨어 편의성 증가로 많은 분야에서 소프트웨어 의존성이 증가하고 있다. 이로 인해 소프트웨어의 제어를 받는 시스템이 증가하게 되어서 소프트웨어 결함으로 인한 사고의 발생 확률이 증가하고 있다. 결국은 과거와 달리 소프트웨어 문제로 인해 발생하는 사고의 피해의 영향력도 같이 커지고 있기 때문에 소프트웨어 안전관리가 국민의 안전 확보에 (후략)

  • SW가 중심이 되는 제4차 산업혁명 시대가 빠르게 도래함 첨단 정보통신기술, 특히 SW 중심의 기술이 경제·사회 전반에 융합되면서 혁신적인 변화(例, SW가 핵심인 자율주행차, 스마트 빌딩, 무인항공기 등의 등장)가 일어나고 있음 이러한 혁신적인 변화를 제4차 산업혁명의 시대로 규정하고 있음(후략)

    • 2020.02.10
    • 13783

    딥러닝 알고리즘을 포함하는 자율차량시스템에는 민간 상용 항공기를 제어하는 것과 같은, 안전중요 소프트웨어를 검증하기 위한 자세한 요구 사항과 아키텍처가 부족하다. 자율형 차량은 시뮬레이션 플랫폼을 사용하여(후략)

    • 2020.02.10
    • 7450

    자율주행차가 자율모드로 주행 중에 보행자와 충돌하여 보행자를 사망에 이르게 한 사고, 추락방지 SW가 오작동하여 탑승자 전원이 사망한 항공기 사고 등 최근까지도 지속적으로 SW 안전 문제로 인한 사고가 발생하고 있다.(후략)

    • 2019.12.19
    • 7939
    • 주제 : 인공지능 기술 도입에 따른 SW 안전 이슈 동향과 AI 시대를 대비한 SW 안전 정책 방향
    • 일시 : 2019년 12월 5일(목)
    • 장소 : COEX(삼성동) 그랜드볼룸 102호
    • 2019.11.21
    • 7619
    • 주제 : 인공지능 기술 도입에 따른 SW 안전 이슈 동향과 AI 시대를 대비한 SW 안전 정책 방향
    • 일시 : 2019년 12월 5일(목)
    • 장소 : COEX(삼성동) 그랜드볼룸 102호
    • 2019.08.19
    • 18531

    미국 정부와 유럽연합에서는 트럼프 대통령의 행정명령, EC의 인공지능 윤리지침을 통해 인공지능 안전 연구에 투자하고 있다. 해외 대학과 연구소에서도 인공지능 안전 전략과 도구를 개발하고, 관련 연구를 추진하고 있다. (후략)

  • 공개소프트웨어는 제4차 산업혁명의 핵심 SW기술들인 인공지능, 빅데이터, 클라우드 분야의 기술혁신을 주도하고 있다. 또한 해외에서 자율주행 등 소프트웨어안전 분야 역시 공개SW의 활용하는 사례가 늘어나고 있다. 이에 반하여 국내에서는 SW안전 분야의 경쟁력 강화를(후략)

  • 본 연구의 목적은 2년간 변화된 국내 소프트웨어 안전 산업 동향을 조사하여 기존 연구와 비교·분석하여 핵심성공요소(CSF)를 도출하고, 최근 이슈화 되고 있는 주요 기술 중 소프트웨어 안전이 중요시 되고 있는 기술인 자율주행차, 드론에 대한 해외 주요국의 정책, 글로벌(후략)