4차 산업혁명의 주요기술인 사물인터넷 및 빅데이터

4차 산업혁명의 주요기술인 사물인터넷 및 빅데이터 출처:https://systemsacademy.io/

모든 사물들이 그 자체로 연결되는 사물인터넷(IoT) 시대가 도래하였고,  

그 과정에서 빅 데이터(Big Data)가 산출된다. 

이것을 스스로 처리하고 활용하는 인공지능(AI)이 발전하며 현실 세계와 

가상현실(VR)은 연결되기 시작했다. 

자원의 공유 경제가 등장하고 기존 산업을 혁신하는 패러다임의 변화가 

일어나기 시작한 것이다. 

이러한 개략적인 큰 틀에는 4차 산업혁명의 전반적인 기술들이 들어있다. 

4차 산업혁명을 이끄는 수많은 주요 기술들이 있지만,

2가지의 기술을 중점적으로 소개하고자 한다.

가. 사물인터넷(the Internet of Things)

사물인터넷은 말 그대로 사물간의 인터넷이다. 

생산기기나 생산품들 속에 통신기술을 내장하여 인간의 개입 없이 제품들끼리 

정보의 교환과 분석, 피드백을 자동적으로 수행하여 보다 혁신적인 제조과정과, 

생활을 가능하게 해준다. 

글로벌 IT 전문 리서치 기관 ‘가트너’에서는 5년 연속 

사물인터넷(the Internet of Things, 이하 IoT)을 10대 전략 기술 트렌드로 선정한 것에서 

알 수 있듯이, IoT는 필수 기술로 자리 잡고 있다. 

1999년 캐빈 애쉬튼의 『IoT의 이해(Making Sense of IoT)』에서 

‘사물인터넷은 인터넷에 연결되어 인터넷과 같은 방식으로 작동하는 센서들을 의미한다.’라는 

의미로 저술되어 있는 사물인터넷은 21세기 현재, 모든 생산기기, 

혹은 제품들이 통신기술을 내장하여 쌍방으로 사물들끼리 정보를 교환하고, 

분석하게끔 발전한 상태이다. 

사물인터넷 시장은 사물통신에서 만물인터넷까지 점차 그 영역을 확대해나가고 있고, 

응용 분야도 굉장히 다양합니다. 

사물간의 통신은 스마트 홈(가전기기), 물류, 교통신호, CCTV, 바코드 등 

모든 분야에서 활동이 가능하다. 

분야도 RFID, 2차원 바코드, NFC, 센서 네트워크 등 보다 넓은 분야로 

확장하고 있는 추세이므로, 사물 인터넷 시장의 규모는 점차 성장하고 미래는 무궁무진하다.

뿐만 아니라 사물인터넷은 인터넷에 연결된 무수한 사물들이 새로운 가치를 

창출하는 것이 가능해지게끔 한다. 

이전에는 인간의 지배·통제하에 인터넷이 존재했지만, 

사물인터넷에서는 소프트웨어가 사람의 뇌 역할을 대신 할 것으로 보여 진다. 

이에 따라 사물인터넷은 기존의 산업을 혁신적으로 진화 시키며 사물인터넷의 시대가 

도래 할 것이며, 산업 또한 진화할 것이다.

나. 빅 데이터 (Big Data)

앞서 설명했던 사물인터넷 등의 기술이 발현되기 위해서는 데이터가 

필수적으로 사용된다. 

과거의 기록부터 현재의 수많은 데이터를 통틀어 ‘빅 데이터’라 한다. 

빅 데이터는 모든 기술의 기반이라고 할 수 있다. 

인터넷과 스마트 폰의 보급이 확산되면서 이를 이용한 각종 업무 및 활동이 높아지고,

모바일기기를 활용한 스마트워크 발전 추세가 확산되면서 

수없이 많은 데이터가 양산되어지고 있다. 

이러한 디지털 환경에서 생성되는 데이터를 빅 데이터라 하며, 

문자와 영상 데이터도 포함하는 개념이다. 

빅 데이터를 이용한 환경에서는 사람들의 행동은 물론 위치정보와 SNS를 통해 

생각과 의견까지 분석, 예측이 가능하다. 

빅 데이터와 관련한 기술은 크게 저장, 처리, 분석, 표현기술이 존재한다.

빅 데이터 저장기술은 말 그대로 엄청난 대용량의 데이터를 저장하는데 필요한 기술이고, 

대표적으로 ‘하둡’의 ‘HDFS(Hadoop Distributed File System)’이라는 기술이 사용된다.

HDFS는 대용량 파일의 처리량을 높이기 위해 설계된 Hadoop의 시스템이다. 

이는 대용량 데이터를 범용 서버만으로도 처리가 가능하며, 용량 확장성이 

매우 높다는 특징을 가지고 있다. 

또한 데이터에 순차적 접근이 가능해 높은 처리량을 실현할 수 있고, 

일부가 고장이 나도 데이터 손실을 방지할 수 있기 때문에, 

짧은 시간에 다양한 형태로 들어오는 데이터들을 효율적으로 저장이 

가능하다는 장점이 있다.

HDFS는 데이터노드와 네임노드로 이루어지며,

⓵파일 생성 정보 전송,

⓶블록 보관 노드 목록요청, ⓷블록 보관 노드 목록제공, ⓸목록 첫 번째 노드에 데이터 쓰기,

⓹데이터 복제 및 쓰기

⓺완료의 순서로 데이터의 저장이 이루어진다.

빅 데이터의 처리 기술은 일반적으로 컴퓨터의 처리량으로는 처리를 하기 힘들 정도의 

많은 양의 데이터를 다루어야 하기 때문에 Hadoop의 ‘병렬 분산 처리 소프트웨어’를 

사용한다. 

쉽게 설명하면 엄청난 양의 데이터를 한 개의 컴퓨터나 저장 장치에 저장할 수 없기 때문에, 

각 노드(지점)을 각각 설정하여 데이터를 분산하여 저장하는 기술이다.

이렇게 저장되어지고 처리되어진 데이터를 분석하는 기술은 

대표적으로 ‘데이터마이닝’ 기법이 있는데, 정보들 속에서 숨겨진 정보를 분석하고 

찾아내는 기술이다. 

이를 위해 비슷한 정보들끼리 뭉쳐 유사성을 찾는 작업이 시행되는데, 

이것이 데이터 군집화(클러스터링)이다. 

이외에도 다양한 데이터마이닝 방법이 있지만, 대표적으로 사용하는 

K-means clustering 기법에 대해 설명하고자 한다. 

K-평균 군집화 기법은 최적 분리 군집 방법의 하나이며, 

대용량의 자료에서 군집을 발견하는데 효과적인 방법이다. 

각 데이터들은 가까운 군집에 포함시켜 유사성을 찾는 방법이다.

이렇게 분석한 데이터들을 보기 쉽게 시각화(표현) 한 것이 웹 사이트에서 

흔히 볼 수 있는 태그 클라우드이다. 

가장 가까이 경희대학교 KLAS에만 들어가도 태그 클라우드를 볼 수 있다. 

빈도수가 높게 검색·언급되는 단어는 큰 글씨로 표시된다는 특징이 있다.

빅 데이터의 발전과정은 다음과 같다. 

점차 스마트 폰과 인터넷의 사용량이 늘어나면서, 데이터 생산량이 매년 2배씩 증가했다. 

사진·동영상과 같은 다채로운 디지털정보가 많이 발생하면서 규모가 크고, 다양하며, 

복잡한 데이터가 등장하게 된다. 

이러한 시기가 ‘데이터 폭발’시기이다. 

이렇게 수집되어진 데이터를 활용하여, 단순한 데이터 분석이 아닌 데이터 안에 숨겨진 

의미와 패턴을 분석하여 미래를 예측하는 빅데이터의 시대가 열리면서 

비로소 빅 데이터라는 단어가 사용되게 된다. 

빅 데이터는 기술 영역에서 출발했지만, 현재는 정치·사회·경제·문화·과학 등 

전 영역에서 활용되어지고 있고, 다양한 시도 또한 이루어지고 있다. 

그만큼 빅 데이터의 중요성이 커지고 있다는 의미가 될 것이다. 

정보화의 시대에서 모든 활동은 지식 즉 데이터로부터 시작되어 진다고 해도 과언이 아니다. 

수많은 정보가 쏟아져 나오는 현대 사회에서 빅 데이터를 다루고, 

필요한 정보를 추출하는 능력이야 말로 가장 유용한 기술이 될 것이다.

기사배포 작성: 파워볼사이트 의 모든것

Leave a Reply