불량지식 ≫ 학계  ≫ 실험오류

불량지식의 원인  : 실험오류

개별 실험은 실험 오류가 있을 확률이 높다
- 용해도 오류
- 엉터리 실험 : 유화제가 장내 세균을 교란한다?
- 엉터리 실험 : 사카린이 암을 일으킨다?
- 엉터리 실험 : 설탕이 유방암을 촉진한다?
- 마우스를 이용한 자폐증 연구의 문제점
- 결과 해석에 오류도 많다

네이처, 사이언스등 유명 저널에 게제되는 논문의 2/3이 제대로 검증하면 틀렸다
2002년 네이쳐 저널의 커버스토리를 장식한 4가지 기사중 2가지는 재실험에 실패했다

   과학자(박사)의 연구결과이므로 잘 맞겠지 하는 일반적인 믿음에도 불구하고
   실험의 결과는 시간이 가면 뒤집히는 경우, 잘못 된 경우가 더 많다
   인간의 건강에 대한 실험은 특히 잘못되기가 쉽다
   현실적으로 건강에 대한 위해성을 사람에 직접 실험할 수는 없고
   일반 농도로는 너무 오랜 시간이 걸려 과량투여로 가속실험을 하는데
   과량 투여 자체가 여러가지 실제 경우와 일치하지 않는 경우가 많기 때문이다

새우에는 콜레스테롤이 많이 함유되어 있는 것으로 알려져 있다. 그러나 최근에 밝혀진 연구에 의하면 새우에 있는 콜레스테롤과 비슷한 물질이 콜레스테롤로 잘못 측정되어 새우가 콜레스테롤이 높다고 잘못 알려진 것이라고 한다. 최근에는 분석방법이 발달하여 콜레스테롤과 다른 스테롤계 물질의 분리가 가능해지면서 새우의 콜레스테롤의 함량은 지금까지 알려진 것보다 적은 것으로 밝혀졌다.

뽀빠이와 시금치의 중대한 실수

사람들은 시금치가 철분 덩어리라고 생각한다. 하지만 시금치의 철분 함량은 다른 채소들과 별반 다를 바가 없다. 그렇다면 뽀빠이의 영양식으로 시금치가 선택된 것은 어떤 이유 때문일까? 문제는 어처구니없는 실수에 있었다. 과학자들이 시금치의 철분 함량을 기록할 때 실수로 소수점을 한 자리 뒤에 찍었다. 그때부터 철분의 대표 주자로 시금치가 인식된 것이다.

소금이 뇌손상?

미국 코넬 대학의 한 연구진이 지난 주 Nature Neuroscience 에 발표한 논문입니다. 이 논문에서 연구진은 고농도의 소금을 함유한 음식을 먹은 쥐가 그렇지 않은 쥐에 비하여 뇌 손상이 일어날 가능성이 높음을 확인하고 그 원인이 아마도 T-cell 면역 체계에서 중요한 한 축을 담당하고 있는 TH17 때문이 아닐까라는 가설과 그 검증 실험 결과를 이야기 합니다.
연구진은 쥐를 총 세 그룹으로 나누었습니다. 대조군으로 설정한 쥐들은 0.5%의 소금을 함유하고 있는 정상적인 먹이를 먹였고 쥐가 먹고 싶은 만큼의 충분한 수도물을 제공하였습니다. 실험군으로 설정한 쥐들은 다시 두 그룹으로 나누어 각각 무려 4%와 8%(!)의 소금을 함유하고 있는 먹이를 제공하고, 마시는 물도 1%의 소금을 함유하고 있는 수도물을 제한 없이 공급하였습니다. 4%와 8%라는 양은 대조군에 비해 각각 8배와 16배의 고농도를 투여하기 위함이었습니다. (화학 반응은 지수/로그 함수의 성격을 지니기 때문에 일반적으로 과학 실험은 2의 승수 배로 조건을 달리 하는 경우가 많습니다.)
문제는 쥐들에게 투여된 소금의 양 입니다. 8%의 소금 농도는 일반적으로 우리의 식생활에서는 상상도 할 수 없을 만큼의 많은 양입니다. 단적인 예를 들자면 우리가 밥 한공기 (200g이라 가정)를 먹으면서 소금 16g을 먹는 양 입니다. 16g은 아래 사진 가장 왼쪽의 가장 큰 티스푼으로 두 스푼 이상의 양 입니다.
게다가 여기서 그치지 않고, 짜게 먹으면 당연히 찾게 되는 물에 마저도 1% 농도의 소금을 넣었습니다. (참고로 바닷물의 소금 농도가 3.5%입니다.) 아마도 과도한 염분 섭취에 따른 탈수로 쥐가 사망하는 것을 막으면서도 고농도의 소금 섭취를 유지할 수 있는 상한선으로 선택한 농도인 것 같습니다.
게다가 실험용 쥐(mouse)는 일반적으로 하루에 약 3-5g 정도의 먹이를 먹는데, 이 중 8%가 소금이었다면 이 쥐들은 하루에 0.4g의 소금을 섭취한 것입니다. 실험에 사용된 쥐는 8-24주령의 C57BL/6라는 종으로서 이를 생산한 연구소에 따르면 이 쥐의 몸무게는 8주 때에 대략 22g 정도 입니다. 22g의 몸무게를 지닌 쥐가 하루에 0.4g의 소금을 섭취하는 것은 단순하게 계산하자면 80kg의 몸무게를 가진 성인이 하루에 1.5kg 정도의 소금을 먹는 것과 마찬가지 입니다. 국제 암 연구 펀드의 자료에 따르면 우리 나라는 세계에서 10 번째로 소금을 많이 섭취하는 나라인데, 성인 1명이 하루 평균 13.2g을 먹는다고 합니다. 실험의 쥐는 이 단순 계산으로 볼때 우리가 먹는 소금 양의 100배 이상을 무려 반년의 기간, 혹은 수명의 1/4 동안, 그리고 가장 왕성하게 활동하는 기간의 대부분 동안 매일 같이 섭취한 것입니다. (게다가 마시는 물 마저도 소금물…) 제가 저 실험 쥐였다면 뇌손상보다 음식으로 인한 스트레스로 더 먼저 사망했을것 같습니다. 미각에 특별한 문제가 있어 짠 맛을 느끼지 못하는 사람이 아닌 이상 저런 고농도의 소금을 매 끼니에 먹으며 버틸 수 있는 사람은 현실적으로 없을 것입니다.

동물실험

사람에게는 실험이 불가능하니 동물 실험을 해야 한다. 동물 실험을 하여도 실제 사용에 맞는 낮은 농도로 하여야 하는데 그러면 장기간 시간이 걸린다. 그리고 많은 동물이 동원되어야 한다. 시간과 비용을 절약하는 방법이 아주 높은 농도로 실험하는 것이다. 그러나 현실에서는 그런 농도에 노출되는 경우는 없다. 높은 농도에 실험결과를 가지고 그래프를 그리고 미량의 농도를 섭취 했을 경우에 결과를 추정해 내기도 한다. 하지만 이 방식에는 결정적인 약점이 있다. 예를 들어 1,000잔 분량의 커피에 들어 있는 커피를 한꺼번에 주입하고 실험쥐가 사망한 경우, 1잔의 커피를 1000마리의 쥐에서 주었을 경우 그 중 한마리가 사망할 가능성이 있다고 할 수 있냐는 것이다
한꺼번에 1000잔 분량을 먹는 것과 1잔씩 1000일을 먹는 것은 근본적으로 다른 현상이다. 우리는 매일 10g의 소금을 먹는데 한꺼번에 10kg을 먹이고 소금의 유해성을 말하면 그것을 믿지 않을 것이다. 하지만 첨가물이라고 하면 이런 결과도 믿는다
양의 문제 뿐아니라. 용해도와 대사의 특성도 문제가 된다. 1977년 캐나다에서 수컷 쥐들에게 사카린을 먹였더니 방광암 발병률이 높아졌다는 연구결과가 나왔다. 그러나 이 실험에 사용된 사카린은 사람이 다이어트 음료를 하루에 800캔씩 마시는 양이다. 완전히 엉터리 실험이었다.  
과량이었을 뿐 아니라 그 이후에 증명된 사실들은 랫드의 방광 암이 발생한 것은 DNA에 의한 것이 아니고, 소변 중에 인산칼슘이 생성되어 쥐에 방광염이 발생했었다는 것이다. 인간과는 달리 설치류에는 높은 pH와 고농도 단백질과 인산칼슘이 있는데, 과다 투여한 사카린이 이들과 결합하여 결석(크리스탈)이 만들어지고, 이 크리스탈에 의한 방광에 손상이 일어나 방광암을 만드는데, 이것은 사람과는 연관성이 전혀 없다는 것이다.

- 용해도가 독성을 좌우한다
- 용해도의 무지가 많은 치명적 실험오류를 낳은다

 


동물실험 효과 있는 100여 개 약물, 환자임상에서는 효과 없어

강석기 과학칼럼니스트 kangsukki@gmail.com

  동물실험 결과에 실험자 성별이 영향을 미치는 이번 결과가 그동안 별 문제없이 진행되고 있던 동물실험에 제동을 건 첫 사례는 아니다. 최근 들어 동물실험의 문제를 지적하며 개선책을 강구해야 한다는 글들이 종종 눈에 띤다.
  학술지 ‘네이처’ 3월 27일자에는 미국 ALS치료제개발연구소 스티브 페린 박사의 기고문이 실렸다. ALS는 근위축성측색경화증의 영문 머리글자로 흔히 루게릭병이라고 부른다. 루게릭병하면 스티븐 호킹 박사가 떠오르는데, 사실 예외적인 경우로 호킹을 본 대중들은 이 병에 대해 오해하기 쉽다. 즉 증상은 전형적이지만 호킹의 사례와는 달리 보통 발병하면 수년 내에 사망하기 때문이다.
  루게릭병은 운동신경이 서서히 파괴되면서 결국 호흡근까지 굳어져 사망하는 불치병으로 지금까지 많은 치료제 개발 시도가 있었다. 그러나 현재 미국 식품의약국의 승인을 받은 약물은 릴루졸(Riluzole) 하나뿐이다. 기고문에 따르면 동물실험에서 수명연장 효과가 있는 것으로 나온 약물이 100가지가 넘는다. 그리고 이 가운데 8종은 환자를 대상으로 임상까지 들어갔지만 모두 효과가 없는 것으로 밝혀졌다.



동물실험에서 수명연장 효과가 있었던 루게릭병 약물 가운데 환자를 대상으로 임상을 한 9가지의 동물실험 데이터. 청록색 막대는 논문에 발표된 결과로 모두 유의적인 수명연장효과가 있다(가로축은 수명 증감(%)). 그런데 ALS치료제개발연구소에서 엄밀하게 설계된 동물실험을 한 결과 약효가 있는 게 하나도 없다는 결과가 나왔다(검은 막대). - 네이처 제공  

  ALS치료제개발연구소에서는 왜 이런 결과가 나왔는지 원점에서 재검토하기 위해 엄격한 조건 아래에서 이 물질들로 다시 동물실험을 했다. 그 결과 놀랍게도 수명연장 효과를 보이는 게 하나도 없었다. 심지어 미미한 약효(수개월 수명 연장)가 인정돼 승인된 릴루졸 조차도 효과가 없었다. 페린 박사는 잘못된 동물실험 데이터가 어떤 결과를 초래하는지 한 사례를 들어 설명했다.
  2008년 학술지 ‘미국립과학원회보(PNAS)’에는 정신분열증치료제로 쓰이고 있는 리튬이 루게릭병 동물모델인 생쥐의 수명을 30일(16%) 연장한다는 연구결과가 실렸다. 또 뒤따른 소규모 환자임상에서도 비슷한 효과가 나왔다고 한다. 이 결과가 언론에 보도되자 루게릭병 환자들은 리튬을 복용했고(물론 불법적으로) 3개 기관에서 환자 수백 명을 대상으로 임상3상에 들어갔다. 이 과정에서 1억 달러(약 1000억 원)가 훌쩍 넘는 비용이 들었지만 실망스럽게도 아무 효과가 없다는 결과가 나온 것.
  한편 다른 두 곳에서 동시에 재현한 동물실험에서도 효과가 없는 것으로 나왔다. 페린 박사는 2008년 논문에 실린 실험에서는 왜 효과가 있는 것으로 나왔는지 모르겠다면서도, 당시 대조군(가짜약을 먹은 질병모델 생쥐)의 평균수명이 다른 문헌의 대조군 수명보다 20일 가량 짧다는 사실에 뭔가가 있다고 추정했다.
  그렇다면 어떻게 이런 오류를 피할 수 있을까. 페린 박사는 몇 가지 제안을 했는데, 먼저 보고자 하는 질병과 무관하게 죽은 실험동물은 통계에서 빼야 하다는 것. 그리고 그 이유를 논문에 명시해야 한다고 권고했다. 또 동물의 성별 균형도 맞춰야 한다고 제안했다. 예를 들어 루게릭병 모델 생쥐의 경우 수컷은 암컷보다 보통 1주일 먼저 발병해 1주일 먼저 죽는데, 이는 평균 수명의 4%에 해당하는, 무시할 수 없는 기간이다.
  이보다 앞서 ‘사이언스’ 2013년 11월 22일자에도 동물실험의 문제점에 대한 3쪽짜리 장문의 기사가 실렸다. 가장 큰 문제는 실험동물이 임의로 선정되지 않는 것과 개체수가 너무 적어 통계적으로 의미를 갖기 어렵다는 것. 예를 들어 환자임상의 경우 ‘맹검법’이라고 해서 환자는 물론 의사도 누가 진짜 약을 처방받고 누가 가짜약을 처방받는지 모른다. 즉 실험자의 선입견을 배제하기 위한 장치다.
  그런데 동물실험에서는 많은 경우 이런 조치가 전혀 없다는 것. 그러다보니 케이지에서 실험할 동물을 정할 때부터 문제가 생긴다. 즉 생쥐를 집으려고 할 때 너무 겁이 많아 도망치거나 물려고 할 경우 실험자는 얌전한 다른 개체를 찾게 된다고.
  윤리적(실험동물 희생 최소화), 경제적 이유로 동물실험 개체수를 줄이는 것도 큰 문제다. 똑 같은 조건의 실험동물 가운데 임의로 네 마리씩 뽑은 뒤 수명 실험을 해보면 유의적으로 차이가 날 확률이 30%나 된다. 열 마리씩 실험을 할 경우도 여전히 10%다. 그런데 루게릭병에 대한 영향력 있는 동물실험 논문 76편 가운데 절반이 5마리 이하로 한 실험이라고.
  사정이 이렇다보니 유력한 학술지에서 동물실험 가이드라인을 만들기 시작했다. ‘네이처’의 경우 논문 저자들이 확인할 동물실험 체크리스트를 제작해 배포했는데, 실험동물을 임의로 골랐나, 연구자는 맹검상태인가, 실험도중 동물을 탈락시킬 경우 합당한 사유가 있나 등이다. 독일 베를린자선의대 뇌졸중연구소 울리히 디르나글 소장의 경우 실험동물의 꼬리에 번호표를 붙인 뒤 난수 발생기로 실험할 동물을 정한다고.

 


암 정복한다는 신약, 세상에 나오지 못 하는 이유

[강석기의 과학카페] 2017년 05월 10일 11:06

의학의 발전 속도를 끌어올리려면 생명의학연구는 오히려 속도를 늦춰야 한다. 즉 진행하는 프로젝트 수를 줄이고 하나하나를 좀 더 엄밀히 수행해야 한다.
- 리처드 해리스
 
자연과학, 특히 실험과학이 다른 학문에 비해 엄격하다고 여겨지는 이유는 재현성에 있다고들 한다. 즉 언제 어디서 누가 실험을 하든 같은 재료와 장치를 써서 원 논문에 나와 있는 방법대로 하면 똑 같은(적어도 꽤 비슷한) 결과가 나오기 때문이다. 만일 미국 과학자들이 얻은 실험결과와 한국 과학자들이 얻은 실험결과가 전혀 다르다면 그건 과학이 아니라는 말이다. 과학자들이 우선권, 즉 최초의 발견자로 인정받기를 그렇게 원하는 이유이기도 하다.
그런데 언제부터인가 과학에서 ‘재현성 위기(reproducibility crisis)’라는 말이 들리고 있다. 특히 생명과학 분야에서 두드러지는데 얘기를 들어보면 상황이 꽤 심각한 것 같다. 즉 유명한 학술지에 논문을 실으려고 데이터를 조작한 결과라면 개인의 도덕성 문제로 취급할 수 있지만 많은 경우 연구자의 ‘게으름과 무식함’이 재현성 없는 실험결과들을 양산한다고 한다.
여기서 말하는 게으름은 느지막이 실험실에 나와 두세 시간 실험하는 척하다 슬쩍 퇴근하는 그런 게 아니다. 주말도 없이 매일 밤 12시까지 실험하는 사람도 게으를 수 있다. 무식함 역시 아무 생각 없이 보스가 시키는 대로 일하는 사람을 의미하는 게 아니다. 연구주제에 대해 고도의 지식을 지닌 사람도 무식할 수 있다.
생물의학(biomedicine)을 중심으로 과학의 재현성 위기를 실감나게 그린 책 ‘Rigor Mortis(사후경직)’가 지난 4월 출간돼 화제가 되고 있다. 미국공영라디오의 과학저널리스트인 리처드 해리스는 이 책에서 엉성한 과학이 양산해낸 쓸모없는 연구결과들 때문에 아까운 국민세금 수십 억 달러가 낭비되는 현실을 폭로하고 있다. 갖고 있으면 언젠간 쓸데가 있을 것 같아 주문해 서문이나 읽어보자고 책을 펼쳤다가 너무 재미있어서(이러면 안 되는데...) 끝까지 다 봤다. 먼저 책의 제목인 의학용어(라틴어) 사후경직이 재현성 위기와 무슨 관계가 있는지 의아한 독자가 있을 텐데 영어를 생각하면 이해가 된다. 즉 ‘굳다(경직)’는 뜻의 라틴어 ‘rigor’에서 ‘엄격함’을 뜻하는 영어 rigor가 나왔다. 즉 오늘날 재현성 위기는 실험할 때(살아있을 때) 엄격함이 없는데서 비롯됐다는 뜻이다.
1986년부터 과학기자로 일하며 주로 의학분야를 다룬 저자는 어느 날 문득 의문에 사로잡힌다. ‘획기적인 항암제’ 같은 요란한 연구성과들이 그렇게 많이 나왔음에도 왜 의학의 발달은 이렇게 더딘 것일까. 연구발표대로라면 암은 벌써 몇 번은 정복됐어야하지 않을까. 리처드 해리스는 생물의학 분야의 적지 않은 연구자들이 이미 같은 의문을 제기했고 재현성 없는 부실한 실험을 주원인을 꼽는다는 사실을 발견하고 본격적으로 취재에 들어가 이 책을 완성했다.
해리스는 재현성 위기 원인을 크세 세 가지로 보고 있다. 먼저 과학자들의 게으름과 무식함으로 고의성은 없다. 다음으로 데이터 조작 같은 도덕적 타락이다. 끝으로 오늘날 상황을 이런 방향으로 이끌어가는 과학계의 구조적인 문제다. 이런 요인들이 얽히면서 과학논문의 질이 형편없이 떨어지고 있다는 것이다.

● 엉뚱한 세포를 사용한 논문 7000편 넘어

과학자의 게으름과 무식함이 재현성이 문제로 이어진다는 인식이 있기 전에는 과학자들은 자신들이 그런지도 몰랐다. 즉 배운 대로 했을 뿐 결코 게으름을 피우지 않았기 때문이다. 그런데 아무런 의심 없이 해오던 실험방법 곳곳에 치명적인 문제가 숨어있다는 사실이 하나둘 밝혀지면서 이런 실험에서 얻은 데이터가 쓰레기일 뿐이라는 충격적인 결론에 이르고 있다. 그럼에도 여전히 적지 않은 과학자들은 이런 사실을 외면하고 심지어 이런 문제가 제기되고 있다는 사실조차 모른 채 하던 대로 일하고 있다. 예를 들어 신약이 개발되는 과정을 보면 먼저 동물실험으로 약효와 부작용을 검토해 추린 뒤 사람을 대상으로 임상에 들어간다. 그런데 동물실험이 임상시험에서도 재현돼 성공할 확률은 극히 낮다. 엄청난 연구비를 엄청나게 쏟아 붓고도 성과가 초라한 이유다. 실제 미식품의약국(FDA)의 신약허가 건수는 1950년대 이래 줄곧 하향곡선을 그리고 있다.
이 과정을 자세히 들여다본 결과 많은 경우 동물실험 과정이 문제투성이인 것으로 밝혀졌고 따라서 이를 토대로 진행된 (비용이 많이 드는) 임상시험은 실패가 예정된 수순이었다. 한 조사에 따르면 미국에서 해마다 280억 달러(약 32조 원)가 이런 식으로 낭비되고 있다.
동물실험의 문제는 크게 두 가지로 볼 수 있는데 하나는 설계의 문제로 실험동물의 숫자가 너무 적거나(시간과 비용을 아끼기 위해) 연구자의 편견이 개입된 경우다(예를 들어 도망치거나 공격하는 동물은 피하고 온순한 동물을 잡아서 실험에 이용한다). 한편 예상치 못한 변수도 드러나고 있는데 생쥐의 경우 케이지(우리)를 사육장 어디에 두느냐에 따라 생리적 차이가 생기고(불빛 가까이 있는 경우 스트레스를 많이 받아 면역력이 낮다) 심지어 실험자가 남자냐 여자냐에 따라서도 영향을 받는다. 따라서 이런 요인이 약물보다 더 큰 변수가 될 수 있다.
다음으로 구조적인 문제로 실험동물과 사람은 생리가 워낙 달라 설사 동물실험을 제대로 했더라도 사람에서 결과가 재현된다는 보장이 없다. 심지어 생쥐(mouse)를 대상으로 한 실험결과가 같은 설치류인 쥐(rat)에서 재현되는 경우가 60%에 불과하다는 연구결과도 있다. 역으로 말하면 동물실험에서 약효가 없거나 부작용이 커 탈락한 약물후보 가운데 사람에게 썼다면 기적의 약물로 평가됐을 것들도 분명 있었을 거란 말이다.
저자는 아스피린을 예로 들고 있는데, 지금 신약개발 방식을 따랐다면 결코 시장에 나오지 못했을 것이라고 말한다. 사실 1950년대에 지금보다 훨씬 더 많은 좋은 약물들이 나온 것도 당시에는 동물실험을 없이 사람을 대상으로 바로 약물효과를 실험하는 경우가 많았기 때문이라고 한다. 물론 오늘날 결코 적용할 수 없는 방식이다. 대신 최근 연구자들은 줄기세포로 만든 인공장기를 대상으로 한 실험을 주목하고 있고 최근 FDA도 인체의 장기를 모방한 칩으로 독성실험을 처음 승인했다.
다음으로 실험에 쓰인 재료나 장비의 문제다. 생물의학 분야의 연구자 대다수는 물리학이나 화학에 대한 지식이 깊지 않기 때문에 다른 실험실이나 업체에서 공급하는 실험 재료나 장비를 믿고 쓰는데 여기서 문제가 있을 경우 실험 데이터 전체가 무의미해지기도 한다.
세포 오염 문제를 예로 들어보자. 항암물질을 스크린할 때 특정 암세포를 배양해 효과를 보는 경우가 많다. 그런데 어딘가에서 착오가 생겨 엉뚱한 암세포로 실험을 했다면? 실제 후두암 조직에서 얻은 암세포(HEp-2)로 알고 쓴 시료가 알고 보니 자궁경부암 조직에서 얻은 세포(헬라세포)로 밝혀져 학계가 발칵 뒤집힌 사례가 있다. 엉뚱한 암세포로 실험해 발표한 논문이 7000편이 넘고 허무하게 쓰인 연구비가 7억 달러가 넘는다. 여기에 인생을 바친 연구자들의 심정은 또 어떨까. 2007년 발표된 연구결과에 따르면 세포실험 가운데 18~36%가 엉뚱한 세포를 쓴 것으로 추정된다.
그런데 이런 문제는 예방할 수 있다. 즉 실험에 들어가기 전에 세포의 정체성을 확인하는 절차를 거치면 되기 때문이다. 직접 하기 어려우면 이런 일을 대행하는 곳에 맡기면 되는데 몇 푼 아끼려다가 실험 전체를 망치는 셈이다. 게다가 상당수 연구자들은 자신이 엉뚱한 세포로 실험을 할 수도 있다는 가능성 자체를 생각하지 못한다. 여기서 말하는 과학자들의 ‘게으름과 무식함’은 이런 것들이다.
재료를 공급하는 업체들도 문제가 많은데 대표적인 예가 항체다. 특정한 분자의 구조를 인식해 달라붙는 단일클론항체는 표지로 널리 쓰이는데 문제는 그 전제가 충족되지 않는 경우가 많다는 것이다. 즉 특정한 분자의 구조만을 인식해야 하는데 다른 생체분자들에도 달라붙을 경우 데이터가 엉망이 된다. 한 조사에 따르면 시판되는 항체의 60~70%가 이런 문제를 안고 있다고 한다.
예를 들어 지난 2012년 발견된 호르몬 이리신은 운동을 할 때 분비돼 백색지방조직을 갈색지방조직으로 바꿔 지방을 태워 대사율을 높이는, 즉 살을 빼는 것으로 밝혀져 큰 화제가 됐다. 그런데 이리신을 정량적으로 분석하기 위해 쓴 항체가 다른 분자에도 달라붙는 것으로 밝혀지면서 큰 논란이 됐다. 리처드 해리스는 잘못된 세포와 항체를 쓴 게 논문 재현성 실패 원인의 25%를 차지할 것으로 추측했다.  
한편 데이터를 분석하는 과정에서도 문제가 많다고 한다. 빅데이터 시대임에도 여전히 생물학 연구자들 다수가 수학과 통계학에 무지하다보니 초보적인 실수를 범하고 이런 논문들을 검토하는 사람들도 생물학자이다 보니 오류를 알지 못하고 넘어간다는 것이다. 열 마리도 안 되는 동물로 실험한 결과를 통계적으로 유의미하다며 발표하는 경우 이런 문제점이 있을 가능성이 농후하다.
저자는 과학자들의 ‘게으름과 무지함’이라는 문제를 해결하기 위해서는 먼저 대학원 교육과정을 뜯어고쳐야 한다고 강조한다. 즉 오늘날 대학은 관련분야의 지식(사실)을 가르칠 뿐 실험방법에 대해서는 사실상 교육과정이 전무한 상황이다. 그러다보니 학생 대다수가 자신이 사용하는 재료나 기기에 대한 기본지식조차 없는 상태에서 주어진 과제를 해내는데 급급하다. 이렇게 학위를 받고 설사 운 좋게 과학자로 자리를 잡더라도 하던 대로 하다 문제가 터지면 열에 아홉은 내 잘못이 아니라며 외면한다는 것이다.  

● 논문 철회 건수 10년 새 열 배

다음으로 데이터 조작 문제인데 우리나라는 황우석 사태라는 뼈아픈 기억이 있기 때문에 굳이 길게 언급하지는 않겠다. 많은 경우 실험을 하는 학생 또는 박사후연구원이 몰래 사고를 치고 교수가 진두지휘하는 경우는 흔치 않다. 그러나 이런 노골적인 행위를 너머 데이터 조작의 범위를 넓히면 얘기가 달라진다. 한 조사에 따르면 연구자의 72%가 논문을 쓸 때 가설을 지지하지 않는 실험데이터는 뺀 적이 있다고 한다(물론 논문에서 언급하지도 않는다). 가설에 맞지 않는 데이터를 포함하면 논문의 ‘가치’가 떨어지기 때문이다.
데이터 조작이 만연하다보니 논문철회 건수도 급격히 늘고 있는데 ‘Retraction Watch(철회 감시)’라는 블로그에 실린 조사결과를 보면 2001년 40여 건에서 2010년에는 400여 건으로 열 배로 급증했다. 더 놀라운 사실은 논문을 쓴 연구자나 실은 학술지가 마지못해 결정한 결과가 이렇다는 것이다. 즉 저자나 학술지는 웬만하면 논문 철회를 안 하고 유야무야 넘어가는 쪽을 모색한다. 그러다보니 심지어 몇몇 학술지는 논문의 오류를 지적하는 서신을 싣는데 최대 2100달러(약 240만 원)의 돈을 요구하기도 한다.

● 어디에 실었느냐가 중요
 
지난 2월 26일 미국의 언어학자이자 사업가인 유진 가필드가 92세로 타계했다. 필자는 ‘네이처’ 3월 23일자에 실린 부고를 보기 전까지 이름도 들어본 적이 없었는데 알고 보니 과학계에 엄청난 영향을 끼친 사람이다. 1955년 가필드는 ‘사이언스’에 소위 임팩트팩터(impact factor)로 불리게 될 과학인용지수(SCI)를 고안한 논문을 발표했다.
‘사후경직’에서 저자는 오늘날 과학이 재현성 위기를 맡게 된 결정적인 원인이 바로 임팩트팩터라고 한탄한다. 많은 과학자들의 평생소원이 임팩트팩터가 높은 NSC(네이처, 사이언스, 셀)에 논문 한 편 싣는 거라는 말도 있듯이 과학계에서 ‘모든 길은 임팩트팩터로 통한다’고 할 정도다. 임팩트팩트가 높은 학술지에 논문을 실어야 졸업도 빨리 되고 교수 자리도 얻을 수 있고 정년도 보장받을 수 있고 연구비도 쉽게 딸 수 있다. 심지어 NSC에 논문을 실으면 마음대로 쓸 수 있는 두둑한 보너스를 주는 대학들도 많다.
그런데 NSC가 아무 논문이나 받아주는 게 아니다. 엄청난 내용을 담거나 아니면 기발해서 대중들도 흥미를 느낄 만한 얘깃거리여야 한다(그래야 저널의 임팩트팩트를 유지할 수 있다). 이러다보니 많은 과학자들이 평범한 연구결과를 놀라운 연구결과로 환골탈태하려는 유혹에 시달리게 되고 결국 해서는 안 될 일까지 손을 대게 된다. 또 경쟁이 치열한 시간싸움이라 실험에서 가장 중요한 엄밀함을 챙길 여유가 없다.
저자는 임팩트팩터를 향한 미국 과학자들의 갈망을 한탄하며 그래도 동아시아보다는 낫다고 위안하고 있다. 즉 중국과 한국에서 임팩트팩터는 ‘신성한 숫자’로 추앙받고 있다는 것이다. 이들 나라에서 모든 평가의 기준은 논문의 내용이 아니라 게재된 저널의 임팩트팩터 숫자라는 것이다. 임팩트팩터가 높은 저널에 논문을 싣기 위해 몸부림치고 있는 필자의 친구들을 떠올리면 씁쓸한 웃음이 나올 뿐이다.
또 다른 근본적인 구조적 문제는 오늘날 과학자가 너무 많은데 비해 연구비는 정체돼 있다는 것이다. 미국의 경우 생명의학 분야의 박사후연구원이 적어도 4만 명은 될 것으로 추정되는데 이 가운데 교수나 연구원 등 정규직이 될 확률은 20%에 불과하다고 한다. 결국 일자리를 얻기 위해 임팩트가 큰 결과를 내야 한다는 압박감에 시달리면서 실험의 엄격함은 고사하고 데이터 조작을 안 하면 다행인 수준으로 내몰리고 있다.
또 자리를 잡아도 연구비를 따내는 게 하늘의 별따기라 연구제안서를 쓰는 게 일이다. 예를 들어 미국립보건원(NIH)에 제안서를 쓴 연구자의 17%만이 연구비를 따낸다. 한편 연구자를 선정할 때 기준 역시 제안서 자체의 창의성이나 잠재력보다는 제안한 사람의 경력(임팩트팩터와 발표한 논문 수가 주요 기준이다)이 고려사항이다. 이런 상황에서 제대로 된 연구를 할 수 없는 게 오히려 자연스러운 게 아니냐는 말이다.
그럼에도 상황을 더 이상 방치할 수 없다는 반성의 목소리가 나오면서 문제를 개선하려는 움직임이 나타나고 있다. 즉 많은 학술지들이 동물실험 규정을 정해 논문을 실으려는 연구자들에게 배포하고 있고 데이터를 공개해 공유할 수 있게 해야 한다는 조건을 다는 경우도 있다. 열린 과학만이 많은 잠재적 문제들을 사전에 예방할 수 있기 때문이다.
그럼에도 평가문제(임팩트팩터 맹신)나 과학자 수급 조절 등 구조적인 문제는 과학자들이 해결할 수 있는 범위 밖에 있는 게 현실이다. 대학정원을 크게 늘린 것이 오늘날 우리나라 청년실업문제를 초래한 구조적인 문제임에도 누구하나 손을 대지 못하는 것과 비슷한 맥락 아닐까.
지난 2013년 타계한 영국의 생화학자 프레더릭 생어는 노벨상을 두 번이나 탄 인물이다. 인슐린 단백질의 아미노산 서열을 규명해 1958년 화학상을, DNA염기서열분석법을 개발해 1980년 역시 화학상을 받았다. 각각 10년이 넘는 기간 동안 끈질기게 매달린 결과다. 2002년 노벨생리의학상 수상자인 싱가포르 분자세포생물학연구소의 시드니 브레너 박사는 ‘사이언스’에 기고한 부고에서 “생어 같은 과학자는 (보고서와 논문을 끊임없이 써야하는) 오늘날 과학계 풍토에서는 살아남지 못할 것”이라고 썼다.

과학자들이 호기심에 이끌려 살았던 좋은 시절은 결코 다시 오지 못할 것이라는 예감이 든다.