strcmp 함수는 문자열(const char *)을 인자로 받습니다. answer[j]의 타입은 char인데 이걸 포인터라고 생각하기 때문에 잘못된 주소에 접근하게 됩니다.

answer[j]로 시작하는 문자열을 넘기고 싶다면 &answer[j] 또는 answer + j 등을 넘기셔야 합니다.

이때는 answer[j], answer[j + 1], ... 순으로 비교하며 인자 중 한쪽에서 먼저 '\0'이 나올 때까지 반복하게 됩니다.

char 하나를 비교할 땐 그냥 'O' == answer[j] 등으로 검사하시면 됩니다.