Sự cố về công nghệ thông tin sẽ mất ‘một khoảng thời gian’ để khắc phục, ông Crowdstrike thừa nhận #Crowdstrike #ITproblems #BBC #Không là tấn công
Ông chủ của công ty an ninh mạng Crowdstrike đã thừa nhận có thể mất “một khoảng thời gian” trước khi tất cả các hệ thống hoạt động trở lại bình thường sau khi một bản cập nhật từ công ty gây ra một sự cố IT toàn cầu.
Các chuyên gia đang cảnh báo rằng có thể mất nhiều ngày đối với các tổ chức lớn để trở lại bình thường. Mặc dù hiện đã có một bản vá phần mềm cho vấn đề này, quá trình thủ công cần thiết sẽ mất một lượng công việc lớn, họ nói.
Sự cố toàn cầu đã dẫn đến việc hủy gần 1.400 chuyến bay, trong khi ngành ngân hàng, chăm sóc sức khỏe và các cửa hàng đều bị ảnh hưởng.
Vấn đề được gây ra khi một bản cập nhật từ Crowdstrike khiến các hệ thống của Microsoft “màn hình xanh” và bị treo.
Phần mềm gây ra vấn đề đã được gửi tự động đến khách hàng của công ty qua đêm nên nhiều người bị ảnh hưởng khi đến làm việc vào sáng thứ Sáu.
Điều đó có nghĩa là máy tính của họ không thể khởi động lại.
Viết trên X, giám đốc điều hành Crowdstrike George Kurtz nói: “Vấn đề đã được xác định, cô lập và một bản vá đã được triển khai.”
Trong một cuộc phỏng vấn trên chương trình Today Show của NBC tại Mỹ, ông Kurtz nói rằng công ty “rất tiếc về tác động mà chúng tôi đã gây ra đến khách hàng”.
“Rất nhiều khách hàng đang khởi động lại hệ thống và nó sẽ hoạt động,” ông nói, nhưng thêm: “Có thể mất một khoảng thời gian cho một số hệ thống không tự khôi phục.”
Bản vá sẽ không tự động, mà là một giải pháp “ngón tay trên bàn phím” mà ngành công nghiệp gọi là.
Nhà nghiên cứu Kevin Beaumont nói: “Khi các hệ thống không khởi động được nữa, các hệ thống bị ảnh hưởng sẽ cần được khởi động ở ‘Chế độ an toàn’ để hoàn thành bản cập nhật bị lỗi.”
Điều này tốn rất nhiều thời gian và sẽ mất các tổ chức vài ngày để làm điều đó ở mức độ lớn.
Nhân viên kỹ thuật sẽ cần phải đi và khởi động lại từng máy tính bị ảnh hưởng, điều đó có thể là một nhiệm vụ lớn lao.
Crowdstrike là một trong những nhãn hiệu an ninh mạng lớn nhất và đáng tin cậy nhất.
Công ty có khoảng 24.000 khách hàng trên toàn thế giới và bảo vệ hàng trăm ngàn máy tính.
Lời dẫn của ông Kurtz cho thấy bản cập nhật qua đêm ban đầu được ước tính là một “cập nhật nội dung”.
Vì vậy, đó không phải là một sự làm mới lớn với phần mềm an ninh mạng. Điều đó có thể là điều gì đó như thay đổi font hoặc logo trên thiết kế phần mềm. Điều đó có thể giải thích tại sao phần mềm không được kiểm tra một cách khắt khe như một cập nhật lớn khác đã được làm. Nhưng điều đó cũng đặt ra câu hỏi: làm sao một cập nhật nhỏ có thể gây ra nhiều thiệt hại như vậy?
Một quản lý IT gặp khó khăn cho biết quá trình để khởi động lại máy tính nhanh chóng khi một người IT đến gần máy, nhưng vấn đề là đưa họ đến máy.
Người này, muốn giữ bí mật, chịu trách nhiệm cho 4.000 máy tính trong một công ty giáo dục và nói rằng đội của anh ta đã làm việc hết mình.
“Chúng tôi đã sửa được tất cả máy chủ của mình bằng cách dùng lệnh prompt như một giải pháp tạm thời, nhưng đối với nhiều máy tính cá nhân, không dễ thực hiện thủ công khi chúng tôi phân phối ở năm cơ sở khác nhau. Bất kỳ máy tính nào để bật qua đêm đều bị ảnh hưởng và chúng tôi đang xây dựng lại chúng,” anh nói.
Các chuyên gia IT cho biết quy trình thủ công này sẽ rất khó khăn đối với các tổ chức lớn có hàng nghìn máy tính có thể thiếu nguồn lực về IT.
Các doanh nghiệp vừa và nhỏ mà không có đội ngũ IT riêng hoặc đã outsou…
Nguồn: https://www.bbc.com/news/articles/cn4vgq5150qo
By Joe Tidy, Cyber correspondent, BBC World Service
Getty ImagesThe boss of cyber-security firm Crowdstrike has admitted it could be “some time” before all systems are back up and running after an update from the company triggered a global IT outage.
Experts are warning that it could take days for big organisations to get back to normal.
Although there is now a software fix for the issue, the manual process required will take a huge amount of work, they said.
The global outage has led to almost 1,400 flights being cancelled, while banking, healthcare and shops have all been affected.
The issue was caused when an update from Crowdstrike caused Microsoft systems to “blue screen” and crash.
The problem piece of software was sent out automatically to the firm’s customers overnight which is why so many were affected when they came into work on Friday morning.
It meant their computers could not be restarted.
Writing on X, Crowdstrike chief executive George Kurtz said: “The issue has been identified, isolated and a fix has been deployed.”
In an interview on NBC’s Today Show in the US, Mr Kurtz said the company was “deeply sorry for the impact that we’ve caused to customers”.
“Many of the customers are rebooting the system and it’s coming up and it’ll be operational,” he said, but added: “It could be some time for some systems that won’t automatically recover.”
The fix will not be automatic, but what the industry calls a “fingers on keyboards” solution.
Researcher Kevin Beaumont said: “As systems no longer start, impacted systems will need to be started in ‘Safe Mode’ to remove the faulty update.
“This is incredibly time consuming and will take organisations days to do at scale.”
Technical staff will need to go and reboot each and every computer affected, which could be a monumental task.
Crowdstrike is one of the biggest and most trusted brands in cyber-security.
It has about 24,000 customers around the world and protects potentially hundreds of thousands of computers.
The wording of Mr Kurtz’s statement suggests the overnight update was supposed to be small, describing it as a “content update”.
So it was not a major refresh of the cyber-security software. It could have been something as innocuous as the changing of a font or logo on the software design.
That could potentially explain why the software was not as rigorously checked in the same way that a major update would have been. But it also poses the question: how could a small update do so much damage?
EPAOne struggling IT manager said the process to get computers back up and running is quick once an IT person is at the machine, but the problem is getting them to the machines.
The person, who wished to remain anonymous, is responsible for 4,000 computers in an education company and said his team were working flat out.
“We have managed to fix all of our servers using the command prompt as a workaround, but for many of our PCs, it’s not easy to do manually as we are spread out across five sites. Any PCs that are left switched on overnight are affected and we’re rebuilding them,” he said.
IT experts say this manual process will be particularly hard in large organisations with thousands of computers that are potentially under-resourced in IT.
Small and medium-sized businesses without dedicated IT teams or which outsource their IT issues might also struggle.
The larger, more resourced companies, like American Airlines, appear to be fixing the problems rapidly.
Interestingly it looks like many in the US might be less affected as computers that are potentially not yet switched on can be started up to download the corrected software instead of the bad version. But that might still involve a level of manual operation.
Mr Beaumont said that one of the world’s “highest impact IT incidents” was “caused by a cyber-security vendor”.
Ironically if a customer was affected by this it was because they followed all the usual advice that is issued by cyber-security experts – install the security updates when you receive them.
While some security companies in the past have accidentally send out a dodgy software update, we’ve never seen one at this scale and this damaging.
While this incident has caused widespread disruption, the WannaCry cyber-attack in May 2017 was potentially worse.
That was a malicious cyber-attack that affected an old version of Microsoft Windows and spread automatically to any computer that had the old and unprotected Windows software.
It affected an estimated 300,000 computers in 150 different countries.
It hit the NHS for days, affecting doctors’ surgeries and hospitals around the country.
In that case it was an attack thought to be carried out by North Korea that got out of hand.
The NotPetya attack a month after that was eerily similar in method and damage.
In contrast, the outages on Friday are a mistake and not an attack.
