Posted on

Red Hat Unlocks Generative AI for Any Model and Any Accelerator Across the Hybrid Cloud with Red Hat AI Inference Server

เร้ดแฮทปล่อย Red Hat AI Inference Server ปลดล็อก นำ Generative AI ใช้กับ Model และ Accelerator ใดก็ได้ บน Hybrid Cloud ทุกแห่ง

Red Hat Unlocks Generative AI for Any Model and Any Accelerator Across the Hybrid Cloud with Red Hat AI Inference Server

Red Hat AI Inference Server, powered by vLLM and enhanced with Neural Magic technologies, delivers faster, higher-performing and more cost-efficient AI inference across the hybrid cloud

Red Hat, the world’s leading provider of open source solutions, today announced Red Hat AI Inference Server, a significant step towards democratizing generative AI (gen AI) across the hybrid cloud. A new offering within Red Hat AI, the enterprise-grade inference server is born from the powerful vLLM community project and enhanced by Red Hat’s integration of Neural Magic technologies, offering greater speed, accelerator-efficiency and cost-effectiveness to help deliver Red Hat’s vision of running any gen AI model on any AI accelerator in any cloud environment. Whether deployed standalone or as an integrated component of Red Hat Enterprise Linux AI (RHEL AI) and Red Hat OpenShift AI, this breakthrough platform empowers organizations to more confidently deploy and scale gen AI in production.

Inference is the critical execution engine of AI, where pre-trained models translate data into real-world impact. It’s the pivotal point of user interaction, demanding swift and accurate responses. As gen AI models explode in complexity and production deployments scale, inference can become a significant bottleneck, devouring hardware resources and threatening to cripple responsiveness and inflate operational costs. Robust inference servers are no longer a luxury but a necessity for unlocking the true potential of AI at scale, navigating underlying complexities with greater ease.

Red Hat directly addresses these challenges with Red Hat AI Inference Server – an open inference solution engineered for high performance and equipped with leading model compression and optimization tools. This innovation empowers organizations to fully tap into the transformative power of gen AI by delivering dramatically more responsive user experiences and unparalleled freedom in their choice of AI accelerators, models, and IT environments.

vLLM: Extending inference innovation

Red Hat AI Inference Server builds on the industry-leading vLLM project, which was started by UC Berkeley in mid-2023. The community project delivers high-throughput gen AI inference, support for large input context, multi-GPU model acceleration, support for continuous batching, and more.

vLLM’s broad support for publicly available models – coupled with its day zero integration of leading frontier models including DeepSeek, Gemma, Llama, Llama Nemotron, Mistral, Phi and others, as well as open, enterprise-grade reasoning models like Llama Nemotron – positions it as a de facto standard for future AI inference innovation. Leading frontier model providers are increasingly embracing vLLM, solidifying its critical role in shaping gen AI’s future.

Introducing Red Hat AI Inference Server

Red Hat AI Inference Server packages the leading innovation of vLLM and forges it into the enterprise-grade capabilities of Red Hat AI Inference Server. Red Hat AI Inference Server is available as a standalone containerized offering or as part of both RHEL AI and Red Hat OpenShift AI.

Across any deployment environment, Red Hat  Inference Server provides users with a hardened, supported distribution of vLLM along with:

  • Intelligent LLM compression tools for dramatically reducing the size of both foundational and fine-tuned AI models, minimizing compute consumption while preserving and potentially enhancing model accuracy.
  • Optimized model repository, hosted in the Red Hat AI organization on Hugging Face, offers instant access to a validated and optimized collection of leading AI models ready for inference deployment, helping to accelerate efficiency by 2-4x without compromising model accuracy.
  • Red Hat’s enterprise support and decades of expertise in bringing community projects to production environments.
  • Third-party support for even greater deployment flexibility, enabling Red Hat AI Inference Server to be deployed on non-Red Hat Linux and Kubernetes platforms pursuant to Red Hat’s 3rd Party Support Policy.

Red Hat’s vision: Any model, any accelerator, any cloud.

The future of AI must be defined by limitless opportunity, not constrained by infrastructure silos. Red Hat sees a horizon where organizations can deploy any model, on any accelerator, across any cloud, delivering an exceptional, more consistent user experience without exorbitant costs. To unlock the true potential of gen AI investments, enterprises require a universal inference platform – a standard for more seamless, high-performance AI innovation, both today and in the years to come.

Just as Red Hat pioneered the open enterprise by transforming Linux into the bedrock of modern IT, the company is now poised to architect the future of AI inference. vLLM’s potential is that of a linchpin for standardized gen AI inference, and Red Hat is committed to building a thriving ecosystem around not just the vLLM community but also llm-d for distributed inference at scale. The vision is clear: regardless of the AI model, the underlying accelerator or the deployment environment, Red Hat intends to make vLLM the definitive open standard for inference across the new hybrid cloud.

Supporting Quotes

Joe Fernandes, vice president and general manager, AI Business Unit, Red Hat

“Inference is where the real promise of gen AI is delivered, where user interactions are met with fast, accurate responses delivered by a given model, but it must be delivered in an effective and cost-efficient way. Red Hat AI Inference Server is intended to meet the demand for high-performing, responsive inference at scale while keeping resource demands low, providing a common inference layer that supports any model, running on any accelerator in any environment.”

Ramine Roane, corporate vice president, AI Product Management, AMD

“In collaboration with Red Hat, AMD delivers out-of-the-box solutions to drive efficient generative AI in the enterprise. Red Hat AI Inference Server enabled on AMD Instinct™ GPUs equips organizations with enterprise-grade, community-driven AI inference capabilities backed by fully validated hardware accelerators.”

Jeremy Foster, senior vice president and general manager, Cisco

“AI workloads need speed, consistency, and flexibility, which is exactly what the Red Hat AI Inference Server is designed to deliver. This innovation offers Cisco and Red Hat opportunities to continue to collaborate on new ways to make AI deployments more accessible, efficient and scalable—helping organizations prepare for what’s next.”

Bill Pearson, vice president, Data Center & AI Software Solutions and Ecosystem, Intel

“Intel is excited to collaborate with Red Hat to enable Red Hat AI Inference Server on Intel® Gaudi® accelerators. This integration will provide our customers with an optimized solution to streamline and scale AI inference, delivering advanced performance and efficiency for a wide range of enterprise AI applications.”

John Fanelli, vice president, Enterprise Software, NVIDIA

“High-performance inference enables models and AI agents not just to answer, but to reason and adapt in real time. With open, full-stack NVIDIA accelerated computing and Red Hat AI Inference Server, developers can run efficient reasoning at scale across hybrid clouds, and deploy with confidence using Red Hat Inference Server with the new NVIDIA Enterprise AI validated design.”

 

Posted on

เร้ดแฮทปล่อย Red Hat AI Inference Server ปลดล็อก นำ Generative AI ใช้กับ Model และ Accelerator ใดก็ได้ บน Hybrid Cloud ทุกแห่ง

เร้ดแฮทปล่อย Red Hat AI Inference Server ปลดล็อก นำ Generative AI ใช้กับ Model และ Accelerator ใดก็ได้ บน Hybrid Cloud ทุกแห่ง

เร้ดแฮทปล่อย Red Hat AI Inference Server ปลดล็อก นำ Generative AI ใช้กับ Model และ Accelerator ใดก็ได้ บน Hybrid Cloud ทุกแห่ง

Red Hat AI Inference Server ขับเคลื่อนโดย vLLM เพิ่มประสิทธิภาพด้วยเทคโนโลยีของ Neural Magic มอบการอนุมาน AI ที่เร็วขึ้น มีประสิทธิภาพสูง และคุ้มค่าใช้จ่าย ทำงานได้กับทุกไฮบริดคลาวด์

เร้ดแฮท ผู้ให้บริการโซลูชันโอเพ่นซอร์สชั้นนำของโลก ประกาศเปิดตัว Red Hat AI Inference Server ก้าวสำคัญที่จะทำให้ generative AI (gen AI) กลายเป็นเทคโนโลยีที่ใครก็ใช้ได้บนไฮบริดคลาวด์ทุกแห่ง โซลูชันใหม่นี้นำเสนออยู่ใน Red Hat AI เป็นเซิร์ฟเวอร์อนุมานระดับองค์กรที่เกิดจากโปรเจกต์จาก vLLM community อันทรงพลัง และเร้ดแฮทเพิ่มประสิทธิภาพด้วยการผสานรวมเข้ากับเทคโนโลยี Neural Magic ทำให้มีความเร็วมากขึ้น ช่วยเพิ่มประสิทธิภาพให้ accelerator และคุ้มค่าใช้จ่าย เป็นการตอบวิสัยทัศน์ของเร้ดแฮทในการมอบการใช้งานโมเดล gen AI ใด ๆ บน AI accelerator ใด ๆ ก็ได้ บนทุกสภาพแวดล้อมคลาวด์ แพลตฟอร์มที่ล้ำหน้านี้ช่วยให้องค์กรต่าง ๆ ใช้และสเกล gen AI สู่การทำงานเป็นรูปธรรมได้อย่างมั่นใจมากขึ้น ไม่ว่าจะใช้งานแบบสแตนด์อโลน หรือผสานเป็นส่วนประกอบของ Red Hat Enterprise Linux AI (RHEL AI) และ Red Hat OpenShift AI ก็ตาม

การอนุมานเป็นเครื่องมือทำงานที่สำคัญของ AI โดยโมเดลที่ผ่านการเทรนล่วงหน้าจะแปลงข้อมูลให้เป็นการใช้งานในสถานการณ์จริง ซึ่งเป็นจุดสำคัญของการปฏิสัมพันธ์กับผู้ใช้ ที่ต้องการการตอบสนองอย่างฉับไวและแม่นยำ การที่โมเดล gen AI ทั้งหลายขยายตัวอย่างรวดเร็วตามขนาดการใช้งานจริงและมีความซับซ้อน ทำให้การอนุมาน (inference) อาจกลายเป็นคอขวดที่เป็นอุปสรรคสำคัญ สิ้นเปลืองทรัพยากรฮาร์ดแวร์ และเป็นเหตุให้การตอบสนองไม่มีประสิทธิภาพ ทั้งยังทำให้ค่าใช้จ่ายในการดำเนินงานเพิ่มขึ้น ดังนั้น เซิร์ฟเวอร์การอนุมานที่มีประสิทธิภาพแข็งแกร่งไม่ใช่สิ่งฟุ่มเฟือยอีกต่อไป แต่เป็นสิ่งจำเป็นที่จะช่วยปลดล็อกให้ได้ใช้ศักยภาพที่แท้จริงของ AI ในวงกว้าง และการใช้งานที่ง่ายขึ้นอย่างมากจะช่วยขจัดความซับซ้อนที่ซ่อนอยู่ได้

เร้ดแฮทเจาะจงจัดการความท้าทายเหล่านี้ด้วย Red Hat AI Inference Server ซึ่งเป็นโซลูชันการอนุมานแบบโอเพ่นที่ออกแบบมาเพื่อมอบประสิทธิภาพที่สูง มีเครื่องมือบีบอัดและเพิ่มประสิทธิภาพโมเดลที่มีประสิทธิภาพชั้นนำติดตั้งมาพร้อม นวัตกรรมนี้ช่วยเสริมให้องค์กรใช้สมรรถนะของ gen AI ได้อย่างเต็มที่ด้วยการมอบประสบการณ์การตอบสนองที่ดีขึ้นอย่างมากให้กับผู้ใช้ และผู้ใช้มีอิสระในการเลือกใช้ AI accelerators เลือกใช้โมเดลและสภาพแวดล้อมไอทีได้ตามต้องการ

vLLM: การขยายนวัตกรรมด้านการอนุมาน

Red Hat AI Inference Server สร้างจากโปรเจกต์ vLLM ชั้นนำในวงการที่เริ่มต้นพัฒนาโดย University of California, Berkeley เมื่อกลางปี พ.ศ. 2566 โปรเจกต์ของคอมมิวนิตี้นี้ มอบการอนุมาน gen AI ที่มีปริมาณงานในช่วงเวลาหนึ่ง ๆ ที่สูง (high-throughput gen AI inference) รองรับอินพุตขนาดใหญ่, multi-GPU model acceleration, การแบทช์ต่อเนื่อง และอื่น ๆ อีกมาก

vLLM สนับสนุนการใช้งานในวงกว้างกับโมเดลต่าง ๆ ที่เปิดเป็นสาธารณะ ควบคู่กับการบูรณาการเข้ากับโมเดลชั้นนำต่าง ๆ ตั้งแต่ day zero ซึ่งรวมถึง DeepSeek, Gemma, Llama, Llama Nemotron, Mistral, Phi และอื่น ๆ รวมถึงโมเดลการใช้เหตุผลระดับองค์กรแบบเปิด เช่น Llama Nemotron นับได้ว่าเป็นมาตรฐานที่ได้รับการยอมรับและใช้กันโดยทั่วไปสำหรับนวัตกรรมการอนุมาน AI ในอนาคต การที่ผู้ให้บริการโมเดลระดับแนวหน้าต่างใช้ vLLM มากขึ้น ทำให้ vLLM มีบทบาทสำคัญต่ออนาคตของ gen AI

การเปิดตัว Red Hat AI Inference Server

Red Hat AI Inference Server มัดรวมนวัตกรรมชั้นนำของ vLLM และหลอมรวมเข้ากับความสามารถระดับองค์กรของ Red Hat AI Inference Server มีให้บริการทั้งแบบสแตนด์อโลนในรูปแบบคอนเทนเนอร์ หรือ ให้บริการเป็นส่วนหนึ่งของ RHEL AI และ Red Hat OpenShift AI

Red Hat AI Inference Server มอบการกระจาย vLLM ที่แข็งแกร่ง และใช้ได้กับสภาพแวดล้อมการใช้งานทุกแบบให้แก่ผู้ใช้ ซึ่งมาพร้อมด้วย:

  • Intelligent LLM compression tools เพื่อลดขนาดของโครงสร้างพื้นฐาน และปรับแต่งโมเดล AI อย่างละเอียด ลดการใช้การประมวลผลให้เหลือน้อยที่สุด ในขณะที่ยังคงรักษาและเพิ่มความแม่นยำของโมเดลได้
  • พื้นที่เก็บข้อมูลโมเดลที่ปรับให้เหมาะสม ซึ่งโฮสต์อยู่ใน Red Hat AI organization บน Hugging Face ช่วยให้เข้าถึงคอลเลกชันของโมเดล AI ชั้นนำที่ได้รับการตรวจสอบและปรับให้เหมาะสม และพร้อมสำหรับใช้ในการอนุมานได้ทันที ซึ่งช่วยเร่งประสิทธิภาพความเร็วได้ 2-4 เท่า โดยไม่กระทบต่อความแม่นยำของโมเดล
  • การสนับสนุนระดับองค์กรของเร้ดแฮท และความเชี่ยวชาญที่สั่งสมหลายทศวรรษในการนำโปรเจกต์ต่าง ๆ จากคอมมิวนิตี้มาสู่การผลิตใช้งานจริง
  • การสนับสนุนจากบุคคลภายนอก (third-party) เพื่อให้เกิดความยืดหยุ่นในการใช้ Red Hat AI Inference Server ได้บน non-Red Hat Linux และ แพลตฟอร์ม Kubernetes ต่าง ๆ ซึ่งเป็นไปตามนโยบายสนับสนุน third-party ของเร้ดแฮท

วิสัยทัศน์ของเร้ดแฮท: โมเดลใดก็ได้, accelerator ใดก็ได้, คลาวด์ใดก็ได้

อนาคตของ AI ต้องถูกกำหนดโดยโอกาสที่ไร้ขีดจำกัด และไม่ถูกจำกัดด้วยโครงสร้างพื้นฐานที่เป็นไซโล เร้ดแฮทมองเห็นแนวทางที่องค์กรต่าง ๆ จะสามารถใช้โมเดลใดก็ได้ กับ accelerator ใดก็ได้ บนคลาวด์ใด ๆ ก็ได้ และมอบประสบการณ์ที่ยอดเยี่ยมและสม่ำเสมอให้กับผู้ใช้งานด้วยค่าใช้จ่ายที่เหมาะสม องค์กรต่างต้องการแพลตฟอร์มการอนุมานที่เป็นสากล เป็นมาตรฐานให้กับนวัตกรรม AI ประสิทธิภาพสูงได้อย่างไม่ติดขัด ทั้งในวันนี้และอีกหลาย ๆ ปีที่จะตามมา เพื่อปลดล็อกศักยภาพที่แท้จริงจากการลงทุนด้าน gen AI

เร้ดแฮทพร้อมที่จะวางฐานรากสถาปัตยกรรมเพื่อเป็นฐานอนาคตของการอนุมาน AI เช่นเดียวกับการที่บริษัทฯ เคยบุกเบิกองค์กรแบบเปิดด้วยการทรานส์ฟอร์ม Linux ให้เป็นฐานของไอทียุคใหม่ ศักยภาพของ vLLM เป็นสิ่งสำคัญต่อการอนุมาน gen AI ที่เป็นมาตรฐาน เร้ดแฮทมุ่งมั่นสร้างระบบนิเวศที่ครบครันให้กับไม่เพียง vLLM community เท่านั้น แต่ยังรวมถึง llm-d สำหรับการอนุมานแบบกระจาย (distributed inference) อีกด้วย ด้วยวิสัยทัศน์ที่ชัดเจน ไม่ว่าจะเป็นโมเดล AI, underlying accelerator หรือสภาพแวดล้อมการใช้งานจะเป็นเช่นไร เร้ดแฮทตั้งใจทำให้ vLLM เป็นมาตรฐานเปิดที่สมบูรณ์แบบที่สุดสำหรับการอนุมานบนไฮบริดคลาวด์

คำกล่าวสนับสนุน

Joe Fernandes, vice president and general manager, AI Business Unit, Red Hat

“การอนุมานเป็นการบอกว่าได้มีการใช้ประโยชน์อย่างแท้จริงจาก gen AI  โดยการปฏิสัมพันธ์ของผู้ใช้จะได้รับการตอบสนองที่รวดเร็วและแม่นยำจากโมเดลที่กำหนด แต่จะต้องได้รับการส่งมอบให้ใช้ด้วยวิธีการที่มีประสิทธิภาพและคุ้มค่าใช้จ่าย วัตถุประสงค์ของ Red Hat AI Inference Server คือการตอบสนองความต้องการด้านการอนุมานที่มีประสิทธิภาพสูงและมีปฏิสัมพันธ์ได้ตามต้องการ ในขณะเดียวกัน ก็รักษาความต้องการใช้ทรัพยากรให้อยู่ในระดับต่ำ จัดให้มีเลเยอร์การอนุมานทั่วไปที่รองรับโมเดลใดก็ได้ รันบน accelerator ใดก็ได้ บนทุกสภาพแวดล้อม”

Ramine Roane, corporate vice president, AI Product Management, AMD

“ความร่วมมือกับเร้ดแฮทช่วยให้ AMD นำเสนอโซลูชันล้ำสมัยเพื่อขับเคลื่อนให้องค์กรใช้ generative AI ได้อย่างมีประสิทธิภาพ Red Hat AI Inference Server ที่ใช้ขุมพลังกราฟิกการ์ด AMD Instinct™ ช่วยให้องค์กรต่าง ๆ มีขีดความสามารถในการอนุมานด้าน AI ที่ขับเคลื่อนโดยคอมมิวนิตี้ระดับองค์กร ซึ่งได้รับการสนับสนุนเบื้องหลังด้วย hardware accelerators ที่ผ่านการตรวจสอบอย่างครบถ้วน”

Jeremy Foster, senior vice president and general manager, Cisco

“AI workloads ต้องการความเร็ว ความสม่ำเสมอ และความยืดหยุ่น ซึ่งเป็นสิ่งที่ Red Hat AI Inference Server มี นวัตกรรมนี้เปิดแนวทางความร่วมมือใหม่ ๆ ระหว่างซิสโก้และเร้ดแฮท เพื่อทำให้การใช้ AI เข้าถึงได้มากขึ้น มีประสิทธิภาพและปรับขนาดได้ ซึ่งเป็นการช่วยให้องค์กรเตรียมพร้อมรับสิ่งที่จะเกิดขึ้นในอนาคต”

Bill Pearson, vice president, Data Center & AI Software Solutions and Ecosystem, Intel

“อินเทลรู้สึกตื่นเต้นที่ได้ร่วมมือกับเร้ดแฮท เพื่อใช้ Red Hat AI Inference Server กับ Intel® Gaudi® accelerators การบูรณาการนี้จะช่วยให้ลูกค้าของเรามีโซลูชันที่ได้รับการปรับให้เหมาะสม เพื่อเพิ่มประสิทธิภาพและปรับขนาดการอนุมาน AI และมอบสมรรถนะและประสิทธิภาพล้ำหน้าให้กับแอปพลิเคชัน AI ระดับองค์กรในวงกว้าง”

John Fanelli, vice president, Enterprise Software, NVIDIA

“การอนุมานประสิทธิภาพสูงไม่เพียงแต่ช่วยให้โมเดลและ AI agents ต่าง ๆ สามารถตอบคำถามได้เท่านั้น แต่ยังสามารถให้หรือใช้เหตุผลและปรับตัวได้แบบเรียลไทม์ โดย NVIDIA accelerated computing และ Red Hat AI Inference Server แบบฟูลสแตก (full-stack) และเป็นแบบเปิด จะช่วยให้นักพัฒนาสามารถเรียกใช้งานการทำงานเชิงให้เหตุผลบนไฮบริดคลาวด์ได้อย่างมีประสิทธิภาพในวงกว้างและปรับใช้ได้อย่างมั่นใจ โดยใช้ Red Hat Inference Server กับการออกแบบที่ผ่านการตรวจสอบใหม่ของ NVIDIA Enterprise AI”

Posted on

Future-proof your tech career: 6 essential human skills for the AI era

Future-proof your tech career: 6 essential human skills for the AI era

Future-proof your tech career: 6 essential human skills for the AI era

Article by: Deb Richardson, Senior Content Strategist, Red Hat Blog

The tech industry is changing as quickly as artificial intelligence (AI) is evolving. Every day we’re seeing new tools emerge to help streamline repetitive tasks, augment creative endeavours and improve decision-making.

Many people are anxious about what the proliferation of AI tools means for the future of their job and career. And that’s completely understandable—these tools are often mindblowing in what they can do based on a handful of simple prompts.

Generative AI (gen AI) is practically brand new but can already:

  • Generate code
  • Write marketing copy
  • Produce graphic design
  • Create art in a vast array of styles
  • Generate full videos, including scripts and music
  • Formulate strategic business plans
  • Develop social media posts
  • …and more

So it’s not surprising that many of us are nervous about our future employment prospects.

But all is not lost.

While it’s essential for most people in the tech industry to learn how to effectively use these new AI-infused tools, there are some human capabilities that machines can’t match—deeply human skills such as intuitive design, creative problem-solving and empathetic understanding. These and other soft skills determine your ability to innovate, to communicate effectively and to navigate complex problems in ways that AI simply can’t replicate.

In this article we dig into some of the soft skills that tech professionals should focus on developing to adapt and thrive in this new age of AI.

6 vital soft skills for an era of AI

While there are an enormous number of AI tools being introduced across our industry, many of which are focused on specific roles and tasks, the soft skills tend to be more universal and things we should all focus on developing and improving, regardless of our role.

  1. Problem-solving

For all that gen AI can do, it cannot match human problem-solving capabilities. It can generate code, but humans are still needed to design efficient and scalable systems, troubleshoot unexpected issues and watch for the bugs and potential security issues that these AI tools can introduce.

While gen AI can help monitor for and discover security anomalies, humans are still needed to evaluate and rate the criticality of these risks. AI-driven automation can perform a huge array of repetitive tasks, but it still needs to be carefully designed and actively monitored.

On the marketing and communications side of things, AI sentiment analysis tools can help quickly detect potential issues, but human judgement is needed in order to respond effectively and defend or build a brand’s reputation.

How to get started

Developing your foundational problem-solving skills is something that happens naturally over time, but there are loads of articles and courses out there that can help you approach it more deliberately and methodically.

  1. Critical thinking

AI is still far from perfect, as large language models (LLMs) are fundamentally limited by their training and the data used in the training process. If you’re using any of these new tools, you should hone your ability to critically evaluate AI outputs, understand their limitations and learn how to identify model biases and potentially toxic or problematic output.

While AI is excellent at detecting patterns, it takes a human to interpret those patterns properly and to spot anomalies that the AI may miss or misinterpret. Avoiding bias and similarly complicated ethical issues also requires human intelligence, as does making sure that AI-enhanced tools and processes continue to meet legal and compliance requirements.

How to get started

While critical thinking can improve naturally with experience, like problem solving it is a skillset that can be deliberately developed over time. It has been said that learning critical thinking skills is the most important part of an undergrad degree, but you don’t have to go to university to build these skills.

LinkedIn Learning has a wide variety of courses focused on improving your critical thinking, as does Khan Academy and Udemy. Of course there’s no shortage of books on the topic as well.

  1. Collaboration

Humans’ ability to collaborate, cooperate and work together is one of our greatest strengths. As the saying goes, “none of us is as good as all of us.” Current AI is still fundamentally limited in this way—it simply cannot match humans’ ability to build relationships and work together.

When developing AI applications, engineers will have to work closely with an ever increasing number of AI specialists, data scientists, product and project managers and other stakeholders. And of course collaboration skills are utterly vital in open source projects, and are the very foundation of how they work.

In other disciplines, such as public relations (PR) and communications, we can use AI to analyze sentiment and media trends, but it takes humans to develop and maintain strong relationships with journalists, partners and other stakeholders. 

How to get started

Collaboration skills are essential for effective teamwork and building trust. There are books you can read and courses you can take (on all of the previously mentioned learning platforms), but you can get started over on YouTube.

  1. Communication

Communication skills are also vital across disciplines in the tech industry. Engineers have to be able to clearly articulate technical ideas and strategic approaches to design and architecture problems, which AI is unable to do.

Security experts have to be able to interpret AI’s findings and communicate those insights so leadership and non-technical teams are able to understand how serious the potential risks are (or aren’t).

And communication is the heart of marketing and PR—AI tools can provide analyses and insights, but humans are needed to craft narratives and tell a brand story that resonates with the people we’re trying to reach.

How to get started

Communication skills enable tech professionals to collaborate effectively, bridge technical and non-technical gaps, and drive innovation by translating complex ideas into clear, actionable strategies. There is a range of different types of communication skills, but focusing on workplace communication is the best place to start.

  1. Pragmatism

AI is an exciting new technology that is quickly being built into what feels like every device and app out there. But in reality, AI is still relatively limited and more effective at some things than others. AI applications should be designed and built to solve real user problems and be strategically aligned to existing business needs.

This ability to be pragmatic, to be able to clearly evaluate the practicality and usefulness of a particular technology or solution, is a fundamentally human strength. Being able to balance “can” and “should” to emphasize a focus on real solutions to actual problems, is something AI tools are currently incapable of doing.

 

Like critical thinking, pragmatism is something we all naturally develop with experience, but like any skill, it is something you can train yourself to become better at with deliberate study and practice.

How to get started

Being pragmatic doesn’t mean being a skeptic or trying to tamp down others’ enthusiasm with stop energy. It’s more about being able to look at potential solutions or approaches with a realistic and measured eye.

As a tech professional, you can become more pragmatic by focusing on real results and choosing practical and effective solutions that work in real-world scenarios. Embrace iterative development, testing and continuous feedback, as this can help keep things practical and grounded.

 

  1. Adaptability

 

Early humans survived and thrived because of their fundamental ability to adapt to changing conditions, which continues to be vital today. As we’ve seen over the past few years, the tech industry is undergoing tectonic shifts, a large part of which is being caused by how quickly AI tools and capabilities are evolving.

How to get started

Improving your adaptability in the workplace largely boils down to cultivating a flexible mindset (simply being open to new things) and engaging in continuous learning. Be open to new ideas and responsibilities, commit to personal development, be proactive in suggesting solutions or improvements when you see issues, and stay current with the (admittedly, often overwhelming) changes in our industry.

 

Wrapping up

It’s appropriate that this article ended talking about continuous learning, because that’s what it’s really all about. AI tools are being deployed across nearly every role and discipline in the tech industry, making many of us concerned about the future of our jobs. But human “soft” skills are increasingly vital in this age of AI—AI can help us all do more, faster, but it cannot replace our ability to solve problems, think critically, communicate effectively, work together, be pragmatic and adapt quickly to these rapidly changing conditions.

It’s natural to be anxious about the future, but for many of us AI presents an incredible opportunity to use these new tools to handle the more repetitive and (frankly) boring parts of our work so we can focus on developing our own deeply human skills and doing the really interesting stuff that AI can’t.

Posted on

พร้อมรับอนาคตอาชีพในสายงานเทคโนโลยี 6 ทักษะสำคัญที่มนุษย์ยุค AI ต้องมี

พร้อมรับอนาคตอาชีพในสายงานเทคโนโลยี 6 ทักษะสำคัญที่มนุษย์ยุค AI ต้องมี

พร้อมรับอนาคตอาชีพในสายงานเทคโนโลยี 6 ทักษะสำคัญที่มนุษย์ยุค AI ต้องมี

บทความโดย: เด็บ ริชาร์ดสัน, Senior Content Strategist, เร้ดแฮท บล็อก

เทคโนโลยีกำลังเปลี่ยนแปลงอย่างรวดเร็วไปพร้อมกับวิวัฒนาการของปัญญาประดิษฐ์ (AI) ทุกวันนี้เราได้เห็นเครื่องมือใหม่ ๆ เกิดขึ้น เพื่อใช้ทำงานที่ต้องทำซ้ำ ๆ เสริมความสามารถในงานสร้างสรรค์ และ ช่วยให้ตัดสินใจได้อย่างมีประสิทธิภาพมากขึ้น 

หลายคนกังวลว่าเครื่องมือด้าน AI ที่มีอยู่อย่างมากมายจะกระทบต่ออนาคตด้านการงานและอาชีพของตน ซึ่งเป็นเรื่องที่เข้าใจได้ เพราะเทคโนโลยีเหล่านี้สามารถทำงานที่น่าทึ่งได้จากคำสั่งง่าย ๆ เพียงไม่กี่คำ

ความสามารถของ Generative AI (gen AI) เช่น การสร้างโค้ด เขียนคอนเทนต์ทางการตลาด ออกแบบกราฟิก สร้างสรรค์งานศิลปะได้หลากหลายสไตล์ สร้างวิดีโอเต็มรูปแบบพร้อสคริปต์และเพลงประกอบ คิดแผนธุรกิจเชิงกลยุทธ์ พัฒนาโพสต์บนโซเชียลมีเดีย และอื่น ๆ อีกมาก จึงไม่น่าแปลกใจที่หลายคนจะรู้สึกกังวลเกี่ยวกับโอกาสในการจ้างงานในอนาคต แต่ไม่ใช่ว่าทุกอย่างจะเป็นไปในทางลบเสียทั้งหมด 

แม้ว่าการเรียนรู้การใช้เครื่องมือ AI อย่างมีประสิทธิภาพจะเป็นสิ่งสำคัญสำหรับคนในแวดวงเทคโนโลยี แต่ยังมีความสามารถบางอย่างของคนที่เครื่องจักรไม่อาจเทียบได้ เช่น การคิดและตัดสินใจโดยใช้สัญชาตญาณ การแก้ปัญหาเชิงสร้างสรรค์ ความเข้าใจที่เกิดจากความเห็นอกเห็นใจ ทักษะมนุษย์เหล่านี้เป็นกุญแจสำคัญในการสร้างนวัตกรรม ทำให้การสื่อสารมีประสิทธิภาพ และสามารถรับมือกับปัญหาที่ซับซ้อนได้อย่างที่ AI ไม่สามารถทำได้

เร้ดแฮทพาสำรวจ soft skills ที่คนทำงานสายเทคโนโลยีควรให้ความสำคัญ เพื่อปรับตัวและเติบโตในยุคใหม่ที่ขับเคลื่อนด้วย AI

6 soft skills สำคัญที่คนในยุค AI ควรมี

แม้ว่าจะมีเครื่องมือ AI จำนวนมาก แต่เครื่องมือเหล่านั้นมักใช้กับงานเฉพาะทางและบทบาทเฉพาะอย่าง แต่ทักษะด้านมนุษยสัมพันธ์และอารมณ์ (soft skills) กลับเป็นทักษะที่มีความเป็นสากลที่ทุกคนควรให้ความสำคัญกับการพัฒนาและปรับปรุง ไม่ว่าจะอยู่ในตำแหน่งหรือสายงานใดก็ตาม

1.ทักษะในการแก้ปัญหา

AI สามารถทำสิ่งต่าง ๆ ได้มากมาย แต่ความสามารถในการแก้ปัญหานั้นไม่สามารถเทียบกับมนุษย์ได้ AI สามารถสร้างโค้ดได้ แต่มนุษย์ต้องเป็นผู้ออกแบบระบบที่มีประสิทธิภาพ ขยายขนาดได้ แก้ไขปัญหาที่ไม่คาดคิด และเฝ้าระวังจุดบกพร่องและปัญหาความปลอดภัยที่ AI อาจนำมา 

แม้ gen AI จะช่วยตรวจจับความผิดปกติด้านความปลอดภัยได้ แต่คนต้องเป็นผู้ประเมินและจัดอันดับความสำคัญของความเสี่ยงเหล่านี้ ระบบอัตโนมัติที่ขับเคลื่อนด้วย AI สามารถดำเนินการซ้ำ ๆ ได้มากมาย แต่ก็ยังต้องอาศัยวิจารณญาณของคนในการออกแบบอย่างรอบคอบและตรวจสอบอย่างสม่ำเสมอ

ในทางการตลาดและการสื่อสาร เครื่องมือ AI ที่วิเคราะห์ความรู้สึกจากข้อความ (sentiment analysis) ช่วยตรวจจับประเด็นปัญหาได้อย่างรวดเร็ว แต่การตัดสินใจเลือกแนวทางรับมือ หรือการรักษาภาพลักษณ์ของแบรนด์ให้แข็งแกร่ง ยังต้องพึ่งพาการตัดสินใจของคน

การพัฒนาทักษะในการแก้ปัญหา เป็นสิ่งที่สามารถพัฒนาได้ตามประสบการณ์ แต่หากต้องการฝึกฝนอย่างเป็นระบบมีบทความและหลักสูตรมากมายที่ช่วยในการเรียนรู้ได้อย่างมีแบบแผนและมีประสิทธิภาพยิ่งขึ้น

  1. ทักษะในการคิดวิเคราะห์อย่างมีวิจารณญาณ

AI ยังห่างไกลจากคำว่าสมบูรณ์แบบ ด้วยโมเดลภาษาขนาดใหญ่ (LLMs) มีข้อจำกัดจากการเทรนและข้อมูลที่ใช้ในการเทรน หากองค์กรใดกำลังใช้เครื่องมือ AI เหล่านี้ ควรให้คนขององค์กรได้ฝึกฝนทักษะในการประเมินผลลัพธ์ของ AI อย่างมีวิจารณญาณ เข้าใจข้อจำกัดของเครื่องมือ และเรียนรู้วิธีระบุอคติของโมเดลและผลลัพธ์ ที่อาจมีปัญหาได้

แม้ AI จะเก่งในการตรวจจับรูปแบบต่าง ๆ แต่การตีความอย่างถูกต้องและการสังเกตความผิดปกติที่อาจถูกมองข้ามยังคงต้องอาศัยคน เช่นเดียวกับการจัดการกับอคติและประเด็นจริยธรรมที่ซับซ้อนก็ต้องอาศัยสติปัญญาและความเข้าใจของคน รวมถึงการตรวจสอบให้เครื่องมือหรือกระบวนการที่ใช้ AI ปฏิบัติตามกฎหมายและข้อกำหนดอย่างต่อเนื่อง

แม้ว่าการคิดวิเคราะห์อย่างมีวิจารณญาณ จะพัฒนาได้จากประสบการณ์โดยธรรมชาติ เช่นเดียวกับทักษะในการแก้ปัญหา แต่ก็เป็นทักษะที่สามารถพัฒนาเพิ่มเติมได้ แม้การเรียนรู้ทักษะนี้เป็นส่วนสำคัญที่สุดของการศึกษาในระดับมหาวิทยาลัย แต่ยังมีแหล่งอื่นนอกมหาวิทยาลัยที่ช่วยคนพัฒนาด้านนี้ได้ เช่น LinkedIn Learning มีหลักสูตรหลากหลายที่เน้นการพัฒนาการคิดวิเคราะห์อย่างมีวิจารณญาณ เช่นเดียวกับ Khan Academy และ Udemy นอกจากนี้ยังมีหนังสือมากมายเกี่ยวกับหัวข้อนี้ให้เลือกอ่านเช่นกัน

  1. ทักษะในการทำงานร่วมกัน

ความสามารถในการทำงานร่วมกัน ร่วมมือกัน และทำงานเป็นทีมเป็นหนึ่งในจุดแข็งที่สำคัญของคน ดังคำกล่าวที่ว่า “ไม่มีใครเก่งเท่ากับทุกคนรวมกัน” (none of us is as good as all of us) ซึ่งปัจจุบัน AI ยังมีข้อจำกัดด้านนี้ และไม่อาจเทียบได้กับความสามารถของคนในการสร้างความสัมพันธ์และการทำงานร่วมกัน

เมื่อพัฒนานาแอปพลิเคชัน AI ผู้พัฒนาจะต้องทำงานใกล้ชิดกับผู้เชี่ยวชาญด้าน AI นักวิทยาศาสตร์ข้อมูล ผู้จัดการผลิตภัณฑ์และโครงการ รวมถึงผู้มีส่วนเกี่ยวข้องอื่น ๆ มากขึ้นเรื่อย ๆ และแน่นอนว่าทักษะการทำงานร่วมกันนั้นมีความสำคัญอย่างยิ่งในโปรเจ็กต์ที่เป็นโอเพ่นซอร์ส ซึ่งถือเป็นรากฐานสำคัญของการดำเนินงานโครงการเหล่านี้

ในการใช้ประโยชน์ด้านอื่น เช่น ด้านการประชาสัมพันธ์และสื่อสาร เราอาจใช้ AI เพื่อวิเคราะห์ความรู้สึกของผู้บริโภคหรือแนวโน้มของสื่อได้ แต่ก็ยังต้องอาศัยคนในการสร้างและรักษาความสัมพันธ์ที่แน่นแฟ้นกับนักข่าว พันธมิตร และผู้มีส่วนเกี่ยวข้องอื่น ๆ

ทักษะการทำงานร่วมกันเป็นสิ่งสำคัญของการทำงานเป็นทีมและการสร้างความไว้วางใจ สามารถเรียนรู้ได้จากทั้งหนังสือและหลักสูตรต่าง ๆ บนแพลตฟอร์มต่าง ๆ ที่กล่าวข้างต้น หรือเริ่มต้นง่าย ๆ บน YouTube

  1. ทักษะด้านการสื่อสาร

ทักษะด้านการสื่อสาร มีความสำคัญอย่างยิ่งกับทุกสาขาอาชีพในแวดวงเทคโนโลยี วิศวกรด้านไอทีต้องสามารถให้คำอธิบายแนวคิดทางเทคนิค และแนวทางเชิงกลยุทธ์ในการแก้ไขปัญหาด้านการออกแบบและสถาปัตยกรรมได้อย่างชัดเจน ซึ่งนั่นเป็นสิ่งที่ AI ไม่สามารถทำได้ 

ผู้เชี่ยวชาญด้านความปลอดภัยทางไซเบอร์ต้องสามารถตีความผลลัพธ์ที่ได้จาก AI และสื่อสารข้อมูลเชิงลึกเหล่านั้นให้ฝ่ายบริหารหรือทีมที่ไม่ใช่ทีมเทคนิคสามารถเข้าใจได้ว่า ความเสี่ยงที่อาจเกิดขึ้นนั้นร้ายแรงหรือไม่เพียงใด 

การสื่อสารเป็นหัวใจของการตลาดและการประชาสัมพันธ์ แม้เครื่องมือ AI สามารถให้การวิเคราะห์และข้อมูลเชิงลึกได้ แต่คนคือผู้สร้างสรรค์และบอกเล่าเรื่องราวของแบรนด์ที่โดนใจผู้ที่เราต้องการเข้าถึง

ทักษะการสื่อสารช่วยให้ผู้เชี่ยวชาญด้านเทคโนโลยีทำงานร่วมกันได้อย่างมีประสิทธิภาพ ลดช่องว่างระหว่างทีมเทคนิคและทีมอื่นที่อาจไม่เชี่ยวชาญทางเทคนิค และขับเคลื่อนนวัตกรรมผ่านการแปลงแนวคิดที่ซับซ้อนให้เป็นกลยุทธ์ที่นำไปปฏิบัติได้จริง ทักษะการสื่อสารมีหลายประเภทแต่ควรเริ่มต้นที่การสื่อสารในที่ทำงาน 

  1. ทักษะในการปฎิบัติอย่างรู้จริง

AI เป็นเทคโนโลยีใหม่ที่น่าตื่นเต้น ซึ่งขณะนี้ถูกนำไปใช้งานในแทบทุกอุปกรณ์และแอปพลิเคชันต่าง ๆ แต่ในความเป็นจริงแล้ว AI ยังมีข้อจำกัดอยู่บ้าง และมีประสิทธิภาพมากกว่าในบางเรื่อง แอปพลิเคชัน AI ควรได้รับการออกแบบและสร้างขึ้นเพื่อแก้ปัญหาที่แท้จริงของผู้ใช้ และเชื่อมโยงกับความต้องการทางธุรกิจที่มีอยู่

ความสามารถในการประเมินความเป็นไปได้รวมถึงประโยชน์ของเทคโนโลยีหรือโซลูชันต่างๆ ได้อย่างชัดเจน เป็นจุดแข็งที่แท้จริงของมนุษย์ การรู้จักสร้างสมดุลระหว่าง “สิ่งที่ทำได้” และ “สิ่งที่ควรทำ” โดยมุ่งเน้นการแก้ปัญหาที่เกิดขึ้นจริง ด้วยแนวทางที่สามารถนำไปใช้ได้จริง เป็นสิ่งที่ AI ไม่สามารถทำได้ในปัจจุบัน 

เช่นเดียวกับการคิดวิเคราะห์อย่างมีวิจารณญาณ การปฏิบัติอย่างรู้จริงเป็นสิ่งที่พัฒนาขึ้นตามธรรมชาติจากประสบการณ์ แต่ก็เหมือนกับทักษะอื่น ๆ ที่สามารถฝึกฝนได้ผ่านการเรียนรู้และการลงมือปฎิบัติอย่างสม่ำเสมอ 

การเป็นนักปฏิบัติอย่างรู้จริงไม่ได้หมายถึงการมองโลกในแง่ลบหรือคอยปิดกั้นความคิดใหม่ ๆ แต่เป็นการมองแนวทางหรือโซลูชันที่มีศักยภาพในมุมมองที่เป็นจริงและรอบคอบ 

ผู้เชี่ยวชาญด้านเทคโนโลยี สามารถพัฒนาความเป็นนักปฏิบัติอย่างรู้จริงได้โดยมุ่งเน้นที่ผลลัพธ์จริง และเลือกโซลูชันที่ใช้งานได้จริงและมีประสิทธิภาพในสถานการณ์จริง ยอมรับการพัฒนาแบบรอบวนซ้ำ การทดสอบ และการรับฟังความคิดเห็นอย่างต่อเนื่อง สิ่งเหล่านี้จะช่วยให้แนวทางการทำงานมีความเป็นรูปธรรมและตั้งอยู่บนพื้นฐานของความเป็นจริง 

  1. ทักษะในการปรับตัว

มนุษย์ยุคแรกสามารถอยู่รอดและเติบโตได้ เพราะมีความสามารถพื้นฐานในการปรับตัวให้เข้ากับสภาพแวดล้อมที่เปลี่ยนแปลงอยู่เสมอ ซึ่งเป็นทักษะที่มีความสำคัญอย่างยิ่งในปัจจุบัน เห็นได้ชัดจากช่วงไม่กี่ปีที่ผ่านมาที่อุตสาหกรรมเทคโนโลยีกำลังเผชิญกับการเปลี่ยนแปลงครั้งใหญ่ ส่วนหนึ่งมาจากการพัฒนาอย่างรวดเร็วของเครื่องมือและขีดความสามารถของ AI 

การพัฒนาความสามารถในการปรับตัวในที่ทำงาน โดยพื้นฐานแล้วคือการสร้างทัศนคติที่ยืดหยุ่น ผ่อนสั้นผ่อนยาว (เพียงแค่เปิดใจให้กับสิ่งใหม่ ๆ) และการเรียนรู้อย่างต่อเนื่อง เปิดรับแนวคิด ความรับผิดชอบใหม่ ๆ ทุ่มเทให้กับการพัฒนาตนเอง กระตือรือร้นในการเสนอแนวทางแก้ไขหรือการปรับปรุงเมื่อเจอปัญหา และติดตามให้ทันการเปลี่ยนแปลงในอุตสาหกรรมอยู่เสมอ (แม้ว่าจะมีการเปลี่ยนแปลงที่มากมายจนน่ากังวลใจก็ตาม) 

บทสรุป

การเรียนรู้อย่างต่อเนื่องคือหัวใจสำคัญของทักษะทุกอย่าง มีการนำเครื่องมือที่เป็น AI ไปใช้งานในแทบทุกบทบาทและทุกสายงานในอุตสาหกรรมเทคโนโลยี ทำให้หลายคนกังวลเกี่ยวกับอนาคตของงานในมือ แต่ “ทักษะทางสังคมที่ใช้ในการปฏิสัมพันธ์กับผู้อื่น” หรือ “soft skills” กลับมีความสำคัญมากขึ้นในยุคของ AI แม้ AI จะช่วยให้เราทำงานได้มากขึ้นและรวดเร็วขึ้น แต่มันไม่สามารถทดแทนความสามารถในการแก้ปัญหา การคิดอย่างมีวิจารณญาณ การสื่อสารอย่างมีประสิทธิภาพ การทำงานร่วมกัน ความเป็นเหตุเป็นผล และการปรับตัวอย่างรวดเร็วต่อการเปลี่ยนแปลงได้

เป็นเรื่องธรรมดาที่จะรู้สึกกังวลกับอนาคต แต่สำหรับหลาย ๆ คนแล้ว AI กลับเป็นโอกาสที่ยอดเยี่ยมในการใช้เครื่องมือใหม่เหล่านี้จัดการกับงานที่ซ้ำซากและน่าเบื่อ เพื่อให้เราได้หันมาโฟกัสกับการพัฒนาทักษะมนุษย์อย่างลึกซึ้ง และได้ทำสิ่งที่น่าสนใจจริง ๆ ซึ่ง AI ไม่สามารถทำได้

Posted on

Red Hat Boosts Enterprise AI Across the Hybrid Cloud with Red Hat AI

เร้ดแฮท ชู Red Hat AI เสริมศักยภาพการใช้ AI ขององค์กรบนไฮบริดคลาวด์

Red Hat Boosts Enterprise AI Across the Hybrid Cloud with Red Hat AI

AI portfolio adds enhancements to Red Hat OpenShift AI and Red Hat Enterprise Linux AI to help operationalize AI strategies

Red Hat, Inc., the world’s leading provider of open source solutions, today announced the latest updates to Red Hat AI, its portfolio of products and services designed to help accelerate the development and deployment of AI solutions across the hybrid cloud. Red Hat AI provides an enterprise AI platform for model training and inference that delivers increased efficiency, a simplified experience and the flexibility to deploy anywhere across a hybrid cloud environment. 

Even as businesses look for ways to reduce the costs of deploying large language models (LLMs) at scale to address a growing number of use cases, they are still faced with the challenge of integrating those models with their proprietary data that drives those use cases while also being able to access this data wherever it exists, whether in a data center, across public clouds or even at the edge.

Encompassing both Red Hat OpenShift AI and Red Hat Enterprise Linux AI (RHEL AI), Red Hat AI addresses these concerns by providing an enterprise AI platform that enables users to adopt more efficient and optimized models, tuned on business-specific data and that can then be deployed across the hybrid cloud for both training and inference on a wide-range of accelerated compute architectures.

Red Hat OpenShift AI

Red Hat OpenShift AI provides a complete AI platform for managing predictive and generative AI (gen AI) lifecycles across the hybrid cloud, including machine learning operations (MLOps) and LLMOps capabilities. The platform provides the functionality to build predictive models and tune gen AI models, along with tools to simplify AI model management, from data science and model pipelines and model monitoring to governance and more.

Red Hat OpenShift AI 2.18, the latest release of the platform, adds new updates and capabilities to support Red Hat AI’s aim of bringing better optimized and more efficient AI models to the hybrid cloud. Key features include:

  • Distributed serving: Delivered through the vLLM inference server, distributed serving enables IT teams to split model serving across multiple graphical processing units (GPUs). This helps lessen the burden on any single server, speeds up training and fine-tuning and makes more efficient use of computing resources, all while helping distribute services across nodes for AI models.
  • An end-to-end model tuning experience: Using InstructLab and Red Hat OpenShift AI data science pipelines, this new feature helps simplify the fine-tuning of LLMs, making them more scalable, efficient and auditable in large production environments while also delivering manageability through the Red Hat OpenShift AI dashboard.
  • AI Guardrails: Red Hat OpenShift AI 2.18 helps improve LLM accuracy, performance, latency and transparency through a technology preview of AI Guardrails to monitor and better safeguard both user input interactions and model outputs. AI Guardrails offers additional detection points in helping IT teams identify and mitigate potentially hateful, abusive or profane speech, personally identifiable information, competitive information or other data limited by corporate policies.
  • Model evaluation: Using the language model evaluation (lm-eval) component to provide important information on the model’s overall quality, model evaluation enables data scientists to benchmark the performance of their LLMs across a variety of tasks, from logical and mathematical reasoning to adversarial natural language and more, ultimately helping to create more effective, responsive and tailored AI models.

RHEL AI

Part of the Red Hat AI portfolio, RHEL AI is a foundation model platform to more consistently develop, test and run LLMs to power enterprise applications. RHEL AI provides customers with Granite LLMs and InstructLab model alignment tools that are packaged as a bootable Red Hat Enterprise Linux server image and can be deployed across the hybrid cloud.

Launched in February 2025, RHEL 1.4 added several new enhancements including:

  • Granite 3.1 8B model support for the latest addition to the open source-licensed Granite model family. The model adds multilingual support for inference and taxonomy/knowledge customization (developer preview) along with a 128k context window for improved summarization results and retrieval-augmented generation (RAG) tasks.
  • A new graphical user interface for skills and knowledge contributions, available as a developer preview, to simplify data ingestion and chunking as well as how users add their own skills and contributions to an AI model.
  • Document Knowledge-bench (DK-bench) for easier comparisons of AI models fine-tuned on relevant, private data with the performance of the same un-tuned base models.

Red Hat AI InstructLab on IBM Cloud

Increasingly, enterprises are looking for AI solutions that prioritize accuracy and data security, while also keeping costs and complexity as low as possible. Red Hat AI InstructLab deployed as a service on IBM Cloud is designed to simplify, scale and help improve the security footprint for the training and deployment of AI models. By simplifying InstructLab model tuning, organizations can build more efficient models tailored to the organizations’ unique needs while retaining control of their data.

No-cost AI Foundations training

AI is a transformative opportunity that is redefining how enterprises operate and compete. To support organizations in this dynamic landscape, Red Hat now offers AI Foundations online training courses at no cost. Red Hat is providing two AI learning certificates that are designed for experienced senior leaders and AI novices alike, helping educate users of all levels on how AI can help transform business operations, streamline decision-making and drive innovation. The AI Foundations training guides users on how to apply this knowledge when using Red Hat AI.

Availability

Red Hat OpenShift AI 2.18 and Red Hat Enterprise Linux AI 1.4 are now generally available. More information on additional features, improvements, bug fixes and how to upgrade to the latest version of Red Hat OpenShift AI can be found here and the latest version of RHEL AI can be found here.

Red Hat AI InstructLab on IBM Cloud will be available soon. AI Foundations training from Red Hat is available to customers now.

Supporting Quotes

Joe Fernandes, vice president and general manager, AI Business Unit, Red Hat

“Red Hat knows that enterprises will need ways to manage the rising cost of their generative AI deployments, as they bring more use cases to production and run at scale. They also need to address the challenge of integrating AI models with private enterprise data and be able to deploy these models wherever their data may live. Red Hat AI helps enterprises address these challenges by enabling them to leverage more efficient, purpose-built models, trained on their data and enable flexible inference across on-premises, cloud and edge environments.”

Régis Lesbarreres, advanced analytics and AI innovation manager, digital innovation, Airbus Helicopters

“At the outset of our AI journey, Airbus Helicopters was looking to integrate AI into our existing architecture, reduce shadow IT, unite our data scientists under a singular AI platform and optimize costs at scale. With Red Hat OpenShift AI, we’ve been able to accomplish all of these goals, which led to our first business use case for AI. Red Hat’s vision for AI aligns with our business objectives and allows us to meet them while maintaining flexibility, accessibility and transparency.”

Javier Olaizola Casin, global managing partner, hybrid cloud and data, IBM Consulting

“Businesses are increasingly applying AI to transform core business processes, and they need AI solutions that are flexible, cost-effective and tuned with trusted enterprise data to meet their unique needs. Red Hat AI brings the consistency, reliability and speed that organizations need to build and deploy AI models and applications across hybrid cloud scenarios. Combining IBM Consulting’s domain, technology and industry expertise with Red Hat’s AI technologies, we are helping our clients drive ROI from their technology investments.”

Torsten Volks, principal analyst, application modernization, ESG

“Leading organizations harness AI-driven, data-centric decision making across teams and business units. Therefore, the ability to rapidly and cost effectively develop, deploy, integrate, scale and govern AI-based capabilities across the enterprise becomes a critical success factor. Establishing this capability requires an open and extensible AI foundation that ensures seamless integration with existing systems and processes, operational agility and continuous governance. Enabling staff and customers to benefit from AI capabilities faster and in a more comprehensive manner is crucial for continued business success.”

Anand Swamy, executive vice president  and global head of ecosystems, HCLTech

“In order to realize the full potential of generative AI, organizations need to prioritize agile and flexible infrastructure. By combining the capabilities of Red Hat AI, encompassing RHEL AI and Red Hat OpenShift AI to deliver an end-to-end AI application platform, with HCLTech’s leading AI expertise and cognitive infrastructure services, a part of HCLTech AI Foundry solution, customers get a streamlined path to unlocking AI innovation, helping them overcome common challenges such as data security, scaling AI workloads and minimizing infrastructure costs.”