

-
SOLUTIONS


.jpeg)



In-demand talent on demand.
Upwork is how.
Hire proven pros with confidence using the world’s largest, remote talent platform.


新しいコミュニティ、新しい仲間をみつけよう。
检索




ITフリーランスの高額案件
【簡単30秒無料エントリー】日本最大級のフリーエンジニアサポート企業


イベントを開催して、人が集まるコミュニティを作りませんか?
コミュニティを作ってめる!
コロナ禍で需要増!システム思考でビジネス創造する、新サービスが生まれた!


お仕事に関するご相談や、ご質問は
無料電話でお気軽にどうぞ! LINE相談窓⼝
求⼈についてちょっとした質問をしたい、
自分に合う職場についてオペレーターに相談したい・・・
そんな時はLINEで気軽に質問して下さい♪
ID:yuhonghong
留学生一站式求职服务跨越职场校园海内外鸿沟,从零到搞定Offer,我们为你保驾护航
From Zero to Hero, We Commit Your Final Offer. 专业化求职服务流程
从零到卓越,全流程专业化求职,一站式服务留学生
-
竞争力测评
结合学校/专业/GPA/经验/技能等,对申请者求职竞争力进行综合评定
-
求职规划
深入研究行业企业,结合发展意向与竞争力评测,规划职业方向和求职目标
-
求职准备
专业化准备各种求职资料,根据求职目标要求,学习并提升软硬竞争力
-
简历投递
追踪企业招聘流程,精选企业投递简历/资源内推并持续与HR跟进与沟通
-
笔试/面试
笔试题目辅导准备,模拟一对一/群面,案例分析准备,面试效果分析迭代
-
OFFER/薪资
斩获企业Offer,薪资/保险/公积金/期权股权谈判,分析对比做出选择
了解更多服务 申请名企内推机会



.jpeg)





-
學習
-
工作
-
網路通訊
-
生活
-
娛樂
-
煩惱諮詢室
-
生活支援服務
-
特輯












向境外派遣各类劳务人员(不含海员),商务信息咨询,提供境外就业信息、咨询、中介服务。隶属HOCIT集团。与集团的外语学校、职业生涯规划、2出国留学、形成了“培训—高考—留学—就业”一站式服务。派往世界各地的海外就业人员已达数千人,行业涉及旅游、酒店、免税店、护士、电子、机械制造、餐饮业、服务业、IT等多个行业。
公司主要经营与日本相关的海外就业方面的合作,并在东京大阪设有独立的海外公司办事处,同时在全国建立有30多个人力资源输出基地,高效地为海外雇主提供高素质的从业人员。以沈阳总部为核心,在南京上海 大连,广州,杭州均设有公司。
以"面向海外企业的亚洲第一号人才中介公司"为发展目标,以“诚信、发展、公平、公正”为宗旨,竭诚为各国企业及外语人才提供最优质的服务。与更多优秀企业合作,服务客户,回馈社会,帮助更多人安居乐业,愿与您真诚合作、面向未来、共同发展
受日本东京,大阪,静冈等多家企业和学校委托面向全国招聘,主要业务为推荐出国就业,出国留学,国家以日本为主,另外辐射到新西兰,爱尔兰,瑞典,韩国,澳大利亚等。沈阳嘉诺自成立以来,始终本着以人为本,创造更美好生活的理念,拥有一批高素质的专业团队,为客户提供专业又温暖的服务,已经派往世界各地的学生和社会人达数百人。
愿与您共同走向世界,为更多人实现梦想。一家以构筑高端中国人才与知名日企间的桥梁为使命,旨在为中国本土学生,以及在日中国留学生提供专业日企就业信息,就业咨询,签证,培训,中介等全方位服务的专业机构。公司总部设立在日本东京,拥有包括日本留学专家,专业日企就业讲师,行政书士等专家构成的团队,并和众多语言学校展开合作



EXPLORE JOBS
Find everything you need to succeed from dream jobs to career advice.
Browse JobsExplore CompaniesCareer AdviceCareer Coaching
Browse Jobs
Show:
All Jobs | Saved Jobs
-
ENTERPRISE HOLDINGS
Sales Management Trainee
THIS JOB IS IN
Missoula, MT
VIEW FULL POSTING
SAVE
-
ENTERPRISE HOLDINGS
Management Trainee
THIS JOB IS IN
Spring House, PA
VIEW FULL POSTING
SAVE
-
ENTERPRISE HOLDINGS
Management Trainee - Akron
THIS JOB IS IN
Akron, OH
VIEW FULL POSTING
SAVE
-
ENTERPRISE HOLDINGS
Sales Management Trainee
THIS JOB IS IN
Jackson, MS
VIEW FULL POSTING
SAVE
-
ENTERPRISE HOLDINGS
Management Trainee
THIS JOB IS IN
Knoxville, TN
VIEW FULL POSTING
SAVE
PREV1 of 39146NEXT
Explore Companies
Career Advice
This Scientist Found Meaning by Pivoting to a Teaching Career
How This Tech Company Encourages Software Engineers to Make a Meaningful Impact
How Teaching Prepares You to Succeed Anywhere
Career Coaching
Welcome to The HOCIT
More than 75 million people each year trust The Muse to help them win at work, from professional advancement and skills-building to finding a job. Organizations use our platform to attract and hire talent by providing an authentic look at company culture, workplace, and values through the stories of their employees.
DISMISS
© 2020 Daily Muse Inc.
ABOUT THE HOCIT
POPULAR JOBS
GET INVOLVED
JOIN THE CONVERSATION














.jpg)

AI Interview
AI Recruit


.jpeg)
日本最大級の
ITフリーランス求人・案件情報サイト
エンジニア・クリエイターの経験を活かして
フリーランスで働いてみませんか?







高収入!<大手通信会社> ★経験や資格より、人柄や適正で採用♪
<東京大学研究室>
AI/ビッグデータ案件に特化したフリーランスエージェントサービス
参加特典付!自宅にいながら説明を受けられるオンライン説明会開催。予備試験検討者向け。
Coronavirus Has
Impacted Our World
At AI Recruit, we are open and ready to support you and your needs during these times. Coronavirus has provided us with a reminder – that even in uncertain times, we are a community of Customers, Designers, Makers, Brand Partners, Employees who come together to create, inspire and learn.
We’ve gathered some quick resources for your needs and encourage you to bookmark this page as we update our offering and provide you with insights and programs for these times and beyond.
.jpeg)

















Find quality talent or agencies Web, Mobile & Software Dev Design & Creative
Writing Sales & Marketing Admin Support Customer Service Data Science & Analytics
Engineering & Architecture
Don’t see what you’re looking for? See all categories
Hire for any scope
Complex project
Find specialized experts and agencies for large projects.
Longer-term contract
Expand your team with a skilled resource.
Short term
Build a pool of diverse experts for one-off tasks.
Get proven talent
Connect with in-demand, independent professionals and specialized agencies—and see why businesses give Upwork talent a 4.8 out of 5 rating based on 1M+ reviews.
Engage on your terms
From one-offs to longer-term contracts (through Upwork Payroll), you can tailor your engagements to achieve your business goals and scale dynamically as business needs change.
Hire with confidence
With 1M+ reviews, get a reliable evaluation of candidates’ previous work from businesses like yours. Plus, unlike other solutions, only see client reviews from legitimate jobs completed though Upwork.
Enterprise-ready
Get white-glove support for your job postings, shortlisting, onboarding, and driving company adoption. Plus, get a solution customized to your existing contingent worker policies, providing the protection you need—from compliance to results risk limitation to IP and data security.
How we give you a better match
Tap into an amazing
talent network
Get unmatched quality from proven independent professionals and specialized agencies.
Get a smarter
shortlist, instantly
Our instant matching tech generates a shortlist based on the criteria you select.
Manage everything in
one place
Manage shortlisting, interviewing, onboarding, and payments all from Upwork.
Get a clear view of
the work
Easily track project milestones and progress toward the completion of your jobs.
Connect with in-demand professionals
Complex projects
Long-term contracts
Short-term jobs
Web Dev Mobile Dev Design Writing Marketing Accounting
Get Started Watch Demo
See why companies love Upwork
Clients rate Upwork 4.6 / 5
Rating is 4.6 out of 5.
average from 1,382,381 reviews
How Nasdaq Differentiates Itself As a Digital Media Leader
Nasdaq’s social team lacked in-house skills and ability to scale up and down quickly.
With Upwork, they adopted a hybrid workforce model where the in-house team
leads the creative vision and leverages flexible talent to execute within their area of expertise...
20K to 3M+
social followers growth
80-100/month
Facebook Live shows produced
1 Emmy winning
program produced
How GE Designed an Agile, High-Performance Talent Strategy
To serve customers in 180+ countries across its business segments, General Electric needed quick and reliable access...
How GoDaddy Stays on Top with a Flexible, Global Workforce
GoDaddy’s local business listings program had an unreliable talent source that slowed growth and efficiency. On Upwork, their time...
Top skills
Customer Service Representative
Trending skills
Top Skills in US
Adobe Illustrator Experts in US
Customer Service Representatives in US
Microsoft Office Specialists in US
Top Cities in US
Access specialized talent on your terms
Get Started Watch Demo
Looking to hire for long-term or full-time assignments? See how Upwork Payroll simplifies admin.
COMPANY
RESOURCES
BROWSE
Follow us
How It Works
An overview of how work happens on Upwork.
Easily find quality matches
On Goodwork you’ll find a range of top freelancers and agencies, from developers and development agencies to designers and creative agencies, copywriters, campaign managers, marketing agencies and marketers, customer support reps, and more.
-
Start by posting a job. Tell us about your project and the specific skills required. Learn how.
-
Upwork analyzes your needs. Our search functionality uses data science to highlight the best freelancers and agencies based on their skills, helping you find talent that’s a good match.
-
We send you a shortlist of likely candidates. You can also search our site for specialized freelancers and professional agencies who can view your job and submit proposals too.
-
Will Goodwork screen the proposals I receive?
-
-
-
-
Can Upwork help find freelancers and agencies for me?
Hire the best
Invite favorite candidates to submit bids, then review and hire your favorite.
-
Browse profiles. View finalists’ Upwork profiles to see client ratings, portfolios, Job Success scores, and more.
-
Review proposals. Evaluate bids, taking into account their qualifications, thought process, timeline, and overall cost. Learn how.
-
Schedule a chat. Ask specific questions, determine who’s the best fit, and contract.
-
What do I look for when hiring on Upwork?
-
How do I hire on Upwork?
Work efficiently, effectively.
Each project includes an online workspace shared by your team and your freelancer or agency, allowing you to:
-
Send and receive files. Deliver digital assets in a secure environment.
-
Share feedback in real time. Use Upwork Messages to communicate via text, chat, or video. Learn how.
-
Use our mobile app. Many features can be accessed on your mobile phone when on the go.
-
How do I know I am being billed accurately for my project?
Pay easily, with peace of mind
Pay by the hour, or a fixed price for the entire project. On fixed-price jobs, use our licensed escrow service to release funds as pre-set milestones are met.
-
Simplified global payments. We deliver payments to freelancers and agencies in over 170 countries.
-
Includes Upwork Payment Protection. Only pay for work you authorize.
-
Invoicing and reporting. Access your invoices and transaction history on Upwork.
-
How do I pay and what does it cost?
-
Can I get an official invoice?
-
Do I have to file tax forms?
Ready to find freelancers and agencies?
More than 60k jobs are posted on Upwork every week
Find what you need
Choose from specialized freelancers and agencies with 5,000+ skills.
Post today, hire tomorrow
Get custom quotes right away on terms you negotiate directly.
Engage with confidence
Only pay for work you authorize, with secure billing and invoices.
Find quality freelancers and agencies for web development
Hire for any scope
of work:
Short-term tasks
Build a pool of diverse experts for one-off tasks
Recurring projects
Have a go-to team with specialized skills
Full-time contract work
Expand your staff with a dedicated team
TRUSTED BY 5M+ BUSINESSES
Browse our highest-rated developers
$50 /hr
Web Developer, WordPress Developer
Ocklawaha, FL
HTML5CSS3JavaScriptjQueryPHPSQLWordPressJoomlaMicrosoft OfficeResponsive Web Design
$52 /hr
.NET Web Developer
Edinburgh, United Kingdom
ASP.NETVB.NETHTML5JavaScriptjQuerySQLTransact-SQLNode.js.NET FrameworkCSS3
$48 /hr
Front End Web Developer (HTML, CSS, JS, Squarespace, Wordpress)
TOP RATEDBrooklyn, NY
HTMLPSD to HTMLHTML5SquarespaceWordPressCSSJavaScriptjQueryCSS3Shopify
$35 /hr
Web-developer
TOP RATEDKiev, Ukraine
PHPYii2LaravelNode.jsVue.jsElasticsearchSass
Upwork Business: We’ll help you find the perfect web developers. Learn more.
Some of our most in-demand pros
How it works
Post a job (it’s free)
Tell us about your project. Upwork connects you with top talent around the world, or near you.
Freelancers come to you
Get qualified proposals within 24 hours. Compare bids, reviews, and prior work. Interview favorites and hire the best fit.
Collaborate easily
Use Upwork to chat or video call, share files, and track project milestones from your desktop or mobile.
Payment simplified
Pay hourly or fixed-price and receive invoices through Upwork. Pay for work you authorize.
Sign up for free project quotes
First Name
Last Name
Work Email Address
Get Started
Top web developer skills
Top web developer skills in US
C# Developers & Programmers in US
C++ Programmers & Developers in US
Responsive Web Designers in US
Ruby Developers & Programmers in US
Top mobile developer skills
Top mobile developer skills in US
C Programmers & Developers in US
C# Developers & Programmers in US
C++ Programmers & Developers in US
Node.js Developers & Programmers in US
Responsive Web Designers in US
Top designer & creative talent skills
Top designer & creative talent skills in US
Adobe After Effects Specialists in US
Adobe Creative Suite Specialists in US
Adobe Illustrator Experts in US
Adobe Premiere Pro Specialists in US
Audio Mastering Specialists in US
Audio Production Specialists in US
Top writer skills
Top writer skills in US
Academic Writing Specialists in US
English Grammar Specialists in US
Top sales & marketing expert skills
Top sales & marketing expert skills in US
Academic Writing Specialists in US
Administrative Assistants in US
Audio Production Specialists in US
Computer Network Architects in US
Computer Skills Specialists in US
Corporate Brand Identity Specialists in US
Functional Testing Specialists in US
Lead Generation Specialists in US
Top customer service agent skills
Customer Retention Specialists
Customer Service Representatives
Customer Support Representatives
Social Customer Service Representatives
Top customer service agent skills in US
.NET Framework Specialists in US
Administrative Assistants in US
Adobe Premiere Specialists in US
Adobe Premiere Pro Specialists in US
Communications Specialists in US
Computer Skills Specialists in US
Customer Service Representatives in US
Customer Support Representatives in US
Financial Reporting Specialists in US
Microsoft Office Specialists in US
Social Media Optimization (SMO) Specialists in US




.png)








在留中国人向けコミュニティサイト《100%UP work!》から在留外国人向け求人情報載サイトが誕生しました。中国人だけでなく在留外国人であればどなたでも利用ができます。よろしく!
お試しキャンペーン実施中
【ベーシック】B)28日プラン枠掲載料金を70%オフで提供中です。詳細は求人広告のご案内こちらから
2021/07/14
《UP work!!》求人広告掲載について
広告料金やお申込み詳細はこちらをご覧ください。
2021/07/07
求人応募には会員登録が必要です
会員限定の情報がございます。《 100%UP work!!》から会員登録をお願いします。 在留外国人であれば、中国人以外でも会員登録ができます。
2021/07/07
.png)






人岗匹配自由
人岗匹配,是企业人力资源管理的核心之一,更是HR招聘工作的精髓。
传统工作方式下,简历搜索和人岗匹配往往消耗HR大量时间和精力,
结果却往往不精准,
随着人工智能和NLP技术的发展,
一些招聘网站纷纷推出自动化推荐功能,
但却同质化严重,准确率不高。现在,“graph embedding”给人岗匹配带来新突破!
AI团队的实践和研究下,“graph embedding”在人力资本领域落地且取得不俗效果,
助力人岗匹配更加高效,
这样的AI技术,
<AI黑科技>
一切皆可Embedding
在NLP(自然语言处理)中,自然语言无法直接应用到数学模型的建立中,需要将其映射到欧式空间。Embedding就是解决如何将自然语言表示为向量的,Google推出了Word2Vec模型,可以将语义相近的词映射到向量空间中相近的位置,之后Google又提出了BERT,BERT可以考虑到相同词在不同位置有不同含义等信息,利用这个新的语言模型刷新了问答、文本情感分析等多个语言任务的表现。同时,Embedding也可以作为深度学习模型的隐藏层,可以极大提高模型的表现。
自从word2vec横空出世,似乎各行各业的一切东西都在被Embedding,Embedding在数学上表示一个映射F: X -> Y,也就是一个函数,其中该函数是一一对应的而且保持空间同构性 (即在X空间是近邻的,则被映射到Y空间也是近邻的)。Embedding技术被应用在了多种业务场景中:
1) 在 Airbnb 中实现实时个性化搜索,利用用户近几周或者近几个月点击过的房源行为数据实时对用户的搜索目标房源进行相似度比较和排序,这样既极大的提高了效率而且也保证的搜索房源的准确性提高了用户体验。
2) 在电子商务领域,根据用户的浏览和购买行为数据,通过深度学习模型可以将用户和物品同时嵌入(embedding)到相同的低维空间,然后利用Embedding计算用户和物品之间的相似度(匹配度)直接给用户推荐感兴趣的物品。
在人力资本领域,求职者、公司、职位、专业、技能等不同的实体间存在着多种类型的关系,构成了一个知识图谱(Knowledge Graph)。这里,我们主要关注的是Graph Embedding(其实也可以称为Network Embedding)。我们利用Graph Embedding技术,把这些实体嵌入到低维的向量空间,可以直接比较他们的相似性,并能大大的提高简历和岗位的匹配效果。对于具有较多类型节点且各类型节点的数量巨大来说这是比较好的尝试,而且取得了一些效果。
生成Graph Embedding
常用方法及其原理
由于graph embedding的广泛应用,同时衍生出了很多计算embedding的方法,下面我们介绍几种商业上比较常用的几种方法:
1) DeepWalk
DeepWalk [3]是KDD 2014的一篇文章,我们常用的word2vec是根据词的共现关系利用skip gram和COBW将词映射到低维向量。DeepWalk算法思路其实是利用了word2vec生成embedding的一种方法skipgram,对于已经建立的Graph来说每个节点可以是不同的实体且实体时间可以有不同的关系,从图上的一个节点开始随机游走(random walk),如果节点之间有weight可以根据weight的不同进行walk来生成类似文本的序列数据,实体id作为一个个词使用skip gram训练得到词向量。
算法的大体思路就是:根据图中节点随机游走 -> 生成一定长度的序列 -> 利用skip-gram进行训练。
2) LINE
LINE(Large-scale Information Network Embedding)是2015年文章[4]中微软亚洲研究院提出来的一种算法,LINE定义了两种度量节点相似度的方法:一阶相似度(First-order proximity)和二阶相似度(Second-orderproximity)。
-
一阶相似度
其中一阶相似度就是两个点直接相连的边的权重,且边权重越大说明两个点越相似,如果两个节点之间无连接,则一阶相似度为0;
对每个无向边,定义顶点和的联合概率分布为:
是顶点的低维向量表示, 我们的目的就是使得经验分布和概率分布尽可能的接近,于是我们定义以下一阶相似度的目标函数:
其中为两种分布之间的距离,为空间上的一个分布, =是它的经验分布,其中W为两点间边权重总和。我们选择KL 散度来计算(2)式子。
KL散度的计算公式其实是熵计算公式的简单变形,在原有概率分布p上,加入我们的近似概率分布q,比较两个概率分布的相似性:
将,带入KL散度的公式我们得到︰
其中C为一个常数,需要注意的是,一阶相似度仅适用于无向图,而不适用于有向图。
二阶相似度
二度相似性则是两个点之间共享多少相同的节点,共享的相同节点越多,而且共享的边的权重越高则它们的相似性就越高。二阶相似性假定与其他顶点共享邻居顶点的两个点彼此相似(无向有向均可),一个向量和分别表示顶点本身和其他顶点的特定“上下文”,意为二阶相似。对于每个有向边,我们首先定义由顶点生成“上下文”的概率:
式子(5)是一个条件分布,对于顶点,我们的目的就是要拟合与其经验分布。为边的权重,为相邻边的权重的和,因此最小化以下目标函数:
d(,)上文已经说明,来表示顶点的度数。这里我们令利用KL散度同一阶相似性的推导类似我们可以得到二阶相似性的计算公式(去掉常数项)为:
具体应用时,我们可以将一阶和二阶的得出的embedding进行拼接这样可以得到更多的语义信息。
3) Node2vec
Node2vec[5]算法是在DeepWalk基础上进行了改进,主要的创新点在于改进了随机游走的策略,DeepWalk中根据边的权重进行随机游走,而Node2vec加了一个权重调整参数,同时考虑到局部和宏观的信息,并且具有很高的适应性。
除了以上提到的常用的生成embedding方法,学术界和工业界还提出了很多方法,像SDNE[6]、Struc2vec、Starspace[7](Facebook用的技术)、EGES(阿里巴巴推荐使用的技术之一)等。
Graph Embedding
为人岗匹配带来新突破
在人力资本行业最主要的两大核心要素就是简历CV和工作岗位JD,如何让CV和JD有效的匹配是人力资本行业一直非常重视的问题也是一个难题。我们在人力资本行业领域对graph embedding的尝试和应用,并且取得了一定的效果。
1)原始文本处理想要有效的进行人岗匹配(即CV和JD的合理匹配),需要综合考虑包括职能、行业、技能、专业等维度在内的多维度匹配。首先应该提取CV、JD中的文本特征,可以利用深度学习模型提取出CV、JD的文本特征,我们这里称为实体。抽取出实体之后,我们就可以进行CV和JD的匹配,对于自由文本来说除了CV和JD的实体完全匹配上,可以算他们的相似度,词的语义相似度无法完全的诠释。举个例子:
CV的特征:
技能实体(JAVA),职能实体(JAVA开发工程师)、专业实体(计算机)
JD的特征:技能实体(Spring),职能实体(JAVA后端开发)、专业实体(信息技术)从词的表面是无法区分他们的相似度的。下面就用到了embedding,embedding可以将这些实体嵌入到同一低维的向量空间,在空间中实体之间的距离可以通过数学公式计算从而表示他们的相似性。
2)生成实体embedding
第一步:数据的生成,我们首先利用CV、JD中不同实体的共现,以及不同工作经历之间的跳转来抽取简历中的实体跳转,这些不同的实体之间可以构成network如图1所示。不同的实体就是不同的节点,实线就是节点之间的边也可以称为关系。
图1
第二步:使用Deepwalk、LINE生成embedding。对于Deepwalk可以直接根据network生成不同的文本序列,利用skip-gram进行模型的训练。而对于LINE可以直接利用不同实体的共现次数作为模型的输入。第三步:优化训练数据。我们发现不同的实体出现次数的量级是不同的,比如专业在JD中就很少出现,这样就导致了数据的不平衡。我们解决的方式是,统计了不同实体之间的tfidf、npmi(Normal Pointwise Mutual Information)作为实体之间的权重,即表示了不同实体之间关系的强弱程度,之后再进行模型的训练。
第四步:以上都是利用无监督的方式去训练embedding,由于e成科技有自己独立的人力资源ATS系统,包含了用户大量的真实行为数据。把其中匹配上的CV、JD作为正例,未匹配上的作为负例,构造出有监督的训练数据。将JD作为query,CV作为title,利用DSSM模型(如图2)进行有监督的模型训练。需要注意的是这里的embedding层并不是随机初始化的,而是利用第三步已经训练过的embedding作为预训练的权重。这样有监督训练的目的就是利用真实的行为数据更新embedding层的数据,使得每个实体的embedding更能好的表达在招聘这个业务场景中的语义。图2
我们使用内部标注的评估数据对不同模型进行了评估,比较结果如下:
以下是fasttext和graph embedding模型输出的top相关公司实体的一些例子。可以看到FastText单单只从字面意思进行了相似度匹配;而graph embedding模型输出结果能够更好地包含了具有相似业务、相似规模的公司,具有更好的语义相关性。
HR+AI领跑者,
助力每一个HR实现AI赋能
本文主要阐述了Embedding的原理以及一些应用,具体的阐述了Graph Embedding在人力资本领域的落地应用。Embedding既可以作为计算各个实体的工具也可以作为深度学习中的embedding嵌入层增加模型的准确性。不夸张的说一切可以embedding,而且embedding在很多领域都取得了不俗的成就,尤其是NLP领域。HR+AI赛道的领跑者,一直专注于人力资本领域的AI创新升级,开创性地将AI技术与人才战略升级场景深度结合, 我们已经将embedding技术应用到人岗匹配、面试Bot等多实际场景,接下来我们将继续优化embedding,助力AI技术在人力资源领域的更多应用。同时,基于积累多年的AI能力和行业经验,e成科技重磅打造了AI开放平台,并将AI能力开放给所有企业和友商。e成科技AI开放平台是HR赛道首个企业自主研发的聚焦人力资本场景的一站式AI能力服务平台,覆盖简历解析、人岗匹配、HR机器人等诸多场景,通过OpenAPI及需求定制等形式,面向所有自研系统大型企业、垂直招聘平台、传统HR行业厂商等企业用户提供智能化服务。
[1] Banana,神奇的Embedding, https://zhuanlan.zhihu.com/p/53058456
[2] Ethan,Embedding的理解,https://zhuanlan.zhihu.com/p/46016518
[3] Perozzi B, Al-Rfou R, Skiena S. DeepWalk: Online Learning of SocialRepresentations[J]. arXiv preprint arXiv:1403.6652, 2014.
[4]Tang J, Qu M, Wang M, et al. Line: Large-scale information networkembedding[C]//Proceedings of the 24th international conference on world wideweb. International World Wide Web Conferences Steering Committee, 2015:1067-1077.
[5]Grover A, Leskovec J. node2vec: Scalable feature learning fornetworks[C]//Proceedings of the 22nd ACM SIGKDD international conference onKnowledge discovery and data mining. ACM, 2016: 855-864.
[6]Wang D, Cui P, Zhu W, et al. Structural Deep Network Embedding[C]. knowledgediscovery and data mining, 2016: 1225-1234.
[7]Wu, L., Fisch, A., Chopra, S., Adams, K., Bordes, A., & Weston, J. (2017).StarSpace: Embed All The Things! arXiv preprint arXiv:1709.03856
人才画像画得好,数字化HR有妙招
Bert和Embedding等黑科技,在人力资本领域创新应用且取得不俗成果。本期就聊聊Bert思想如何和人才/岗位画像深入结合,让画像更精准俗话说“人才画像画得好,HR招聘快不少”。人才画像是现在企业人才招聘和人才管理的核心,并应用在人岗匹配、薪酬预测、人才盘点等诸多场景。数字化时代,画像成为人才招聘和人才管理的入口,
通过上百个维度进行提炼、总结进行人才全方位刻画。但如何刻画画像,画像准不准,还得这背后默默运行的AI算法和知识图谱说了算~今天,我们就来看看是什么技术让画像更准确?
<AI黑科技>
画像是什么?
“画像”的出现,得益于大数据、云计算、人工智能等新技术的飞速发展。用户画像(persona)的概念最早由交互设计之父Alan Cooper提出:“Personas are a concrete representation of target users.” 是指真实用户的虚拟代表,是建立在一系列属性数据之上的目标用户模型。
如今,为了提高客户体验和运营效率,画像早已被应用在各行各业。金融企业是最早开始使用用户画像的行业,在人力资本领域,人才/岗位画像的应用大大提升了HR的工作效率和质量,是人力资本数字化的重要入口和核心要素。所谓人才/岗位画像,即是基于企业招聘的显性的职位描述和隐形的内在潜质共同组成的用户画像(以下简称“画像”)。
△一张画像,没有读不懂的人才
构建画像的核心工作,主要是利用存储在服务器上的海量日志和数据库里的大量数据进行分析和挖掘,给用户贴“标签”,而“标签”是能表示用户某一维度特征的标识。业界有一套较为成熟的画像构建方法,为了让画像成为可普遍使用的基础服务,需要对画像的字段进行数值化处理。其中结构化数据比较容易进行数值编码(例如:性别/年龄/工作年限等),而非结构化数据(例如工作经历/职能/技能等)多数为文本类型处理难度较高。对于非结构化数据,生成具备语义含义的Embedding是业界较为广泛使用的方案。职能/技能可以统称为用户的知识体系,即使每一个职能/技能生成了具备语义含义的Embedding,如何通过聚合生成用户整个知识体系的数值表达并尽可能保留文本自身的信息,依旧是亟待解决的问题。在画像构建过程中,对于结构化数据业界已经积累了大量的成熟有效的方案。然而非结构化数据(例如文本类型)包含了更全面和深度的用户潜在信息,目前通过词向量加权平均依旧是主流使用的处理方法。
此类方法存在一些缺陷:1.生成的Embedding完全基于语义表达,缺失了其内在业务含义;2.直接加权平均的方法,容易掩盖掉重要的信息,且权重不好定义。基于此,我们针对人力资本场景,借鉴Bert的思想提出了一个新方法,能够更好地用数学的方法对人才/岗位画像进行表示。为了让AI+数据驱动的数字化招聘更为精准智能,我们以e成科技独有的HR行业职能/技能知识图谱作为先验的业务知识,并基于海量简历和岗位描述数据(千万级),借鉴Bert的模型架构,专门对画像中的知识体系相关字段(职能/技能)进行了深度优化。该方法提供的知识表征,首先包含了技能/职能的内在关系,其次通过attention的方式聚合能保证重要业务信息的不丢失。经过优化的人才/岗位画像,在数字化招聘、人岗匹配、人才盘点、薪酬预测等多个下游业务场景中均取得显著的优化提升。部分场景举例
-
人才选拔:通过人才画像分析,使人才供给与业务发展速度高度匹配,优化人才队伍配置效率,降低人才流失率;人才任用:通过岗位画像和人才画像的分析与匹配度分析,实现人才和岗位最优配置,使优秀人才能充分发挥能力与主观能动性,提高人力资本效率;人才盘点:利用大数据分析及AI技术,全面挖掘人才素质,评估人才潜力,动态校准人才画像,即时展现人才能力、绩效、潜力等分布情况,为人才识别、发展、配置提供价值,激活组织与人才发展;薪酬预测:根据人才画像和岗位画像,结合行业岗位知识,分析人才/候选人技能及发展水平,预测候选人及企业未来薪酬水平;接下来,院长就将为大家介绍e成科技在有关领域的最新方案以及应用成果。
ELMoVS Word2Vec,
更优的特征提取器
Word2Vec是近几年非常流行的Word Eembedding提取模型。模型通过预先构建的词表将输入语句中某单词前、后所有词语编码为多个one-hot向量传入模型,随后通过一个共享的参数矩阵将这些向量映射到隐藏层,最后使用softmax将隐藏层的输出转化为词表中每个单词的概率作为输出,其中概率最高的单词即为最终预测结果。经过充分训练后,词表中每个单词的语义信息已经充分“嵌入”了用于映射输入层和隐藏层的参数矩阵中。使用时只需用单词的one-hot向量和参数矩阵相乘就可以得到对应的Word Embedding。这样的网络结构为Word2Vec带来了一个严重的问题,它无法为语言中常见的多义词提取Embedding。由于同一个单词在参数矩阵中只占据一个向量,网络只能将多义词的不同语义信息全部编码到相同的向量中,反而降低了这些词向量的表达能力。此外,Word2Vec只采用了一个线性隐藏层,特征提取能力较弱,对Embedding的表现也有很大的影响。ELMo(Embedding from Language Models)模型使用与Word2Vec截然不同的方式提取Embedding,并采用更优的特征提取器,很好地解决了多义词问题,同时增强了词向量的表达能力。模型使用两层双向LSTM(Long Short Term Memory)单元作为模型中间层,其中正向LSTM顺序接受输入语句中给定单词的上文,逆向LSTM倒序接受语句中给定单词的下文。训练完成后将输入层Embedding和两层LSTM产生的Embedding加权结合后作为句中每个单词的Embedding使用。与Word2Vec查表式获取静态的Embedding不同,ELMo可以根据上下文信息动态调整词语的Embedding。多层LSTM特征提取器可以从文本中分别提取句法、语义等不同层次的信息,大大提升了词语特征的丰富程度。
Attention机制是近几年提出的新型特征提取器,在NLP领域的表现效果远超以往使用的卷积神经网络和LSTM等技术。Bert的优异表现正是建立在这一机制的基础上,多层Self-Attention单元构成的大型网络和巧妙设计的无监督训练方式使模型可以利用丰富的自由文本进行训练,从中提取多层次的语言特征应用:知识表征模型我们的知识表征模型(以下简称“模型”)同样使用了多层Self-Attention单元作为基本的特征提取器,尝试从e成科技丰富的数据中挖掘出可描述职能和技能各自特征及其相关关系的Embedding。为了训练这样的模型,我们借鉴并调整了Bert的设计思路,建立一套符合我们诉求的模型结构。模型将知识图谱中职能和技能的实体名称作为Embedding提取粒度,端到端地进行特征提取,避免字粒度模型提取特征后还需将其重新组合成词语的麻烦,也减少了模型的信息损失。模型训练时,我们使用职能、技能前后拼接的数据结构,其中来自相同CV数据的职能、技能作为正样本,来自相似行业中不同CV数据的职能、技能作为负样本。正负样本数量比例为1:1。为了防止模型仅抽取职能对技能的依赖关系,我们在将职能和技能调换顺序后的数据加入样本中同时训练,以提取双向的依赖关系。
经过充分训练后,模型可以提供多样化的使用方式。模型最后一层输出和输入序列等长的Embedding序列,其中第一个Embedding包含整条数据的特征,之后每个Embedding与输入序列的词语一一对应,分别是每个词语的动态特征。将序列头Embedding接入下游任务网络中可以对模型进行fine-tune,可进一步用于不同的细分领域任务。同时,其余Embedding也可以直接作为词语特征使用。考虑到模型结构复杂,运算时间较长,针对某些性能要求较高的业务场景,可以将模型输入层对应的Embedding作为静态词向量使用,通过查表方式大大简化运算流程。我们使用内部标注的薪酬预测、人岗匹配数据对不同模型进行了评估,结果如下:
薪酬预测任务中,每个模型需要提取候选人的技能Embedding作为下游任务的参数,辅助判断候选人的薪酬水平。实验中模型之间互不影响,且使用相同的下游薪酬预测模型。结果中可以看到,我们的知识技能表达模型对下游任务各项指标均有5%左右的提升。而人岗匹配任务中,我们将岗位和候选人各自技能Embedding之和作为它们的特征向量,通过特征向量相似度判断候选人和岗位是否匹配。评估结果显示,我们的模型表现非常出众,提升效果明显。
测试过程中,模型可以将大部分被覆盖的词语还原为正确结果,下面是从测试样例中抽取的部分未正确还原的情况。可以看到即使还原失败,模型也能够预测到行业内与正确结果相似的答案。数字化时代,HR作为推动企业数字化升级的核心力量之一,通过数字化工具助力人才管理和人才引进数字化,已经成为必然趋势。e成科技创新研发的画像+Bot两大引擎,助力人才知己、企业知人、社会知命。利用大数据和人工智能技术构建的画像,将对人才的素质、性格、职业动力都进行全方位描述,帮助人才认识自己,进行自我反思,同时帮助企业和HR更全面、更立体、更准确识别候选人,实现选、融、育、激各个环节高效的人才管理。作为HR+AI赛道的领跑者,将AI基因根植于业务,并开创性地将AI技术与人才战略升级场景深度结合。同时,基于积累多年的AI能力和HR行业经验,重磅打造了AI开放平台(HR领域首个AI开放平台来了!行业顶级AI你也可以轻松GET!),通过OpenAPI及需求定制等形式将AI能力开放给所有企业和友商。e成科技AI开放平台是HR赛道首个企业自主研发的聚焦人力资本场景的一站式AI能力服务平台,覆盖简历解析、人岗匹配、HR机器人等诸多场景,这些HR+AI的创新应用和智能产品背后,都是e成科技领先的AI能力和默默潜心研发的科学家及算法工程师们作为支撑。未来,将持续打造更多创新智能产品,全面加速人力资本数字化升级!
真技术还是伪AI,HR如何选择合适的智能工具?
HR们如何选择合适的智能化工具,
帮自己降本增效,提升员工体验!2019年,RPA突然火了,成为新兴风口、资本的宠儿,甚至有些媒体宣称人力资源部门一定要部署RPA,但这种火热到底是资本炒作,还是RPA真的有用,相信很多人都心存疑惑……RPA能满足HR需求吗
RPA (RoboticProcess Automation),是指用软件流程自动化方式实现在各个行业中本来是人工操作计算机完成的业务
事实上,第一期院长和大家探讨了RPA与AI的关系,传统RPA并没有用到特别前沿的人工智能技术,RPA也并不等同于人工智能。但随着近些年来,软件流程自动化技术与AI这两个互补概念结合在一起,RPA很多环节上用到了越来越多的人工智能技术,使得工具更加智慧,也提升了效率减少了人工,于是RPA在金融、财务和工业自动化等领域应用越来越广泛。对于企业人力资源部门来讲,HR每天都需面对大量事务性工作,这些事务性工作大都可以通过自动化的方式由机器人来替代。而借助语音识别、OCR等AI能力,也的确能够进一步提升RPA的灵活性与智能性,替代人工将繁琐的业务操作流程自动化,解放HR们的双手,提升HR的工作效率。可见,RPA的真正价值在于,其可以将HR从以往大量、繁琐、重复的事务性工作(如筛选简历、入离职办理、社保、福利、开具证明等)中解放出来,将时间和资源集中在高价值的、战略性任务上(比如支持组织转型、引入职业发展规划、寻找最新培训材料、理解业务特点和实操场景、为企业战略提供决策依据等),提高人资效率。但RPA真的能满足HR的所有工作需求吗?院长曾经和一些在互联网公司的HR小伙伴们探讨这个问题,他们纷纷表示人资软件操作并非他们工作的主要内容,单纯的软件流程自动化对他们帮助非常有限。首先,我们知道不同于金融、财务等工作,HR每天更多时间花在了与候选人、员工的面试与沟通上。这些沟通需要HR与员工协同进行,时间与方式都非常灵活,很难通过传统软件进行自动化。其次,优秀的HR进行的沟通应该是有温度的,这样的温度很难在软件自动化中体现和传递出来。最后,很多重要的决策也需要基于沟通的结果,结合大量的专业知识来进行,这也并非简单RPA可以实现的。可见,即使有了AI的助力,RPA也不能完全满足HR需求,还需要有更强大的工具来帮助HR提升相关的工作效率。BERT ?
实现人与人更好地连接:画像+Bot事实上,人力资源部门不缺自动化技术及系统。市场上种类繁多的自动化工具和系统,都能或多或少解决HR们的一部分需求,通过自动化大大降低HR处理事务性工作的时间和精力。
但HR需要的仅仅是一个代替自己双手的自动化工具吗?一个RPA机器人就够了吗?数字经济时代的来临,对企业管理者和人力资源工作者提出了更高的要求,按部就班的事务性工作已经不能满足企业发展的需求,如何充分利用人与技术的合作,全面提升组织与人才管理、员工体验和组织数字化升级变革成为重中之重。相比于RPA,我们相信智能对话机器人(ChatBot)更能实现人与人之间更好地相互连接,更适合帮助HR完成日常琐碎的沟通工作,提升HR的工作效率与员工体验。这里的机器人既可以是基于文字交互的聊天机器人,也可以是基于电话线路的外呼机器人。HR只需要简单配置,就可以将这些机器人应用在各种场景中,比如与候选人进行面试邀约,进行电话面试并7*24小时回答候选人各种问题,还可以和在职员工进行实时交流,了解他们对于自己和公司的各种想法。这里的难点不在于HR的操作,而在于实现ChatBot所需要的基于强大对话系统与自然语言处理能力,其背后更是强大的AI技术作为支撑,尤其以下AI技术是必不可少的:
语音识别(ASR):将原始的语音信号转换成文本信息;
自然语言理解(NLU):将识别出来的文本信息转换为机器可以理解的语义表示;
对话管理(DM):对话系统的中枢,维护整个对话状态并决定后续的对话策略;
文本生成(NLG)及语音合成(TTS):生成对话中回复的文本及对应语音内容;
文本检索:服务于基于知识库的问答对话;
情感分析:分析用户对话的情感倾向,并调整对话策略;
在这些AI技术背后,还有更多基础神经网络、机器学习模型,大量数据积累语料标注以及无数人工规则与策略。在这些技术的助力下,Chatbot的对话可以像人一样更有“温度”,可是想要ChatBot能像HR一样进行专业对话,这还远远不够。作为一名HR,还需要有大量的人力资源知识与相关行业的业务知识,能够识人断人,这是一般的对话机器人所不具备的。这就必须祭出提升HR工作效率的另一大杀器——画像
在人力资源的场景中,最重要的画像当属是描述企业候选人和员工各方面素质和能力的员工画像,除此之外,还包括有岗位画像、公司画像等其他画像。这些画像并不是静态的数据,而是包括了从最底层数据不断提炼的规则和算法过程,也包含了基于画像所进行的后续分析与决策。可以说,画像在企业的人力资源智能化过程中起到的是承上启下的核心作用。要做好这样的画像,同样离不开大量的专业知识积累、知识图谱以及各种数据挖掘和机器学习算法。
当画像与Bot结合在一起时,还会发生更加奇妙的化学反应。如果把画像比作大脑,Bot就相当于耳朵和眼睛,为大脑提供源源不断的感知数据,使大脑不断思考进化。而有画像加持的Bot也具备了更强的专业性和个性化能力,更能像一个专业HR一样与候选人或者员工进行交流。那么,在人力资源领域,“画像+Bot”与“RPA+AI”究竟是什么关系呢,这里总结一下:
首先,“画像+Bot”与“RPA+AI”本身的动机是类似的,都是致力于通过自动化、数字化、智能化提升HR工作效率,降低人资部门的流程负担;其次,仅仅靠RPA实现流程自动化提升HR工作效率是远远不够的,注重体验性和智能性的对话机器人对HR的效率提升更为关键;最后,AI这个概念过于庞大,对人力资源领域而言,画像是AI最为重要的体现,大量智能化工作都需要围绕着画像进行体现;所以,相比于RPA+AI,画像+Bot的提法更贴近人力资源的实际场景需求,也更有利于真正将HR从事务性工作中解放出来,给候选人及员工更好的体验。罗马不是一天建成的,构建好Bot与画像能力也一样,一方面需要长期的数据与技术积累,另一方面也需要有大量的实际业务经验。反观行业内一些公司,在RPA与AI的热潮下,短时间内摇身一变就成了一家RPA+AI的公司,这其中究竟有多少AI能力,而这些AI能力有真正能对业务产生多大帮助,恐怕要打上一个大大的问号。能做出HR真正满意的产品,靠的不是蹭热点,而是对业务的深入理解和对技术的不断追求。
HR+AI领跑者,开启人力资本数字化管理新时代秉持“科技助力人才升级”的公司使命,并以“画像”和“Bot”作为两大核心驱动力。
经过多年的技术积累,在智能对话机器人领域沉淀出自主研发的Snowball对话框架,具备意图识别、槽位提取、实体识别、对话管理、问答对话、闲聊对话等诸多对话能力。尤其针对人力资源领域特点,Snowball有针对性的搜集语料进行模型训练,并且增加了许多定制化功能以保证对话系统的专业性及良好体验。而在用户画像方面,基于多年的丰富行业经验,e成科技形成了包含百万级实体和千万级关系的知识图谱作为画像的知识储备,同时加入专业咨询团队的理论编写大量专家规则,并结合业界前沿的机器学习、神经网络模型,构建了覆盖广、精度高的用户画像体系,带动相关业务的发展。基于以上对话与画像能力,e成科技研发了大量覆盖人力资本全场景的智能应用,将AI技术与HR场景深度融合,更加贴合数字化时代下HR的业务需求。部分应用
基于人工智能意图识别及对话管理,利用电话外呼技术实现的高潜候选人自动意向沟通最佳解决方案,突破性提高人才复用率;员工机器人:多年积累的HR领域业务知识与智能对话机器人结合,减少HR重复工作,提升员工工作体验;面试机器人:基于岗位画像和专家知识对候选人进行智能化面试,通过刻画人才画像帮助HR全面了解候选人;HR机器人:通过Bot构建交互信息的采集和分析系统,打造面向HR、员工、候选人的全场景高效对话体验;
人岗匹配:基于人才及岗位画像,结合专家知识与前沿深度学习模型个性化推荐人才,提升HR工作效率;
△从BOT集群到超级BOT,科技助力人才升级
△
HR行业首个AI开放平台,
赋能行业变革
在人工智能发展热潮下,不少企业纷纷乘借新技术的东风,在原有业务基础上搭载或者嫁接外部AI技术,于是一时间市场上涌现众多“HR+AI”、“RPA+AI”的人力资本产品或服务,可谓乱花渐欲迷人眼。 但通用AI技术往往与业务场景有着巨大的鸿沟,AI技术与垂直行业的融合,绝非一朝一夕之事。诚然,目前的“AI热”或者“RPA热”反映了市场的焦虑和人力资本领域数字化转型的迫切需求,但如果只是跟随“资本热”或者满足“尝鲜性”的需求,未切实关注HR的深层需求,只会在“伪AI”的道路上越走越远。 AI技术成功应用到人力资本场景,是不断试错,不断创新和优化的过程,需要长时间的研发和打磨。作为HR+AI赛道领跑者,e成科技的AI能力从创立起就深植于基因,并伴随着人力资本业务发展不断学习和进化,融合了深厚的HR行业经验积累、顶尖专家团队提供专业知识,突破技术边界,才在HR SaaS领域形成独一无二的“护城河”。
AI核心优势
AI技术优势:6年的AI能力积累,掌握深度学习、数据挖掘与分析、自然语言处理、知识图谱、智能推荐、人才素质模型、情感分析、实体识别等核心AI技术,引领AI技术与人力资本场景深度融合;
顶尖团队优势:3位顶尖AI科学家,超过50人的来自BAT等互联网巨头的优秀算法团队,超过30人的来自全球知名咨询企业的HRTech行业咨询团队阵容;
行业知识优势:超大规模全行业人力资源知识图谱,历时6年,10,000+家企业使用验证,成功构建50,000,000+实体关系;
AI行业认可:HR赛道唯一入选上海人工智能发展联盟(SAIA)和中国人工智能产业发展联盟(AIIA)的会员单位,多次斩获人工智能技术应用十强、AI商业落地百强等诸多荣誉;
基于以上优势和能力,经过多年积累和孵化,e成科技打造了HR赛道首个AI开放平台,并将多年AI能力积累开放给所有HR友商,助力实现人力资本智能化升级与变革。
AI开放平台是HR赛道首个企业自主研发的聚焦人力资本场景的一站式AI能力服务平台,覆盖简历解析、人岗匹配、HR机器人等诸多场景,通过OpenAPI及需求定制等形式,面向所有自研系统大型企业、垂直招聘平台、传统HR行业厂商等企业用户提供智能化服务。
AI开放平台提供的服务主要集中在这三种形式:
标准化AI能力:将NLP、NLU等前沿的AI技术全面应用于HR各类核心业务场景,为用户直接输出单个或多个AI技术能力,如简历解析、职位解析、人岗匹配等;
组件化AI产品:基于业务深度理解,实现AI产品组件化、平台化,用户通过标准API接入,实现快速调用AI产品,无需企业再次开发;
个性化场景解决方案:根据用户的个性化场景需求提供定制化的AI能力和服务,打造企业专属AI应用;
SERVICE
目前,AI开放平台已助力多家企业合作伙伴智能应用落地,赋能行业智能化变革。后续,我们将为大家分享一些精彩案例,盘点下AI赋能企业变革的那些事儿。
数字化时代,企业纷纷在寻求智慧变革,人力资源部门是推动企业变革的重要动力之一,HR也要时刻随着时代和科技的变化而变化,找到并驾驭合适、高效的智能化工具,将助力人力资源工作者和企业领先同行,实现数字化升级弯道超车。
“RPA+AI”也好,“Bot+画像”也好,核心是真正能够给客户带来价值,提升HR的工作效率。为客户服务的道路上没有终点,为了实现这一目标,未来,e成科技将持续努力把技术能力与人力资本业务更好地结合,推出更多满足HR场景需求的智能化产品与服务,与合作伙伴们一起携手开启人力资本数字化新时代!
请回答BERT:HR 聊天机器人强大聊天技能背后的秘密
AI面试、聊天机器人、AI简历解析等大家熟知的数字化人力资本场景下,那些不为人知的强大黑科技。聊天机器人等智能应用的出现,无疑在人力资本领域掀起了一场声势浩大的革命,它的即时性、全天候、智能化回应,不仅提升了候选人/员工的体验,也大大地提升了HR效率,降低企业成本。不难想象,
未来这些智能化应用将会给我们带来更多惊喜。在这里,院长不禁要问,你知道这么好用的聊天机器人背后,是什么AI技术在支撑吗?很多人都说当然是NLP,
没错,但NLP背后呢?还有一个利器就是:BERT!
2018年底到2019年,NLP领域从学术界到工业界最火热最强大的模型是什么?那就是BERT!BERT已然成为NLP技术历史上最重大转折点之一,是NLP技术向加速产业落地迈进的一大步作为HR+AI赛道领跑者,从BERT一经发布就敏锐察觉到了机遇,积极布局相关研究,不断跟进最近进展、探索相关应用,取得不错的积累和成果。在这篇文章里,院长将简单向大家阐述BERT的相关背景、原理、升级,以及人力资本领域的一些应用、探索和思考。
<AI黑科技>
背景:什么是BERT
WHAT'S BERT ?
BERT (Bidirectional Encoder Representations from Transformers),是google于2018年底提出的一个预训练语言模型,它通过无监督的方法对大规模的自然语言的语料进行学习,从中提取出人类语言的内在基本规律,辅助后续的自然语言理解的相关任务。
例如,对于一段文本:HR+AI赛道的领跑者,在NLP领域有很多的技术积累。
用通俗的语言理解,BERT在学习的是以下两方面的能力:
1.当输入了“HR+AI__的领跑者”的时候,模型要学习到填入”赛道”是最佳答案,而不是其他的任何的无关词。
2.当输入了“HR+AI赛道的领跑者”的时候,模型要学习到”在NLP领域有很多的技术积累”是最佳的下一句,而不是其他的任何句子。
以上两方面的能力,可以理解为是人类语言的基本规律,那么当模型学习到这种规律之后,有什么用呢?
BERT的强大能力
以BERT模型为基础,通过fine tune的方式,可以在BERT已经习得的语言知识的基础上,快速构建对其他自然语言任务的学习和理解,相比于普通的模型,其中的增益主要体现在两个方面:
1.理解更深入。由于已经在大量的自然语言中习得了基本的语言规律,当模型面临一个新的自然语言任务的时候,模型可以利用的知识就包含了已经习得的海量语言规律+新任务里的知识,使得模型能够更加深入新任务所表达的规律。
2.更少的样本依赖。在BERT以前,凡是涉及自然语言理解的任务,需要少则数万,多则数十万的训练样本,才能达到一个基本的效果,而训练样本不是自然就有的,大多需要人工标注。BERT出现之后,BERT可以基于已经习得的语言规律,更好的利用样本,使依赖的标注数量降低至少一个量级,极大加快模型的理解速度。
BERT原理和BERT升级
BERT自2018年底诞生后,在业界和学术界迅速激起一层研究热潮,不断的出现以BERT为基础的改良模型,这其中典型的中文模型代表包括来自哈工大的bert_wwm以及来自百度的 ernie模型。下面我们将简单介绍BERT-base\BERT_wwm\ernie模型的基本原理。
BERT-base
BERT综合考虑了以往语言模型(例如ELMo\GPT)的缺点,基本组件使用Transformer模块,并将单向的语言模型改进成双向模型,其结构如图1所示。
图1 BERT: Bidirectional EncoderRepresentations from Transformers
BERT所提出的双向预训练模型提出了两个预训练目标,分别是Masked Language Model(MLM)和Next Sentence Prediction(NSP)。MLM随机选取15%的词进行掩码,被选中的词中,80%的词用[MASK]标记替代,10%的情况用随机挑选的词替代,另外10%的情况维持不变。由于在使用预训练模型时,输入的文本不会有[MASK]标记,因此采用这种掩码机制可以有效避免模型误以为目标词预测是针对[MASK]标记的,从而在下游任务中也能有效预测目标词。因此,BERT相关的模型又被称为掩码语言模型(MLM)。下一句预测(NSP)任务在预训练过程中,按50%的概率选择实际输入中当前句子的下一个句子,并标为IsNext标签,另外50%的情况随机从语料中选择一个句子拼接在当前句子后,并标为NotNext标签。预训练模型同时优化[MASK]目标词预测及下一句预测的目标。
在下游任务的改造方面,类似于GPT,BERT也针对不同任务提出了不同构造输入的方式,包括句子关系分类、文本分类、阅读理解及序列标注,构造方法如图所示。对输入只有一个句子的情况,直接添加[CLS]字符,对有两个句子的情况,将句子通过分隔符拼接再添加[CLS]字符。每种任务的输入都由三个部分组成,每个单词的向量表示(Token Embedding),句子的向量表示(Segment Embedding,用于区分输入的不同句子)及位置向量表示(Position Embedding)。
BERT提供了基于字符mask机制的中文预训练模型BERT-Base, Chinese。而对于中文来说,一个词由不同的字符组成,而BERT提供的字符级的mask机制对中文来说会有一些限制,因此对中文的预训练模型的改进则体现在对整个单词进行mask(即全词mask,whole-word-mask)。
BERT_wwm
哈工大讯飞联合实验室开放的中文预训练模型BERT-wwm[17],与下文介绍的百度的ERNIE类似,是采用了全词mask策略(Whole Word Masking, wwm),对同属一个词的所有子词进行mask、保留或替换操作。数据预处理的分词过程采用了哈工大LTP分词工具。第一版本的BERT-wwm采用了中文维基百科数据进行预训练,第二版本BERT-wwm-ext提供了在更大通用语料(5.4B词数,包括维基百科和通用数据)上预训练的模型。
ERNIE
比于BERT的字符级mask,ERNIE提出了基于先验知识的mask策略。即每次mask连续的短语或实体。如对句子“哈尔滨是黑龙江的省会,国际冰雪文化名城”进行mask,依据BERT的字符级mask策略得到“哈 [mask] 滨是 [mask] 龙江的省会,[mask] 际冰 [mask] 文化名城”,而ERNIE的mask方式为“[mask][mask] [mask] 是黑龙江的省会,国际 [mask] [mask] 文化名城”。在训练数据方便,ERNIE使用了中文维基百科,百度百科,百度新闻及百度贴吧的论坛对话数据,并采用类似于BERT 下一句预测的对话语言模型(Dialogue Language Model, DLM)来建模对话句对结构。
人力资本领域应用
HR+AI赛道的领跑者,以先进的NLP能力不断引领HR领域内的AI升级。我们从BERT一经问世就密切关注其研究进展,在将近一年的时间内,我们积累了大量的探索和应用的经验,下文从BERT直接应用、专有BERT研发、合理性判定三个方面阐述了我们的一些探索。
BERT的直接应用
(1)基于BERT的情感分析模型
情感分析是语义理解里的核心模型之一,其解决的主要问题是一句具有主观情感的话语进行理解,识别出其中蕴含的正面、负面或者中性的情绪。
举例如下:1. 该面试者的沟通能力非常强2.该面试者沟通方面有一些不足,3.该同学来自上海。
模型对以上1 2 3句进行情感分析,1表达积极情绪,2表达消极情绪,3表达中性情绪。在人力资本领域,情感分析模型的应用随处可见,在内部,我们使用情感分析模型进行公司新闻舆情、公司评价、面试官评价、绩效文本分析、对话情绪识别等基础的分析工作,助力人力资本领域内的洞见形成。
在BERT到来之前,e成就自研了基于lstm+softmax的情感分析模型,用于对公司的评价信息进行情感分析,取得相对不错的效果。但是仍然存在主要两点问题:
1.训练出一个有效模型需要的数据量庞大。我们使用了15w的训练数据,才训练出了一个准确率在90%的模型,15w的数据量不仅意味了更大的收集和标注数据难度,而且意味了更长的训练时常和资源消耗。
2.迁移能力差。我们尝试使用基于公司评价数据的模型直接对面试官评价数据进行分类,发现效果下降明显,大概降低了近15个百分点,自然语言处理有天然的领域属性,而一般的模型领域迁移能力有明显的局限。
2018年底,我们尝试了基于BERT的情感分析模型,新训练的模型准确率达到了93%,更重要的是,在以上两方面问题上,基于BERT的模型有质的提升:
1.训练模型需要的数据下降了至少一个量级。我们基于BERT尝试进行少量样本的学习,发现,训练到同样的效果,BERT需要的数据降低了一个量级。
2.强大的迁移能力。当我们把在公司评价数据集上训练的模型迁移到面试官评价数据集的时候,模型的效果几乎没有下降,这证明了BERT强大的领域迁移能力。
(2)基于BERT的实体识别模型
实体识别任务是指从一段文本中识别出特殊的名词,是NLP领域语言理解的核心任务之一。
在人力资本领域,我们需要识别的实体,主要包括(但不限于)公司、专业、职能、技能、学历、证书、学校等,从一段文本中识别出这些实体,是理解这段文本内容的基础,而基于识别结果并链接到知识图谱,更是下一步进行人岗匹配工作的核心要素。
举一个实体识别的例子如下:我毕业于北京大学,是一名算法工程师,现在在阿里巴巴就职
从上面这句话,我们的识别结果是,学校-北京大学,职能-算法工程师,公司-阿里巴巴。
我们使用BERT进行实体识别模型的训练,取得很好的效果。整体识别的f1值达到了0.79,相比于传统的模型提升了5-10个百分点。
(3)基于BERT的名词短语识别模型
众所周知,对文本进行理解的第一步就是要进行分词,而人力资本领域充满了各种专有名词,在分词的时候确保一个名词短语不被错误的切分开,是正确的理解人力资本领域内的各种文本的重要前提。
为此,在很久以前就尝试了各种名词短语识别的算法,我们将名词短语识别直接建模成为序列标注任务,同时基于cv语料上的识别结果进行相关统计过滤,识别出了大量的名词短语列表。
例如下面的句子:
是一家AI创新的公司,利用自然语言理解技术,提升人力资本领域内各个任务的智能化程度。
典型的切词会把上文中的自然语言理解技术切分为 自然/语言/理解/技术,这种切分方法会对理解文本和进行人岗匹配等过程产生很多不利的影响。
我们使用基于BERT的模型识别出上文中自然语言理解是一个名词短语,进而辅助在切词的时候保留其完整性。
人力资本领域的专有BERT
业界和学术界的经验表明,当基于某个领域内的大量自然语言的进行继续无监督训练之后,BERT的效果会得到进一步的提升,基于此,我们打造了人力资本领域内的专有BERT,使得领域内的各种模型可以继续提升。
继续无监督训练需要两个关键因素,一是大量的数据,二是充足的算力。得益于e成在人力资本领域内多年的数据积累,以及公司作为AI公司充足的算力,我们的无监督训练得以实现。同时,我们选择近期效果更好的BERT的升级模型-ERNIE,作为我们继续训练的基础。以下,我们称这个模型为cv预训练模型。
数据方面,我们基于简历中的工作经历字段的数据进行全词mask预训练。考虑到通过10次随机mask之后的数据会大幅扩增,因此此处采用了大约5G的CV数据进行预训练。算力方面,我们使用8块v100GPU(目前业界算力最强GPU)进行训练,总共训练约一周的时间。
CV预训练方法
预训练过程包括预处理和预训练两个阶段。数据预处理旨在对原始数据进行掩码并进行句子拼接。在预处理之前,首先需要将原始数据分词,并将数据按行分句,按空行分段。这里我们加入由e成多年积累的各个实体的词典库作为分词的用户字典。预处理时,对属于一个词的字符之间添加“##”标识来区分词和单字。如“幼儿园”经过tokenizer之后会变成“幼##儿 ##园”,若mask策略随机选择了“幼”这个词替换成[MASK],也会同时将“儿”和“园”一起mask。构造下一句预测数据时,若当前文档只有一个句子,或者以50%的随机概率从其他文档随机抽取一个句子拼接到当前句子来作为下一句预测的负样本,另外50%的情况是选择当前文档的下一个句子拼接,作为下一句预测任务的正样本。处理完一组数据后,注意需要将中文连续词前面的‘##’符号去掉防止影响后续的预训练过程。
CV预训练模型评估
我们选择之前提及实体识别任务,验证我们的cv预训练模型的效果。我们分别对同一组数据进行了四组实验验证。包括:基于BERT模型直接fine-tune,基于CV数据预训练BERT之后的模型进行fine-tune,基于ERNIE模型直接fine-tune,和基于CV数据预训练ERNIE之后的模型进行fine-tune。
为评估实体识别的效果,分别从标签数量和实体范围角度进行了评估。例如 “拥有高中教师资格证”对应的标签为 “O O B-Certificate I-CertificateI-Certificate I-Certificate I-Certificate I-Certificate E-Certificate”,按标签数目评估即判断标签是否正确,而按实体范围评估则要求标签能正确区分实体的起始和终止边界,若预测标签为“O O B-CertificateI-Certificate I-Certificate I-Certificate E-Certificate O O”,则按标签数目评估时正确标签有6/9,但按实体范围评估准确率为0/1。
表3和表4展示了基于BERT原始模型及用CV数据预训练后的模型在实体识别任务上的对比,其中P、R、F分别代表准确率、召回率和F1-score。可以看出,根据标签数量评估时,CV数据预训练后的模型相比原始BERT在准确率、召回率和F1-score上分别提升了1.35%,1.35%和1.68%。按实体范围评估时,CV预训练后的模型比原始BERT在准确率和F1-score上分别提升了1.69%和2.03%.
基于ERNIE的CV数据预处理后相比于基于BERT的CV数据预处理后在标签数目上分别提升了10.29%,2.61%,5.71%,在实体范围评估上提升了3.12%,0.64%和1.13%。由此可以看出,采用领域数据对预训练模型进行进一步的预训练,有助于提升领域下游任务的表现效果。
表3 BERT原模型及CV数据预训练后模型在实体识别任务上按标签数量评估的对比
表4 BERT原模型及CV数据预训练后模型在实体识别任务上按实体范围评估的对比 基于BERT的合理性判别
(1)对话中句子的合理性识别
为了识别Bot(聊天机器人)对话过程中,用户输入的一句话是否是一个合理的句子,我们应用了BERT对用户输入的query进行合理性的判定,对于识别出用户随意输入的句子,我们在Bot进行了特殊的回复设定,有效的增加了Bot对话过程对用户输入的理解能力。
例如以下两句话:1.请问公司的地址是什么2.阿萨尔塔尔哇嘎时高时低
BERT模型会基于语言模型的预测结果,对1和2进行困惑度打分,过高的困惑度意味着这不是一个自然语句,进而触发特定的对话逻辑。
(2)公司名称的合理性判定
从自由文本中准确的识别公司名,是一项难度很大的任务,这其中一个很重要的点就是如何判定某一段文本在句子中是一个公司名,还是碰巧是其他词语,例如如下两句话:
我本科毕业后,一直在京东从事算法开发工作。我们公司位于北京东边的一个商业中心。
从这两句话中,我们都可以提取词语‘京东’,而且京东确实一个公司,但是很明显在语句2中,京东所表达的并不是一个公司。此时,我们就可以使用基于BERT的语言模型进行相关的判定,我们将两句话中的京东都替换成百度,发现对第二句话模型预测句子的合理性出现了大幅的降低,可以判定在第二句中提取的京东不是一个真正的公司。我们正在探索使用此类方法,来进一步提升我们实体识别的准确率。
总结
本文主要阐述了BERT的背景、原理、模型升级和人力资源领域的落地应用,作为一种预训练语言模型,BERT在NLP领域取得了极大的成功,e成作为HR+AI赛道的领跑者,紧跟业界最新的研究前沿,积极探索落地应用并取得了一定的成果。接下来,我们会从模型加速、蒸馏、小规模语言模型等方面,持续的进行相关的探索。
不管是在文本分类、文本相似度、情感分析、通用实体识别、语言模型、阅读理解等NLP能力方面,还是在语音分析、视频面试等音视频能力、人力资源知识图谱、简历解析、画像推理、BEI访谈等应用能力方面, BERT技术应用其中,并基于具体场景做了很多技术优化,如样本优化、性能优化等,并基于人力资源场景语料专门训练了Bert模型。同时,我们把它平台化,把很多其他NLP工具集中在平台里,未来可以做到更强的模型,更加贴合业务。
基于以上领先的AI技术和深厚AI能力的积累,e成科技推出HR行业首个AI开放平台,并已实现AI能力中台化,即⽤即取,高效连接算法能力和业务诉求;同时对外开放AI能力,将多年AI能力积累开放给所有HR行业友商,助力人力资本智能化升级。
一文读懂RPA、AI与HR的关系
近两年,科技行业热词里突然多了一个简写—RPA有人把RPA当作解放劳动力的救星认为任何大规模、重复性工作都能用RPA机器人代替大大节省了人力、时间和金钱
比如在人力资本领域
研究表明,HR们大约93%时间花费在重复性工作上但65%的工作流程其实可以实现自动化RPA可以将HR从大量、繁琐、重复的任务中解放出来
如简历筛选、面试邀约、员工入职、员工数据管理、考勤管理、离职管理……从而将时间和资源聚焦在更高价值和战略性任务上
Gartner研究表明,到2022年底85%的大型和超大型组织将部署某种形式的RPA一时间,RPA风头无两,被认为未来市场前景广阔引得各路投资人争先恐后 但也存在不同声音有人说RPA是开数字化历史的倒车认为RPA只不过是在重复执行脚本不过是不断执行命令的“手脚”AI才是发布命令的“大脑”
面对众说纷纭、信息纷繁我们似乎只能管中窥豹难得全貌那么到底该如何看待RPA?RPA和AI有哪些联系?RPA和HR又有哪些关系呢?
这个名字,源自伟大的计算机科学和人工智能之父——艾伦·麦席森·图灵(Alan Mathison Turing)。怀着无比的敬意,小编虔诚地打出他的荣誉:英国著名计算机科学家、数学家、逻辑学家、密码分析学家,著名“图灵测试”实验提出者。(预告插播:后续不知道什么时候专栏将推出图灵专题,扒一扒聊一聊这位谜一样的天才科学家)
数字化时代已然到来,新科技将推动经济、社会、企业发生翻天覆地的变化,也将赋予人力资本巨大的变革力量。在这场浪潮中,思变的企业和HR们已经开始寻求变革新路径。作为人力资本数字化平台和数字化人才战略的先行者,打造HR领域第一AI专栏——图灵学院,希望以此为窗口,向HR传达专业的AI知识与信息,赋予人力资本领域变革力量,以AI为钥,携手HR开启数字化变革之门!
coding的技术大佬们提供内容支持,由市场部设计小哥哥们提供视觉支持,未来将提供前沿技术思考、行业技术干货、全球AI好物、以及不定期精彩互动与福利。希望通过这样一个平台,与HR们一起愉快地感知AI前沿趋势脉搏、探索AI发展的未来、推动AI在人力资本领域的创新应用与突破。